Resumen Técnico: Ejecución Segura de Políticas de RL mediante CBF-QP basado en Aceleración

Declaración del Problema

El Aprendizaje por Refuerzo (RL) ha demostrado un potencial significativo para resolver tareas complejas de control robótico, como la locomoción ágil y la manipulación diestra. Sin embargo, el despliegue de políticas de RL en hardware físico está severamente limitado por la falta de garantías de seguridad. Aunque existen métodos de Safe RL que incorporan restricciones durante el entrenamiento (por ejemplo, mediante Procesos de Decisión de Markov Restringidos o Funciones de Barrera de Control), estos suelen depender de garantías estadísticas que se degradan ante cambios en la distribución (distributional shifts). Además, las restricciones de seguridad estrictas durante el entrenamiento pueden ser excesivamente conservadoras, restringiendo la exploración y ralentizando la convergencia. Crucialmente, los métodos existentes a menudo no logran asegurar el cumplimiento consistente de las restricciones para estados Fuera de Distribución (OoD) encontrados durante el despliegue en el mundo real, lo que conduce a daños en el hardware o paradas del sistema.

El desafío central abordado es cómo imponer restricciones explícitas de seguridad (límites de posición, velocidad, torque y colisiones) a políticas de RL pre-entrenadas en tiempo de ejecución sin requerir el reentrenamiento o la modificación de la propia política aprendida.

Metodología: Acc-CBF-QP

Los autores proponen Acc-CBF-QP, un filtro de seguridad de Programación Cuadrática (QP) basado en aceleración que actúa como una capa de post-procesamiento alrededor de cualquier política de RL pre-entrenada. El marco opera filtrando el comando de RL en tiempo real para asegurar que se adhiera a un conjunto seguro definido por Funciones de Barrera de Control (CBFs).

Componentes Principales

1. Formulación de QP basada en Aceleración:
   El problema de control se formula como un QP donde las variables de decisión son las aceleraciones generalizadas ($\ddot{q}$). Esto permite la satisfacción simultánea de restricciones dinámicas y cinemáticas, que a menudo son de segundo orden por naturaleza. El QP minimiza una suma ponderada de errores de tarea sujeto a restricciones linealizadas:
   $$\ddot{q}^* = \arg\min_{\ddot{q}} \sum_k \|W_k(A_k \ddot{q} - b_k)\|^2 \quad \text{sujeto a} \quad A_c \ddot{q} \leq b_c$$

2. Implementación de Restricciones (CBFs):
   La seguridad se define como la invariancia hacia adelante de un conjunto cerrado $\mathcal{C}$. Los autores formulan restricciones para:

   • Límites de Torque: Implementados mediante dinámica inversa.
   • Límites de Velocidad y Posición de las Articulaciones: Implementados usando CBFs estándar para la velocidad (grado relativo 1) y CBFs Exponenciales (ECBF) para la posición (grado relativo 2).
   • Evitación de Autocolisión: Implementada mediante ECBFs en la distancia entre pares de cuerpos monitoreados.

3. Integración de RL y Formulaciones de Tarea:
   Dado que las políticas de RL suelen emitir acciones interpretadas como desplazamientos deseados de las articulaciones (que se traducen en torques mediante un controlador PD de bajo nivel), el QP debe minimizar la desviación del torque de RL efectivo. El artículo introduce dos formulaciones de tarea específicas para lograr esto:

   • TorqueTask: Minimiza la desviación entre el torque calculado por el QP y el torque de RL deseado ($\tau_{RL}$). Esta formulación es robusta a errores de modelado ya que depende de la dinámica inversa.
   • Tarea de Dinámica hacia Adelante (FDTask): Minimiza la desviación entre la aceleración calculada por el QP y la aceleración implicada por el torque deseado mediante la dinámica hacia adelante. Esta formulación es más sensible a las imprecisiones del modelo pero teóricamente minimiza la desviación de la aceleración cuando el modelo es perfecto.

4. Robustez y Estimación de Perturbaciones:
   Para manejar errores de modelado y perturbaciones externas (crítico para robots de base flotante), el sistema emplea un Observador de Momento Generalizado (GMO) para estimar los torques externos ($\hat{\tau}_{ext}$). Este estimado se utiliza en el cálculo de la dinámica inversa para compensar la dinámica no modelada. Los autores proporcionan un análisis de robustez que muestra que, bajo perturbaciones acotadas, el sistema mantiene la seguridad estado-entrada, manteniendo las trayectorias dentro de un vecindario del conjunto seguro.

5. Manejo de Infactibilidad:
   En casos donde el QP resulta infactible (por ejemplo, debido a restricciones conflictivas o perturbaciones severas), el sistema emplea mecanismos de respaldo: cambiando a un modo de amortiguamiento o regresando a un comando de RL con saturación de torque.

Contribuciones Clave

1. Marco de Código Abierto: Los autores lanzan un flujo de trabajo de código abierto (Acc-CBF-QP) que impone seguridad en políticas de RL robótica mediante un QP basado en aceleración con restricciones CBF.
2. Formulaciones de Tarea Duales: La introducción de TorqueTask y FDTask proporciona un control principista sobre el compromiso entre seguridad y rendimiento, permitiendo a los usuarios elegir entre minimizar la desviación del torque o la desviación de la aceleración dependiendo de la aplicación y la fidelidad del modelo.
3. Integración de Estimación de Estado: El marco integra la estimación de estado y observadores de perturbaciones para recuperar fuerzas externas, lo cual es esencial para la implementación consistente de CBF en sistemas de control de torque y de base flotante.
4. Seguridad en Tiempo de Ejecución sin Reentrenamiento: El método actúa como una interfaz modular que envuelve arbitrarias políticas de RL, imponiendo restricciones en tiempo de ejecución sin necesidad de reentrenamiento adicional de la política o modificación del proceso de entrenamiento.

Resultados Experimentales

El marco fue validado en dos plataformas distintas: un manipulador Kinova Gen3 de 7-DoF y un humanoide Unitree H1 de 19-DoF, tanto en simulación como en hardware real.

• Kinova Gen3 (Manipulador):

  • Utilizando una política de RL estándar entrenada sin restricciones de seguridad, Acc-CBF-QP eliminó completamente las violaciones de restricciones (posición de articulación, velocidad, torque y colisiones) tanto en simulación como en hardware.
  • El rendimiento de la tarea nominal (seguimiento de trayectoria cartesiana) se preservó, con desviaciones estadísticamente indistinguibles de la repetibilidad intrínseca de la política de RL.

• Unitree H1 (Humanoide):

  • Comparado contra una línea base de Safe-RL entrenada con el método "Constraints as Terminations" (CaT).
  • Reducción de Violaciones: En hardware real, la política de Safe-RL por sí sola produjo 10.04 violaciones/segundo. Aumentar esto con Acc-CBF-QP redujo las violaciones en un 92% a 0.80 violaciones/segundo (TorqueTask).
  • Tiempo de Supervivencia: Bajo comandos de velocidad agresivos, Acc-CBF-QP previno paradas inducidas por restricciones, resultando en tiempos de supervivencia más largos comparado con la línea base.
  • Robustez: En terreno irregular, la capa de QP desplazó los modos de falla de "violaciones de restricciones" (ej. límites de articulación) a "caídas físicamente plausibles", sin una degradación estadísticamente significativa en la duración de la supervivencia en comparación con la línea base.
  • Comparación de Formulación de Tarea: El TorqueTask demostró mayor robustez a errores de modelado en hardware, mientras que el FDTask mostró un mejor seguimiento de la aceleración en simulación.

Significado y Afirmaciones

El artículo afirma que Acc-CBF-QP constituye un paso práctico hacia el despliegue confiable de comportamientos robóticos en el mundo real. Su principal significancia radica en cerrar la brecha entre la flexibilidad de RL y los estrictos requisitos de seguridad de los sistemas físicos.

• Modularidad: Proporciona una interfaz modular entre el control aprendido y el filtrado de seguridad a nivel de aceleración, permitiendo la modificación dinámica de las restricciones de seguridad en el despliegue sin reentrenamiento.
• Seguridad vs. Rendimiento: Los experimentos demuestran que la imposición de seguridad puede lograrse sin una degradación medible en el rendimiento de la tarea nominal cuando las restricciones no están activas.
• Aplicabilidad en el Mundo Real: Al desplegarse exitosamente en un humanoide complejo de base flotante (Unitree H1) con modelos dinámicos imperfectos, el trabajo valida que las capas de optimización de seguridad pueden mitigar eficazmente los riesgos asociados con los estados OoD y las imprecisiones del modelo en hardware real.

Los autores mantienen la modestia respecto a las limitaciones, señalando que el marco actualmente maneja la infactibilidad del QP de manera pragmática (mediante amortiguamiento o retroceso) en lugar de hacerlo a través de garantías formales de estabilidad para el sistema proyectado de bucle cerrado, y que las comparaciones más amplias con otros métodos de entrenamiento de Safe-RL se dejan para trabajos futuros.