Robust Koopman Control Barrier Filters for Safe Actor-Critic Reinforcement Learning

Resumen Técnico: Filtros de Barrera de Control Koopman Robustos para Aprendizaje por Refuerzo Actor-Crítico Seguro

Enunciado del Problema
El aprendizaje por refuerzo (RL) seguro para sistemas robóticos enfrenta una tensión fundamental: mejorar el rendimiento de la tarea mientras se satisfacen estrictamente las restricciones de estado y entrada tanto durante el entrenamiento como en el despliegue. Aunque las Funciones de Barrera de Control (CBF) ofrecen un mecanismo principista para imponer invariancia hacia adelante mediante filtros de seguridad mínimamente invasivos, su aplicación en RL libre de modelos se ve obstaculizada por la necesidad de dinámicas del sistema precisas y certificados de barrera diseñados manualmente. Los métodos existentes de RL con restricciones a menudo proporcionan solo garantías de costo acumulado esperado en lugar de seguridad punto a punto, y las penalizaciones de recompensa carecen de garantías paso a paso. Los autores abordan el desafío de combinar la eficiencia de muestras del RL profundo fuera de política con un filtro de seguridad CBF basado en datos que permanezca convexo para sistemas no lineales, considerando específicamente los errores de aproximación inherentes a los modelos Koopman de dimensión finita.

Metodología: SAC Koopman-CBF Robusto
El artículo propone SAC Koopman-CBF Robusto, un marco actor-crítico filtrado por seguridad que integra tres componentes principales:

1. Levantamiento Koopman Basado en Datos: El método aprende un predictor Koopman de dimensión finita a partir de datos de rodaje fuera de línea utilizando la Descomposición de Modos Dinámicos Extendida (EDMD). Las dinámicas no lineales se levantan a un espacio de observables $\psi(x)$ donde la evolución es aproximadamente lineal: $z_{t+1} \approx Az_t + Bu_t$. El diccionario $\psi$ incluye coordenadas de estado originales y Funciones de Base Radial (RBF) para garantizar que las restricciones físicas puedan representarse como funciones afines en el espacio levantado.
2. Restricciones CBF Levantadas Robustas: Para manejar el error de aproximación del modelo de dimensión finita, los autores introducen un margen de residuo proyectado ($\rho$). En lugar de acotar la norma completa del residuo, estiman el componente del error de predicción que afecta directamente a la desigualdad de la barrera ($|c^\top r|$) utilizando un conjunto de calibración retenido. Este margen se calcula mediante cuantiles empíricos o conformales. La condición de seguridad se refuerza a:
   $$h_K(Az_t + Bu_t) \geq (1 - \eta)h_K(z_t) + \rho$$
   Esto resulta en una restricción afín sobre la entrada de control, permitiendo que el filtro de seguridad se implemente como un Programa Cuadrático (QP) ligero.
3. Integración Actor-Crítico: El marco modifica el algoritmo estándar Soft Actor-Critic (SAC) para resolver la discrepancia entre las acciones nominales y las ejecutadas:
   • Entrenamiento del Crítico: El crítico se entrena con la acción segura ejecutada ($u^{safe}_t$) generada por el filtro QP, asegurando que las estimaciones de valor reflejen las dinámicas de lazo cerrado reales.
   • Regularización del Actor: El actor recibe una penalización diferenciable por propuesta CBF ($\ell_{cbf}$) que lo incentiva a proponer acciones que ya se encuentran dentro del conjunto factible, reduciendo la dependencia del filtro con el tiempo.
   • Manejo de Holguras: El QP incluye variables de holgura para mantener la factibilidad numérica bajo límites de actuadores, aunque los autores señalan que una holgura positiva debilita los certificados formales de seguridad.

Contribuciones Clave

1. Formulación de Filtro Robusto: Introducción de un filtro de seguridad Koopman-CBF robusto para RL actor-crítico libre de modelos que levanta dinámicas no lineales a un sistema aproximadamente lineal e impone seguridad mediante una restricción QP afín.
2. Margen de Residuo Proyectado: Un método novedoso para estimar el error del modelo Koopman de dimensión finita utilizando un margen de residuo proyectado derivado de datos de calibración, lo que produce una condición CBF discreta robusta directamente implementable.
3. Entrenamiento Actor-Crítico Consistente: Integración del filtro con SAC utilizando aprendizaje de crítico basado en acciones ejecutadas y una penalización de factibilidad del lado del actor, eliminando la discrepancia común donde la política optimiza para acciones no filtradas mientras las transiciones del entorno se generan mediante acciones filtradas.
4. Diagnósticos Empíricos: Una evaluación exhaustiva que demuestra que el margen de residuo proyectado $\rho$ sirve como un diagnóstico computable pre-entrenamiento para la efectividad del filtro.

Resultados Experimentales
El método se evaluó en Safe-Control-Gym (CartPole, Cuadrotor 2D) y Safety Gymnasium (Walker, HalfCheetah).

• Tareas de Baja Dimensión (CartPole y Cuadrotor): En la estabilización y seguimiento de CartPole, SAC Koopman-CBF Robusto logró cero violaciones de restricciones en todas las semillas, igualando o superando los retornos del SAC sin restricciones. En el seguimiento de Cuadrotor 2D, redujo las violaciones en un 96,8% (de 12,5% a 0,4%). Estos éxitos se atribuyeron a márgenes de residuo proyectado pequeños ($\rho \approx 10^{-3}$) y al manejo correcto del grado relativo (utilizando barreras compuestas para el Cuadrotor).
• Locomoción de Alta Dimensión (Walker y HalfCheetah): Los resultados fueron mixtos, exponiendo limitaciones estructurales. En Walker, las violaciones se redujeron de 77,8% a 37,0%, pero el método fue superado por SAC+Lagrangiano (3,34% de violaciones). En HalfCheetah, las violaciones permanecieron altas (82,8%) con una severa penalización de rendimiento (-70% de retorno).
• Análisis de Fallos: En tareas de alta dimensión y ricas en contactos, el margen de residuo proyectado $\rho$ fue grande (0,698 para Walker, 1,782 para HalfCheetah). Este gran error provocó que la restricción CBF robusta se volviera trivialmente satisfecha (cuando el agente ya era inseguro) o infactible bajo los límites de los actuadores, volviendo ineficaz al filtro. Los autores identifican que los modelos lineales EDMD no pueden capturar las transiciones de velocidad no suaves causadas por el contacto con el suelo.

Significado y Afirmaciones
El artículo afirma que los filtros Koopman-CBF robustos ofrecen un puente prometedor entre el RL libre de modelos y la seguridad certificable, particularmente para tareas donde el modelo levantado y la barrera se alinean bien con la estructura del sistema. El significado principal radica en la capacidad diagnóstica del margen de residuo proyectado $\rho$: es una métrica pre-entrenamiento que predice si un filtro Koopman-CBF será efectivo.

Los autores son modestos respecto a la universalidad del método, declarando explícitamente que el enfoque tiene limitaciones estructurales en entornos de alta dimensión y ricos en contactos donde las aproximaciones lineales de primer orden fallan. Aclaran que, aunque el método ofrece seguridad punto a punto cuando $\rho$ es pequeño y el QP es factible, no garantiza seguridad cuando el error residual domina el margen de la barrera o cuando el grado relativo de la barrera no coincide. El trabajo destaca la necesidad de extensiones Koopman de alto orden o de múltiples pasos para abordar estas limitaciones en tareas complejas de locomoción.