LC-SAC: Lyapunov-Constrained Soft Actor-Critic via Koopman Operator Theory for Trajectory Tracking and Stabilization

Resumen Técnico: LC-SAC: Soft Actor-Critic con Restricción de Lyapunov mediante la Teoría del Operador de Koopman

Planteamiento del Problema
El Aprendizaje por Refuerzo (RL) ha demostrado éxito en la toma de decisiones secuenciales complejas, pero enfrenta obstáculos significativos cuando se aplica a sistemas físicos de seguridad crítica. Los algoritmos de RL estándar priorizan la maximización de la recompensa, produciendo a menudo políticas que inducen oscilaciones o divergencias de estado no acotadas debido a transitorios impulsados por la exploración y errores de aproximación de funciones. Aunque los métodos basados en Lyapunov ofrecen una ruta fundamentada para la estabilidad, los enfoques existentes sufren de limitaciones recurrentes: la dificultad de construir funciones de Lyapunov válidas en entornos desconocidos y de alta dimensión; la ineficiencia de muestreo de la el aprendizaje de Lyapunov on-policy; y la carga computacional de resolver proyecciones u optimizaciones restringidas en cada paso de actualización. Además, los certificados de Lyapunov aprendidos carecen a menudo de garantías de validez global, y la imposición de restricciones puede desestabilizar el aprendizaje si no se implementa con rigor.

Metodología
Los autores proponen LC-SAC (Soft Actor-Critic con Restricción de Lyapunov), un marco que integra la teoría del Operador de Koopman con RL off-policy para proporcionar garantías de estabilidad sin entrenar redes de Lyapunov auxiliares. La metodología consta de tres componentes principales:

1. Aprendizaje de Modelo Offline mediante EDMD:
   En lugar de aprender la dinámica directamente en el espacio de estados original, el sistema aprende un sustituto lineal elevado de la dinámica del error ($e_t = x_t - x_{ref,t}$) utilizando la Descomposición de Modos Dinámicos Extendida (EDMD). Un diccionario de observables (variables de estado combinadas con Funciones de Base Radial) eleva la dinámica no lineal a un modelo de control afín lineal: $z_{t+1} \approx A z_t + B u_t$, donde $z = g(e)$.

2. Construcción de CLF de Forma Cerrada:
   Utilizando las matrices $A$ y $B$ identificadas, los autores resuelven la Ecuación de Riccati Algebraica Discreta (DARE) para obtener una solución estabilizadora única $P \succ 0$. Esto genera una Función de Lyapunov de Control (CLF) cuadrática de forma cerrada: $V(z) = z^\top P z$. Para asegurar que la CLF sea bien definida para modelos elevados de mayor dimensión (específicamente cuadricópteros 3D y cartpoles), se introducen tres refinamientos estructurales:

   • Normalización del radio espectral: Escalar la matriz $A$ si su radio espectral $\rho(A) > 1$ para asegurar la estabilidad antes de resolver la DARE.
   • Costo LQR con significado físico: Establecer costos de estado ($Q$) basados en errores de estado físicos.
   • Anclaje de sesgo de valor: Forzar $V(0)=0$ restando un término de sesgo $V_{bias} = g(0)^\top P g(0)$, corrigiendo los centros de las RBF no nulos en el origen.

3. Optimización de Política Online con Restricción de CVaR:
   La actualización del actor de SAC se aumenta con una penalización Lagrangiana que impone la condición de disminución de Lyapunov. En lugar de penalizar la violación promedio, el método agrega la cola del peor caso de las violaciones utilizando un objetivo de Valor en Riesgo Condicional (CVaR) (apuntando al 25% superior de las violaciones). La pérdida del actor es:
   $$L_\pi = J_{SAC} + \lambda (L_{CVaR}^v - \zeta)$$
   donde $L_{CVaR}^v$ es la media de las peores violaciones de un solo paso, $\lambda$ es una variable dual actualizada mediante ascenso proyectado, y $\zeta$ es una tolerancia. Esto concentra la presión de la restricción en eventos de inestabilidad raros pero severos.

Contribuciones Clave

1. Nueva Derivación de CLF: Una metodología para obtener una CLF de forma cerrada mediante el levantamiento de Koopman/EDMD y DARE, embebida como una restricción Lagrangiana en SAC. Esto evita el entrenamiento de una red de Lyapunov auxiliar, reduciendo la complejidad computacional y mejorando la eficiencia de datos.
2. Análisis Teórico: Prueba de que la actualización del actor restringido reduce localmente la violación de Lyapunov de un solo paso y que satisfacer la restricción implica estabilidad asintótica (o exponencial, bajo un margen fortalecido) del sistema sustituto elevado.
3. Refinamientos Estructurales: La introducción de la normalización del radio espectral, el costo LQR con significado físico y un anclaje $V(0)=0$, que se demuestran necesarios para que la CLF de forma cerrada funcione correctamente en modelos elevados de alta dimensión.
4. Estudio Empírico Exhaustivo: Evaluación a través de seis tareas de referencia (estabilización/seguimiento de cuadricóptero 2D/3D, estabilización/seguimiento de cartpole) comparando LC-SAC contra SAC vanilla, una variante de agregación de la media (LC-SAC-Mean) y un baseline de modelado de recompensa basado en potencial (Lyap-RS-SAC).

Resultos
Los experimentos, realizados en la suite safe-control-gym, revelan un compromiso distintivo entre estabilidad y rendimiento:

• Tareas de Estabilización: En tareas con puntos de consigna fijos (ej. estabilización de cartpole), LC-SAC y sus variantes igualan o superan el rendimiento de vanilla SAC (hasta un +25% de mejora en cartpole) mientras reducen drásticamente la varianza de ensayo a ensayo. Esto indica que la restricción previene la divergencia catastrófica de la política durante el entrenamiento.
• Tareas de Seguimiento: En tareas de seguimiento de trayectoria agresivas, la restricción de estabilidad incurre en un costo de retorno modesto (3–15% menor retorno medio comparado con vanilla SAC) a cambio de una reducción significativa de la varianza y un entrenamiento más repetible.
• Hallazgos de Ablación:
  • Restricción Dura vs. Modelado de Recompensa: Reemplazar la restricción Lagrangiana dura con modelado de recompensa basado en potencial (Lyap-RS-SAC) causa un fallo catastrófico en las tareas de cuadricóptero (hasta un 94% de colapso en el retorno), demostrando que las restricciones duras son esenciales para dinámicas de alta dimensión.
  • CVaR vs. Media: La agregación CVaR (LC-SAC) apunta a las peores violaciones, resultando en pérdidas de sustituto de un solo paso peores menores, pero con suelos medios ligeramente más altos en comparación con la variante de agregación de la media (LC-SAC-Mean).
  • Correcciones Estructurales: Sin los refinamientos de EDMD propuestos (normalización y anclaje de sesgo), la pérdida de Lyapunov del sustituto para tareas 3D fue ilimitada (868 en el paso 4000), bloqueando completamente el aprendizaje. Las correcciones redujeron esto a casi cero, permitiendo un entrenamiento exitoso.

Significado y Reivindicaciones
El artículo afirma que LC-SAC proporciona un enfoque computacionalmente eficiente y teóricamente fundamentado para el RL seguro al aprovechar las propiedades de linealización global de los operadores de Koopman para derivar certificados de estabilidad offline. El trabajo demuestra que:

1. Las restricciones de estabilidad pueden integrarse eficazmente en RL off-policy sin la ineficiencia de muestreo de aprender una función de Lyapunov online.
2. Una restricción Lagrangiana dura es superior al modelado de recompensa para mantener la estabilidad en sistemas complejos de alta dimensión.
3. Los refinamientos estructurales en el pipeline de EDMD son críticos para extender los métodos de CLF de forma cerrada a sistemas de mayor dimensión como los cuadricópteros 3D.
4. El enfoque ofrece un compromiso favorable, intercambiando una pequeña cantidad de rendimiento máximo en tareas de seguimiento agresivo por una mejora significativa en la fiabilidad y robustez del entrenamiento.

Los autores señalan que la actual CLF cuadrática invariante en el tiempo es una limitación para referencias variables en el tiempo agresivas, sugiriendo que el trabajo futuro debería explorar diseños de CLF variables en el tiempo o basados en datos para cerrar aún más la brecha de rendimiento en las tareas de seguimiento.