Learned Lyapunov Shielding for Adaptive Control

Resumen Técnico: Certificados Lyapunov Aprendidos para Aprendizaje por Refuerzo Residual Seguro en Sistemas Euler–Lagrange

Enunciado del Problema
Los controladores adaptativos para sistemas Euler–Lagrange, como el clásico controlador Slotine–Li, dependen de la propiedad de linealidad en los parámetros de la dinámica de cuerpos rígidos y del conocimiento a priori de los términos de masa, Coriolis y gravedad. Sin embargo, los sistemas robóticos prácticos a menudo exhiben no linealidades no modeladas (por ejemplo, histéresis por fricción, elasticidad en las articulaciones, efectos de cuerpos blandos) que resisten una parametrización limpia. Aunque el Aprendizaje por Refuerzo (RL) ofrece un camino para aprender estos residuos, el RL estándar carece de garantías formales de estabilidad y a menudo falla en converger cuando se aplica a tareas de control críticas para la seguridad. Los enfoques existentes para funciones Lyapunov aprendidas suelen depender de arquitecturas neuronales genéricas (por ejemplo, MLP con activaciones tanh) que requieren verificación post-hoc u optimización compleja para garantizar la definición positiva, lo que a menudo conduce a filtros de seguridad no viables durante la implementación.

Metodología
Los autores proponen un marco que aumenta el controlador adaptativo Slotine–Li con tres componentes aprendidos, integrados en una política Soft Actor–Critic (SAC) con restricciones:

1. Función Lyapunov Cuadrática Estructurada ($V_\psi$): En lugar de una red neuronal genérica, el candidato Lyapunov se parametriza como $V_\psi(x) = x^\top P_\psi(x) x$, donde $P_\psi(x) = L_\psi(x)L_\psi(x)^\top + \epsilon I$. Aquí, $L_\psi$ es un MLP triangular inferior. Esta parametrización de Cholesky garantiza la definición positiva por construcción.
2. Política Residual SAC: Un agente Soft Actor–Critic aprende un par residual acotado $\Delta \tau$ para corregir la línea base analítica Slotine–Li. La política se entrena para maximizar la recompensa (rendimiento de seguimiento) sujeta a una restricción sobre la violación de la disminución Lyapunov.
3. Red Neuronal Informada por Física (PINN): Una red $f_\theta$ estima dinámicas no modeladas (residuos) y se entrena mediante una pérdida física que impone la estructura de la ecuación Euler–Lagrange. Este modelo se utiliza para estimar el campo de deriva para el filtro de seguridad.

Filtro de Seguridad y Mecanismo de Estabilidad
La innovación central es un filtro de seguridad en forma cerrada derivado de la única restricción afín $\dot{V}_\psi + \alpha V_\psi \leq 0$. Debido a que la dinámica del sistema es afín en el control ($\dot{x} = h(x) + g(x)\tau$) y $V_\psi$ es cuadrática, la restricción se vuelve lineal en $\tau$ ($b(x)^\top \tau \leq c(x)$).

• Proyección en Forma Cerrada: El filtro proyecta cualquier salida de política cruda $\tau_{raw}$ sobre el semiespacio seguro mediante una proyección euclidiana simple, evitando la necesidad de solucionadores de Programación Cuadrática (QP) en línea.
• Condición de Viabilidad: El artículo demuestra que este filtro es globalmente viable si se cumple una "condición de decaimiento de deriva" en el conjunto $Z$ donde la autoridad de control se anula ($b(x)=0$). Específicamente, la dinámica de deriva natural ya debe ser decreciente en el sentido de Lyapunov en este conjunto.
• Robustez: Una versión robusta del filtro incorpora el error de aproximación de la PINN ($\delta$) y el límite del gradiente de $V_\psi$ ($L_V$) para garantizar la estabilidad incluso cuando el modelo de dinámicas aprendido es imperfecto.

Contribuciones Clave
El artículo establece cinco contribuciones teóricas y empíricas:

1. Viabilidad en Forma Cerrada: La parametrización cuadrática estructurada produce un QP de restricción única con una solución en forma cerrada. Los autores demuestran la viabilidad global bajo una condición de decaimiento de deriva verificable (Teorema 4).
2. Garantías de Estabilidad: Se demuestra la estabilidad exponencial bajo protección exacta. Se proporciona una extensión robusta donde el margen de estabilidad depende explícitamente del error de aproximación de la PINN (Teorema 13).
3. Convergencia: Las actualizaciones conjuntas de la política, el certificado Lyapunov y el multiplicador de Lagrange se muestran convergiendo casi seguramente a un punto KKT utilizando un esquema de aproximación estocástica de tres escalas de tiempo (Teorema 10).
4. Generalización: Se deriva un límite de generalización PAC (Probablemente Correcto Aproximadamente), certificando la función Lyapunov aprendida sobre conjuntos compactos basados en muestras finitas (Proposición 14).
5. Validación Empírica: Experimentos extensos en un manipulador de 2 grados de libertad (DOF) y un Franka Emika Panda de 7 DOF demuestran la eficacia y escalabilidad del marco.

Resultados Experimentales

• Manipulador de 2 DOF: En un sistema con fricción no lineal y carga variable, el certificado Lyapunov aprendido se identificó como la fuente dominante de mejora del rendimiento. En comparación con la línea base analítica Slotine–Li, el método propuesto redujo el error de seguimiento en un 41% bajo fricción nominal y en un 24% bajo fricción agresiva en el centroide de la distribución de entrenamiento. Los estudios de ablación confirmaron que el certificado aprendido ($V_\psi$) proporcionó una ganancia significativamente mayor que la PINN o la política SAC por separado.
• Escalabilidad de 7 DOF: Un estudio en un Franka Panda de 7 DOF (espacio de estado de 35 dimensiones) confirmó que la tubería completa (PINN basada en Transformer, $V_\psi$ estructurada, escudo en forma cerrada) converge limpiamente a escala industrial. En comparación con una línea base de Par Calculado exacta (que tiene acceso a dinámicas reales), el marco logró un seguimiento dentro del 1.7% de la línea base, confirmando que actúa como un filtro de seguridad certificado en lugar de un potenciador de rendimiento cuando la línea base ya es óptima.
• Modos de Fallo: El estudio identificó una "patología de inicio en caliente" donde un certificado entrenado bajo una estructura de recompensa específica se vuelve adverso a nuevos objetivos de recompensa, necesitando una inicialización fresca. También se observó inestabilidad numérica cerca de estados donde $\nabla V_\psi \approx 0$, requiriendo un mecanismo de puerta para prevenir la amplificación del par.

Significado y Afirmaciones
El artículo afirma que la parametrización cuadrática estructurada es la elección de diseño central que habilita todo el marco. Al garantizar la definición positiva por construcción, permite un filtro de seguridad en forma cerrada computacionalmente eficiente que garantiza la viabilidad sin optimización en línea. El trabajo demuestra que los componentes aprendidos pueden integrarse en el control adaptativo clásico para manejar dinámicas no modeladas mientras se retienen garantías rigurosas de estabilidad. Los autores enfatizan que el valor del marco radica en el aprendizaje conjunto de la política, el certificado y el residual de dinámicas bajo restricciones formales de seguridad, en lugar de en cualquier componente individual de forma aislada. Los resultados sugieren que tales marcos son prácticamente utilizables en diversas escalas de manipuladores, siempre que la línea base analítica no sea ya perfecta y la distribución de entrenamiento cubra el rango operativo.