CALOS: Control-Affine Lyapunov On-manifold Safety Layer for Safe Deep Reinforcement Learning for Quadrotors

Resumen Técnico: CALOS – Capa de Seguridad en Variedades con Lyapunov de Afinidad de Control

Declaración del Problema
El Aprendizaje por Refuerzo Profundo (DRL) ha demostrado una capacidad significativa para controlar cuadricópteros, sin embargo, las políticas aprendidas carecen de garantías formales respecto a las restricciones de seguridad durante el entrenamiento o el despliegue. Los enfoques actuales de DRL seguro enfrentan una tensión persistente: los Procesos de Decisión de Markov Restringidos (CMDP) pueden desestabilizar el aprendizaje, mientras que los filtros en tiempo de ejecución (blindaje o funciones de barrera de control) a menudo degradan las señales de gradiente si corrigen las acciones de forma demasiado agresiva. Además, las limitaciones arquitectónicas actuales impiden la optimización conjunta de múltiples certificados de seguridad. Métodos como ATACOM proyectan las acciones sobre variedades de restricción, pero carecen de certificados basados en energía para la disipación rotacional, mientras que los métodos basados en Lyapunov suelen tratar las restricciones de forma independiente, con el riesgo de violar una restricción mientras se satisface otra. La composición secuencial de estos métodos no garantiza la viabilidad conjunta, particularmente cuando los grandes errores de seguimiento requieren la máxima autoridad de control, algo que el escalado secuencial suele anular.

Metodología
El artículo propone CALOS (Control-Affine Lyapunov On-manifold Safety), una capa de seguridad en tiempo de ejecución que opera de forma transparente sobre una política de DRL estándar (específicamente PPO) sin modificar el algoritmo de aprendizaje subyacente. CALOS unifica las restricciones de inclinación de actitud y una condición de estabilidad de Lyapunov en un único Programa Cuadrático (QP) para calcular la corrección de norma mínima al torque nominal de salida.

1. Restricciones de Inclinación (Proyección de Inclinación Predictiva):
   La actitud se representa mediante el vector de gravedad en el marco de referencia del cuerpo ($g_b$) para evitar las singularidades de los ángulos de Euler. Utilizando una discretización de Euler simpléctica, el futuro vector de gravedad se modela como una función afín del torque de control. Esta formulación permite la imposición de límites de roll y pitch ($\phi_{max} = \theta_{max} = 60^\circ$) como cuatro desigualdades lineales ($A_{PTP}\tau \le b_{PTP}$).

2. Restricción de Lyapunov:
   Se define una función candidata de Lyapunov $V(x)$ basada en el error de inclinación y la velocidad angular. La capa impone una condición de decaimiento $\dot{V} \le -cV$, la cual, debido a la naturaleza de afinidad de control de la dinámica rotacional, se traduce en una única desigualdad lineal ($A_L\tau \le b_L$). Esto asegura la disipación de la energía rotacional.

3. Formulación Unificada:
   A diferencia de los enfoques secuenciales que aplican la proyección de inclinación seguida del escalado de Lyapunov (lo que puede llevar a la anulación del torque cuando los errores son grandes), CALOS apila las cinco restricciones lineales (cuatro de inclinación, una de Lyapunov) en un solo sistema. La capa de seguridad resuelve:
   $$\tau^\star = \arg \min_{\tau \in \mathbb{R}^3} \frac{1}{2} \|\tau - \tau_0\|^2 \quad \text{sujeto a} \quad A(x)\tau \le b(x)$$
   donde $\tau_0$ es el torque nominal de la política.

4. Solvers:

   • CALOS-P: Una aproximación proyectada utilizando una corrección de pseudo-inversa amortiguada. Impone todas las restricciones de forma conjunta sin garantizar la solución exacta de norma mínima, priorizando la velocidad para el entrenamiento paralelo a gran escala.
   • CALOS-QP: Un solver exacto que explota el espacio de torque tridimensional. Enumera todos los conjuntos activos posibles (26 candidatos) para encontrar la solución de norma mínima exacta que satisface las condiciones de Karush–Kuhn–Tucker (KKT). Si no existe una solución factible, el sistema recurre a la acción de la política no corregida con limitación de actuadores (actuator clamping).

Contribuciones Clave

• Capa de Seguridad Unificada: La primera capa en tiempo de ejecución que optimiza conjuntamente las restricciones de inclinación y la estabilidad de Lyapunov en un solo paso de QP, evitando los problemas de viabilidad de la composición secuencial.
• Escalabilidad en Tiempo Real: El solver exacto (CALOS-QP) es computacionalmente eficiente para ejecutarse a través de miles de entornos de simulación paralelos, un requisito para el entrenamiento de DRL masivamente paralelo moderno.
• Cero Violaciones en Trayectorias de Entrenamiento: El método impone las restricciones estrictamente durante el entrenamiento, evitando que el agente explore regiones inseguras del espacio de estados.

Resultados Experimentales
Evaluado en NVIDIA Isaac Lab para tareas de seguimiento de trayectoria, CALOS fue comparado contra PPO sin restricciones, proyección de inclinación independiente (PTP), escalado de Lyapunov independiente y un cascada secuencial de ambos.

• Desempeño de Seguimiento: CALOS-P y CALOS-QP redujeron el error de seguimiento lateral entre un 55–60% en comparación con la línea base de PPO sin restricciones en las trayectorias de entrenamiento. En trayectorias no vistas con grandes desfases iniciales de posición, las variantes de CALOS mantuvieron los errores por debajo de 0.08 m, mientras que los métodos de Lyapunov y de Cascada fallaron en el seguimiento debido a la anulación del torque.
• Métricas de Seguridad: En la trayectoria de entrenamiento, CALOS-QP logró cero violaciones de la restricción de actitud. Bajo desfases iniciales extremos, las violaciones se limitaron a un máximo de 3 pasos consecutivos (CALOS-P) o 9 pasos (CALOS-QP), frente a hasta 27 pasos para los métodos secuenciales.
• Convergencia y Eficiencia de Datos: Al restringir la exploración a regiones seguras, CALOS aceleró la convergencia del entrenamiento.
• Comportamiento Internalizado: Las políticas entrenadas con CALOS retuvieron un comportamiento más seguro y preciso incluso cuando la capa de seguridad se desactivaba en el tiempo de prueba, mostrando un error lateral entre 55-74% menor que las políticas entrenadas con PPO. Esto indica que la política internalizó con éxito las restricciones de seguridad.

Significancia
El artículo afirma que CALOS resuelve el compromiso entre la imposición de seguridad y la eficiencia del aprendizaje. Al formular la seguridad como un único QP de baja dimensión, asegura que la señal de gradiente no se degrade por correcciones secuenciales agresivas. El método permite que la política aprenda comportamientos óptimos dentro de la variedad segura, resultando en políticas que son inherentemente más seguras y eficientes en datos sin sacrificar el desempeño de seguimiento. Los autores señalan que el conjunto factible del QP se mantuvo no vacío en todas las pruebas, confirmando la robustez de la formulación conjunta.

Trabajo Futuro
Los autores identifican tres direcciones para futuras investigaciones:

1. Desarrollo de certificados de Lyapunov aprendidos y conscientes de la tarea para evitar intervenciones innecesarias cuando el dron sigue una actitud de referencia no nula pero factible.
2. Extensión del marco a dinámicas no afines al control (por ejemplo, modelos que incluyen la dinámica de velocidad de los rotores o efectos de aleteo de las palas).
3. Investigación de la transferencia de simulación a realidad (sim-to-real) utilizando aleatorización de dominio y filtros de seguridad basados en datos para manejar la incertidumbre del modelo en hardware físico.