A Review On Safe Reinforcement Learning Using Lyapunov and Barrier Functions

A continuación se presenta un resumen técnico detallado del artículo de revisión "A Review On Safe Reinforcement Learning Using Lyapunov and Barrier Functions" de Dhruv Kushwaha y Zoleikha Biron.

Enunciado del Problema

El Aprendizaje por Refuerzo (RL) ha demostrado su eficacia para resolver problemas complejos de toma de decisiones en robótica, gestión de energía y sistemas autónomos. Sin embargo, los enfoques estándar de RL carecen de garantías teóricas rigurosas en cuanto a la estabilidad del lazo cerrado y el cumplimiento de restricciones. En aplicaciones críticas para la seguridad, las violaciones de restricciones pueden provocar fallos del sistema o daños físicos. Si bien los métodos de teoría de control ofrecen certificados de estabilidad (mediante funciones de Lyapunov) y seguridad (mediante funciones de barrera), integrar estas garantías en marcos de RL basados en datos sigue siendo un desafío significativo. El problema central abordado es cómo asegurar que una política de RL calculada mantenga la estabilidad del sistema y se adhiera a las restricciones operativas tanto durante el entrenamiento como en el despliegue, particularmente en ausencia de modelos perfectos del sistema.

Metodología y Alcance

Este artículo ofrece una revisión exhaustiva de las técnicas de Aprendizaje por Refuerzo Seguro (Safe RL) que utilizan explícitamente Funciones de Lyapunov de Control (CLF) y Funciones de Barrera de Control (CBF). Los autores categorizan la literatura basándose en el papel que estos certificados desempeñan dentro del bucle de RL:

1. Enfoques solo Lyapunov: Uso de CLF para garantizar la estabilidad asintótica.
2. Enfoques solo Barrera: Uso de CBF para garantizar la invariancia hacia adelante de los conjuntos seguros.
3. Enfoques combinados: Integración de CLF y CBF para garantizar simultáneamente la estabilidad y la seguridad.

La revisión distingue entre formulaciones basadas en modelos (que dependen de dinámicas conocidas o aproximadas) y formulaciones libres de modelos (que dependen puramente de datos), señalando un cambio decisivo en el campo hacia enfoques libres de modelos y combinados después de 2017, con un aumento en los métodos combinados CLF–CBF después de 2022.

La revisión analiza cómo se incrustan los certificados en los algoritmos de RL, incluyendo:

• Formulación de Recompensa/Costo: Modificación de la función objetivo para penalizar la inestabilidad o las violaciones de restricciones.
• Parametrización de la Función Crítica/Valor: Tratar la propia función de valor como un candidato de Lyapunov.
• Restricciones de la Política: Uso de filtros de Programación Cuadrática (QP) para proyectar las acciones nominales de RL sobre conjuntos seguros.
• Regularización de la Pérdida: Adición de términos de penalización a las pérdidas actor-crítico para hacer cumplir las condiciones del certificado.
• Verificación Formal: Uso de síntesis guiada por contraejemplos (CEGIS) o programación de Suma de Cuadrados (SOS) para verificar certificados neuronales.

Contribuciones Clave

El artículo realiza tres contribuciones principales a la literatura existente:

1. Taxonomía y Clasificación: Ofrece una clasificación estructurada de los métodos de Safe RL, yendo más allá de las encuestas generales para centrarse específicamente en la integración de funciones de Lyapunov y Barrera. Detalla cómo se utilizan estas funciones como recompensas, críticos, restricciones o filtros de seguridad.
2. Identificación de Problemas Abiertos: Los autores definen problemas abiertos específicos por clase que obstaculizan un despliegue más amplio:
   • Para métodos Lyapunov: Validez del certificado bajo aproximación de funciones y cambio de distribución.
   • Para métodos Barrera: Problemas de factibilidad y bloqueo bajo blindaje CBF–QP estricto, particularmente cuando las restricciones entran en conflicto.
   • Para métodos combinados: Factibilidad conjunta CLF–CBF bajo incertidumbre del modelo.
3. Análisis de Escalabilidad: La revisión destaca que el despliegue en entornos de alta dimensión y parcialmente observables sigue siendo la barrera de escalabilidad dominante en las tres clases. Contrasta la complejidad computacional de diferentes enfoques, señalando que, aunque los filtros basados en QP ofrecen garantías de seguridad estrictas, sufren de la "maldición de la dimensionalidad" y problemas de factibilidad en espacios de alta dimensión.

Resultados y Análisis Comparativo

La revisión sintetiza hallazgos de numerosos estudios (resumidos en las Tablas 3, 5 y 7) para extraer varias conclusiones comparativas:

• Fuerza de Aplicación de la Seguridad: Los filtros combinados CLF–CBF–QP proporcionan la seguridad práctica más fuerte (invariancia estricta + estabilidad asintótica) cuando son factibles. Los filtros CBF-QP puros ofrecen solo invariancia estricta. Los métodos CMDP-Lagrangianos y la formulación de recompensas proporcionan seguridad "suave" (a nivel de expectativa o basada en penalizaciones), que es menos robusta pero más escalable.
• Dependencia del Modelo: Los métodos CBF y combinados generalmente requieren estructuras afines al control y cálculos de derivadas de Lie, a menudo necesitando aprendices de modelos (por ejemplo, Procesos Gaussianos) u observadores. Los métodos Lyapunov-como-valor pueden ser más libres de modelos, pero dependen en gran medida de la validez del crítico aprendido.
• Eficiencia de Muestras: Los filtros de ejecución estricta (CBF-QP) generalmente requieren menos muestras para alcanzar umbrales de seguridad porque previenen trayectorias inseguras. La formulación de recompensas acelera la convergencia pero proporciona ganancias menores en eficiencia de muestras.
• Pruebas de Rendimiento: Los autores identifican Safe-Control-Gym como el punto de referencia más adecuado para estos métodos, ya que proporciona modelos simbólicos para derivadas de Lie analíticas, APIs de restricciones e inyección de perturbaciones, elementos que a menudo faltan en entornos estándar como MuJoCo.

Significado y Afirmaciones

El artículo se posiciona como una síntesis centrada en RL en lugar de una encuesta general sobre aprendizaje seguro para control. Su significado radica en:

• Puente entre Teoría y Práctica: Demuestra el prometedor alcance para proporcionar garantías de seguridad a sistemas dinámicos complejos utilizando tanto RL basado en modelos como libre de modelos.
• Destacando Cambios Recientes: Documenta la transición del campo de formulaciones basadas en modelos a libres de modelos y el surgimiento de enfoques combinados CLF–CBF como el subárea más activa después de 2022.
• Definición de Direcciones Futuras: Los autores argumentan que, aunque existen garantías teóricas, la brecha entre la teoría y el despliegue se centra en el descubrimiento escalable de certificados, la generalización robusta bajo cambio de distribución y el manejo de la observabilidad parcial.

La revisión concluye que, si bien las funciones de Lyapunov y de barrera proporcionan una ruta principista para añadir estructura de estabilidad y cumplimiento de restricciones al control basado en aprendizaje, los desafíos restantes implican resolver las barreras de factibilidad en filtros de optimización con restricciones y establecer principios de aprendizaje robustos para certificados basados en datos en entornos de alta dimensión y del mundo real.