Resumen Técnico: Aprendizaje por Refuerzo Provablemente Seguro y Escalable (PS2-RL)

Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) Seguro busca aprender políticas que maximicen las recompensas de la tarea mientras satisfacen estrictamente las restricciones de seguridad. Los enfoques existentes generalmente se dividen en dos categorías, ambas con limitaciones significativas:

1. Optimización de Restricciones Blandas (Soft-Constrained Optimization): Los métodos que utilizan relajación Lagrangiana o funciones de certificado neuronales suelen lograr un éxito empírico, pero carecen de garantías formales. En consecuencia, no pueden prevenir fallos catastróficos durante el despliegue.
2. Métodos de Garantía Estricta: Los enfoques que dependen de funciones de certificado explícitas (por ejemplo, Funciones de Barrera de Control o Índices de Seguridad) proporcionan seguridad formal, pero requieren la síntesis y verificación de conjuntos invariantes de control. Este proceso escala mal con la dimensión del estado, volviéndose a menudo computacionalmente intratable para sistemas de alta dimensión y produciendo comportamientos excesivamente conservadores.

El desafío central es desarrollar un marco de RL que proporcione garantías de seguridad demostrables para sistemas de alta dimensión con restricciones de entrada, sin sacrificar el rendimiento o la escalabilidad.

Metodología: El Marco PS2-RL

Los autores proponen PS2-RL (Provably Safe, yet Scalable RL - Aprendizaje por Refuerzo Provablemente Seguro, pero Escalable), una arquitectura de dos fases que evita la síntesis explícita de conjuntos invariantes globales. En su lugar, aprovecha una política de respaldo aprendida para generar un conjunto de control invariante implícito en línea.

Fase I: Aprendizaje de la Política de Llegada Segura

La primera fase se centra en expandir la región de seguridad. El sistema está anclado por un pequeño conjunto base certificado $B$ (por ejemplo, un equilibrio estabilizado por LQR) y un controlador base $\pi_B$. El objetivo es aprender una política de llegada segura ($\pi_{SA}$) que dirija el sistema desde un espacio de estados más amplio hacia $B$ permaneciendo dentro del conjunto seguro $S$.

• Función de Valor de Llegada Segura: Los autores introducen una función de objetivo novedosa, la función de valor de llegada segura, que actúa como una recompensa basada en indicadores. Cuantifica la capacidad de una política para alcanzar $B$ de forma segura antes de entrar en un conjunto de fallo $F$.
  • Cumple con una condición de auticonsistencia y una ecuación de Bellman, lo que permite que los procesos de RL estándar (por ejemplo, TD3, SAC) entrenen la política.
  • El objetivo fomenta la recuperación segura óptima en tiempo, ampliando efectivamente el Conjunto de Control Invariante Inducido por el Respaldo ($C_T(\pi_b)$). Este conjunto consiste en todos los estados desde los cuales la política de respaldo compuesta ($\pi_b = \pi_{SA}$ fuera de $B$, $\pi_B$ dentro de $B$) puede alcanzar $B$ dentro de un horizonte $T$ sin violar la seguridad.

Fase II: Entrenamiento de Extremo a Extremo con una Capa de Control Invariante

La segunda fase entrena la política de RL específica de la tarea ($\pi_\phi$) para maximizar las recompensas mientras se adhiere estrictamente a las restricciones de seguridad inducidas por la política de respaldo fija de la Fase I.

• Capa de Control Invariante (CIL): Los autores construyen una capa de proyección diferenciable que mapea la salida nominal de la política de RL al conjunto de entrada admisible por BCBF ($K_{BCBF}$).
  • Este conjunto se define mediante las restricciones de la Función de Barrera de Control de Respaldo (BCBF), que son afines en la entrada de control $u$ dado un flujo de respaldo fijo.
  • La capa resuelve un Programa Cuadrático (QP) para encontrar la entrada de control más cercana a la salida de la política nominal que satisfaga las restricciones de seguridad.
• Diferenciabilidad: Crucialmente, el resolvedor de QP es diferenciable. Esto permite que los gradientes se propaguen de extremo a extremo a través de la proyección de seguridad durante el entrenamiento. La política de RL aprende a optimizar el rendimiento dentro del conjunto seguro certificado, en lugar de aprender una política que sea posteriormente parcheada por un escudo no diferenciable.

Contribuciones Clave

1. Marco PS2-RL: Una arquitectura de dos fases que logra garantías de seguridad formal para sistemas de alta dimensión sin sintetizar conjuntos invariantes globales explícitos. Se basa en rollouts de respaldo aprendidos y una proyección en el espacio de control.
2. Función de Valor de Llegada Segura: Un objetivo novedoso que codifica la recuperación segura óptima en tiempo hacia un conjunto objetivo. Admite una ecuación de Bellman, permitiendo el entrenamiento de políticas de respaldo neuronales que empíricamente producen regiones seguras significativamente más grandes que las alternativas analíticas (por ejemplo, LQR).
3. Capa de Control Invariante: Una capa de proyección diferenciable que impone las restricciones de BCBF. Los autores demuestran que esta capa preserva la propiedad de aproximación universal de la red neuronal subyacente, asegurando que la imposición de seguridad no comprometa la expresividad de la política.
4. Garantías Teóricas: Pruebas exhaustivas que establecen que:
   • La política PS2 compuesta pertenece a la clase de políticas seguras ($\Pi_{safe}$).
   • El marco resuelve una aproximación interna certificada del problema original de RL seguro.
   • La capa de proyección mantiene el poder de aproximación de la red de la política.

Resultados Experimentales

El marco fue evaluado en dos tareas de seguimiento con trayectorias de referencia intencionalmente inseguras:

1. Mantenimiento de Carril de Uniciclo (Estado 3D): PS2-RL logró un 100% de seguridad en todas las semillas y superó a todos los modelos de referencia en precisión de seguimiento (RMSE lateral y de rumbo) manteniendo la seguridad. Redujo significativamente el conservadurismo en comparación con el uso de una política de respaldo analítica (PS2ABP).
2. Powerloop de Cuadricóptero (Estado 10D): Esta tarea involucró un sistema de 10 dimensiones con límites de actuación estrictos y una restricción de altitud de alto grado relativo.
   • PS2-RL logró un 100% de seguridad, mientras que los métodos que dependen de restricciones de costo esperado (CMDP) o penalizaciones blandas frecuentemente violaron la seguridad.
   • Comparado con los modelos de referencia con mecanismos de seguridad formal (CBF-RL, Blindaje de MPC), PS2-RL demostró errores de seguimiento sustancialmente menores (reducción de aproximadamente 40–70% en RMSE).
   • La política de llegada segura aprendida aumentó la recuperabilidad de los estados cercanos al techo relevantes para la tarea del 60.9% (analítico) al 85.9%.

Estudios de Ablación: Eliminar la Capa de Control Invariante durante el despliegue causó que la seguridad cayera al 0%, confirmando que la capa es esencial para las garantías. Por el contrario, usar la capa solo como un filtro post-hoc (sin entrenamiento de extremo a extremo) resultó en un rendimiento de seguimiento entre un 43% y 53% peor, resaltando la necesidad de entrenar a través de la proyección diferenciable.

Significado y Reivindicaciones

El artículo afirma que PS2-RL logra cerrar la brecha entre la seguridad demostrable y la escalabilidad. Al reemplazar la síntesis intratable de conjuntos invariantes globales con rollouts de respaldo aprendidos y una proyección diferenciable en el espacio de control, el marco permite el RL seguro para sistemas de alta dimensión (hasta 10 estados en los experimentos) donde los métodos previos de seguridad demostrable tienen dificultades o resultan imprácticos.

Los autores enfatizan que su enfoque no impone restricciones al algoritmo de RL subyacente y puede integrarse en procesos de entrenamiento existentes. Los resultados teóricos confirman que el método proporciona garantías de seguridad estrictas manteniendo el alto rendimiento y la expresividad requeridos para tareas de control robótico complejas.

Limitaciones Reconocidas: Las garantías formales dependen de la disponibilidad de un modelo de dinámica analítica de tipo control-afín o un simulador diferenciable. Los autores señen que extender el marco a dinámicas inciertas y restricciones basadas en la percepción, así como al despliegue en hardware, sigue siendo un trabajo futuro.