Scenario Generation for Risk-Aware Reinforcement Learning with Probably Approximately Safe Guarantees

Resumen Técnico: Generación de Escenarios para el Aprendizaje por Refuerzo con Conciencia de Riesgo con Garantías de Probabilidad Aproximadamente Seguras

Declaración del Problema
El despliegue de agentes de Aprendizaje por Refuerzo (RL) profundo en escenarios del mundo real se ve obstaculizado por la dificultad de garantizar la seguridad, particularmente cuando las políticas aprendidas mediante RL no logran generalizarse a nuevos escenarios o muestran susceptibilidad a las perturbaciones de las transiciones. Los métodos tradicionales de verificación de seguridad suelen depender de la comprobación de modelos (model-checking), lo que requiere un conocimiento preciso de la dinámica de transición del sistema—un requisito que a menudo es inviable en entornos complejos y sin modelo (model-free). Si bien enfoques recientes utilizan garantías de Probabilidad Aproximadamente Correcta (PAC) para acotar la probabilidad de violaciones de las restricciones de seguridad ($\epsilon$) con un nivel de confianza ($\delta$), estos límites suelen ser laxos. Esta laxitud surge de las discrepancias entre las distribuciones de estados encontradas durante el entrenamiento y el despliegue, así como de una exploración insuficiente del espacio de estados. En consecuencia, la brecha entre los límites superior e inferior de la probabilidad de violación ($|\epsilon_1 - \epsilon_2|$) permanece amplia, proporcionando información limitada sobre la verdadera seguridad de una política.

Metodología
Los autores proponen un marco de dos fases para estrechar estos límites de seguridad probabilísticos identificando y entrenando en estados "tentativamente inseguros"—regiones que se encuentran entre una región segura de límite inferior conservadora y una región segura de límite superior menos conservadora.

1. Optimización Dual de Certificados de Barrera:
   El núcleo del método consiste en formular la verificación de seguridad como un Programa de Restricción de Oportunidad (CCP) dual. Los autores construyen dos certificados de barrera:

   • Límite Inferior ($B_1$): Una estimación conservadora de la región segura donde la probabilidad de violación es menor que $\epsilon_1$.
   • Límite Superior ($B_2$): Una estimación menos conservadora donde la probabilidad de violación es menor que $\epsilon_2$ (con $\epsilon_1 \leq \epsilon_2$).
     Estos certificados se optimizan utilizando trayectorias muestreadas para maximizar la puntuación mínima de la barrera para estados subsecuentes, asegurando que, si un estado está dentro de la región de la barrera, sus transiciones también sean probablemente seguras.

2. Representación Generativa de Estados (VAE):
   Para manejar el espacio de estados de alta dimensión y generar escenarios relevantes, los autores entrenan un Autoencoder Variacional (VAE) sobre el espacio de estados encontrado. Los certificados de barrera se mapean al espacio latente del VAE. Esto permite al sistema identificar el conjunto diferencia entre las regiones de los límites superior e inferior ($Z_{B2} \setminus Z_{B1}$), que representa estados que son tentativamente inseguros pero que comparten similitudes observables con estados conocidos como seguros o inseguros.

3. Aprendizaje de la Fase 2 (Generación de Escenarios):
   El marco emplea una segunda fase de aprendizaje para mejorar la robustez de la política. En lugar de depender de la exploración aleatoria o estrategias epsilon-greedy, el método genera nuevos escenarios de entrenamiento muestreando estados del espacio latente que se encuentran dentro de la brecha entre los dos certificados de barrera. Estos estados se decodifican de vuelta al espacio de estados y se utilizan para inicializar nuevas trayectorias de entrenamiento. Este proceso apunta específicamente a la "región no robusta" para estrechar los límites de la probabilidad de violación.

Contribuciones Clave

• Formulación de CCP Dual: El artículo introduce un enfoque de optimización dual para generar tanto certificados de barrera de límite superior como de límite inferior, proporcionando una visión más granular de la seguridad de la política que los métodos de un solo límite.
• Mapeo de Barreras en el Espacio Latente: Al codificar los certificados de barrera dentro del espacio latente de un VAE, los autores permiten la identificación y generación de estados que están adyacentes a la región segura pero que aún no han sido verificados, facilitando una exploración dirigida.
• Robustez Independiente del Modelo: El método de aprendizaje de la Fase 2 propuesto permite mejorar la robustez de la política sin requerir conocimiento explícito de las dinámicas de transición (sin modelo) o guía de expertos, apoyándose en las propiedades generativas del VAE para cerrar la brecha entre las regiones conocidas como seguras e inseguras.
• Validación Empírica: El estudio demuestra que la generación de estados dentro de las regiones de seguridad de los límites superior e inferior es significativamente más efectiva para estrechar las garantías de seguridad que las estrategias de exploración estándar como epsilon-greedy o las transiciones perturbadas.

Resultados Experimentales
Los autores evaluaron su método en entornos de OpenAI Gym, específicamente Ant (complejo, de alta dimensión) y CartPole (control clásico).

• Estrechamiento de los Límites: En la Fase 2, el método propuesto redujo significativamente la brecha entre $\epsilon_1$ y $\epsilon_2$. Por ejemplo, en el entorno Ant, los límites se estrecharon de $(0.11, 0.41)$ a $(0.09, 0.18)$, comparado con otros métodos como Vanilla PPO o Epsilon Greedy que resultaron en límites más laxos (por ejemplo, $0.20, 0.45$).
• Desempeño: La recompensa promedio de la política entrenada con el método propuesto se mantuvo comparable o mejor que los métodos de referencia (por ejemplo, PPO, Entrenamiento Adversario de Currículo), indicando que mejorar las garantías de seguridad no supuso un costo en la eficiencia del aprendizaje.
• Comparación: El método superó a varios enfoques de entrenamiento basados en currículo y adversarios en términos de la estrechez de los límites de seguridad, particularmente en el entorno más complejo Ant.

Significancia y Reivindicaciones
El artículo afirma que su principal significancia radica en cambiar el enfoque de las heurísticas de exploración general hacia el objetivo directo de la incertidumbre epistémica de las políticas de RL. Al generar nuevos escenarios que se encuentran específicamente en la región de "incertidumbre" entre los límites de seguridad y de inseguridad, el método proporciona garantías de seguridad más nítidas y cuantificables antes del despliegue. Los autores postulan que este enfoque marca un paso hacia sistemas de RL explicables capaces de proporcionar garantías de seguridad probabilísticas en entornos sin modelo. Expresan explícitamente que su método logra un aprendizaje robusto sin sacrificios significativos en la eficiencia y sugieren que el trabajo futuro podría involucrar el contraste de diferentes funciones de incrustación (embedding) y la extensión del enfoque a la generación de escenarios específicos de subtareas para diseños de RL jerárquico.