Sampling-Based Safe Reinforcement Learning

Problema
La exploración segura sigue siendo una barrera fundamental para desplegar agentes de Aprendizaje por Refuerzo (RL) en el mundo real. Los algoritmos estándar de RL a menudo requieren una interacción extensa con el entorno, lo cual es impráctico o costoso en sistemas físicos. Más críticamente, garantizar la seguridad durante el proceso de entrenamiento es un desafío debido a la incertidumbre epistémica respecto a la dinámica del sistema; cada interacción es inherentemente exploratoria y conlleva el riesgo de un fallo catastrófico. Si bien los Procesos de Decisión de Markov Constrained (CMDP) proporcionan un marco para la seguridad, los enfoques basados en modelos existentes a menudo dependen de una optimización del peor caso sobre dinámicas inciertas, lo cual es generalmente intratable. Además, los métodos que aproximan esto mediante un endurecimiento heurístico de las restricciones a menudo introducen un conservadurismo excesivo, mientras que aquellos que utilizan bonificaciones de exploración requieren un ajuste cuidadoso y pueden conducir a una sobreexploración o a una explotación prematura.

Metodología
Los autores proponen Aprendizaje por Refuerzo Seguro Basado en Muestreo (SBSRL), un algoritmo basado en modelos diseñado para una exploración segura y eficiente en muestras en espacios continuos de estado-acción. La metodología central involucra tres componentes clave:

1. Aplicación de Restricciones Basada en Muestreo: En lugar de resolver un problema de optimización del peor caso intratable sobre un conjunto de modelos de dinámica plausibles, SBSRL mantiene un conjunto finito de $M$ muestras de dinámica extraídas de un modelo aprendido consciente de la incertidumbre (específicamente Procesos Gaussianos en el análisis teórico). La seguridad se hace cumplir satisfaciendo conjuntamente las restricciones en todas las $M$ dinámicas muestreadas. Esto aproxima el problema de optimización robusta, asegurando que si las restricciones se cumplen para las muestras, se cumplen para la dinámica real del sistema con alta probabilidad.
2. Exploración mediante Restricciones de Incertidumbre Epistémica: En lugar de añadir bonificaciones de exploración explícitas a la función de recompensa, SBSRL formula la exploración como una restricción. Se requiere que el agente recopile información suficiente (medida por la incertidumbre epistémica acumulada) a lo largo de sus trayectorias. Esta restricción está activa solo cuando la política codiciosa no es suficientemente informativa, permitiendo que el agente permanezca codicioso cuando se cumplen los requisitos de seguridad e información.
3. Truncamiento y Endurecimiento: Para manejar la brecha entre las muestras previas y la dinámica real, el algoritmo trunca las muestras para que se encuentren dentro de la intersección de los conjuntos de confianza anteriores de los Procesos Gaussianos. Además, las restricciones se endurecen mediante una constante $\Delta_\zeta$ dependiente de la cercanía de las muestras a la dinámica real, asegurando garantías de seguridad.

El algoritmo itera a través de episodios, actualizando el modelo de dinámica con los datos recopilados, truncando muestras y resolviendo para una política que maximice la recompensa sujeta a restricciones de seguridad en todas las muestras y a la restricción de exploración.

Contribuciones Clave

• Propuesta de Algoritmo: La introducción de SBSRL, un algoritmo novedoso de RL basado en modelos que hace cumplir la seguridad mediante un conjunto finito de muestras de dinámica y promueve la exploración a través de una restricción sobre la incertidumbre epistémica, eliminando la necesidad de bonificaciones de exploración explícitas.
• Garantías Teóricas: Bajo condiciones de regularidad (incluyendo ruido gaussiano y normas RKHS acotadas para la dinámica), los autores derivan garantías de alta probabilidad de que SBSRL satisface las restricciones de seguridad a lo largo del proceso de aprendizaje. También proporcionan un límite de complejidad de muestras en tiempo finito, demostrando que el algoritmo termina y recupera una política casi óptima.
• Validación Empírica: El artículo valida SBSRL tanto en simulación como en hardware robótico del mundo real.
  • En simulación (utilizando dinámicas de Procesos Gaussianos), SBSRL logra una exploración segura y eficiente en tareas como el balanceo del Péndulo y el Cartpole, superando a líneas base como ActSafe y enfoques de dinámica media.
  • Se introduce una variante escalable de conjunto neuronal y se evalúa en problemas de control continuo de alta dimensión (SafetyGym, RWRL) y hardware del mundo real (un coche de carreras controlado remotamente). Esta variante extiende con éxito los principios de SBSRL a entornos de aprendizaje profundo prácticos.

Resultados
Los resultados empíricos demuestran que SBSRL mantiene la seguridad durante todo el entrenamiento mientras logra un rendimiento casi óptimo.

• Simulación: En las tareas del Deepmind Control Suite, SBSRL evita las violaciones de seguridad observadas en las líneas base de dinámica media y converge más rápido que las estrategias de exploración pura como ActSafe.
• Hardware: En experimentos del mundo real con un coche de carreras controlado remotamente de alta frecuencia (60 Hz), SBSRL mejoró con éxito las recompensas sobre una política previa mientras mantenía la seguridad, mientras que una línea base que hacía cumplir las restricciones solo en el crítico medio incurrió en mayores costos (energía cinética perdida en colisiones).
• Escalabilidad: La variante de conjunto profundo de SBSRL manejó con éxito espacios de estado de alta dimensión (45 dimensiones) y dinámicas complejas donde los métodos de Procesos Gaussianos serían computacionalmente prohibitivos.

Significado
El artículo afirma cerrar la brecha entre las garantías teóricas de seguridad y el despliegue práctico en dominios continuos. Al aproximar la optimización del peor caso intratable con un enfoque basado en muestreo tratable, SBSRL proporciona garantías de seguridad rigurosas sin el conservadurismo excesivo de los métodos anteriores. La formulación de la exploración como una restricción en lugar de una bonificación de recompensa ofrece una estrategia más robusta que equilibra naturalmente la recopilación de información y la maximización de la recompensa. La transferencia exitosa de estos principios desde modelos teóricos de Procesos Gaussianos hasta conjuntos de redes neuronales profundas y hardware del mundo real sugiere que la exploración segura basada en muestreo es un camino viable para desplegar agentes de RL en sistemas físicos críticos para la seguridad. Los autores señalan que, si bien el trabajo actual se centra en configuraciones episódicas de horizonte finito, el marco ofrece una base para futuras extensiones a configuraciones no episódicas y restricciones de seguridad por estado.