Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty

1. Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) enfrenta un desafío crítico: la exploración segura durante el entrenamiento. El aprendizaje directo en hardware físico suele ser impracticable debido al riesgo de fallos catastróficos. Los enfoques existentes generalmente caen en dos categorías con limitaciones significativas:

• Restricciones Suaves (ej. MDPs Constrained): Estas aseguran la seguridad solo en expectativa, sin ofrecer garantías estrictas contra fallos individuales.
• Filtros de Seguridad de la Teoría de Control: Métodos como las Funciones de Barrera de Control (CBF) o la alcanzabilidad de Hamilton-Jacobi proporcionan garantías de seguridad estrictas, pero requieren un conocimiento exhaustivo del dominio (ej. dinámicas conocidas, conjuntos invariantes) y luchan para escalar a sistemas de alta dimensionalidad.
• Filtros Basados en Aprendizaje: Los intentos recientes de aprender filtros de seguridad mediante RL a menudo dependen de simuladores o fallan al escalar eficazmente a entornos complejos y de alta dimensionalidad con dinámicas desconocidas.

El problema central es desarrollar un método escalable y basado en datos que aprenda un filtro de seguridad y una política de control simultáneamente, requiriendo un conocimiento mínimo del dominio (solo una definición de "fallo" y datos iniciales), mientras garantiza la seguridad durante el proceso de entrenamiento.

2. Metodología: Dyna-SAuR

Los autores proponen Dyna-SAuR (Dyna-style Safety Augmented Reinforcement Learning), un marco de RL Basado en Modelos (MBRL) que aprende iterativamente una política de control y un filtro de seguridad utilizando un modelo de dinámicas consciente de la incertidumbre.

Arquitectura Central

El algoritmo opera en un bucle iterativo (Algoritmo 1) que consta de tres fases principales:

1. Aprendizaje del Modelo: Se entrena un modelo de dinámicas probabilístico por conjunto ($\hat{p}$) sobre los datos recopilados. Este modelo captura la incertidumbre epistémica (incertidumbre debida a la falta de datos) utilizando la discrepancia del conjunto.
2. Aprendizaje del Filtro de Seguridad: Una política de filtro ($\mu$) se entrena exclusivamente sobre el modelo aprendido. El filtro proyecta las acciones de la política de control en un conjunto "viable" para evitar fallos y regiones de alta incertidumbre del modelo.
3. Aprendizaje de la Política de Control: La política de control ($\pi$) se entrena utilizando tanto interacciones reales con el entorno como despliegues basados en el modelo, filtrados a través del filtro de seguridad actual $\mu$. Se recopilan nuevos datos para refinar el modelo de dinámicas, expandiendo la región de seguridad "cierta" para la siguiente iteración.

Innovaciones Técnicas Clave

A. Viabilidad en Modelos Conscientes de la Incertidumbre
El artículo extiende el concepto de la Teoría de Viabilidad al MBRL. En lugar de solo evitar estados de fallo ($S_F$), el sistema debe evitar estados donde el modelo es incierto.

• Conjunto de Seguridad Cierta ($SS(E)$): El conjunto de pares estado-acción donde el estado es seguro y la entropía predictiva del modelo está por debajo de un umbral ($\lambda_1$).
• Núcleo de Viabilidad Cierta ($S_V(E)$): El conjunto de estados desde los cuales existe una política que mantiene el sistema dentro de $SS(E)$ durante un horizonte finito con alta probabilidad.
• El filtro se entrena para proyectar acciones en el conjunto de políticas que permanecen dentro de este núcleo.

B. Formulación Eficiente del Espacio de Acciones del Filtro
Una contribución mayor es la reparametrización del filtro de seguridad. Los métodos anteriores aprendían parámetros de hiperplano ($w, b$) directamente, lo que conducía a un espacio de búsqueda ilimitado y sobreparametrizado.

• Espacio de Acciones de Hipercubo Unitario ($U$): La política de filtro $\mu$ emite un vector $u$ en una hipercapa unitaria ($0 < \|u\|_2 \leq 1$).
• Transformación Biyectiva ($h$): Una función determinista mapea $u$ a los parámetros del hiperplano $(w, b)$:
  • $w = u / \|u\|_2$ (Dirección del vector normal)
  • $b = (2\|u\|_2 - 1)\|w\|_1$ (Desplazamiento)
• Significado: Esto asegura que el hiperplano siempre interseque el espacio de acciones acotado $A = [-1, 1]^{n_A}$. La norma $\|u\|_2$ actúa como un control de "restricción": valores cercanos a 0 son permisivos, mientras que valores cercanos a 1 son restrictivos. Esto crea un espacio de búsqueda compacto y acotado para el agente de RL.

C. Moldeamiento de Recompensas y Distribución de Datos
Para entrenar el filtro eficazmente sin fallos en el mundo real:

• Función de Recompensa: El filtro recibe una recompensa de $+1$ si el siguiente estado permanece en $SS(E)$, y una penalización negativa grande ($-1/(1-\gamma)$) si lo abandona, codificando efectivamente el "tiempo hasta el fallo".
• Objetivo: Maximizar el tiempo esperado hasta el fallo mientras se minimiza la norma de la acción del filtro ($\|u\|_2$) para evitar un comportamiento excesivamente conservador.
• Moldeamiento de Datos: La distribución de estados iniciales para el entrenamiento del filtro es una mezcla de:
  1. Datos iniciales del entorno.
  2. Estados cerca de regiones de fallo (para aprender a recuperarse/evitar).
  3. Estados con altos retornos de control (para asegurar que el filtro no bloquee el rendimiento óptimo).

3. Contribuciones Clave

1. Algoritmo Novel: Dyna-SAuR es el primer enfoque escalable para aprender filtros de seguridad basados en viabilidad para sistemas diversos y de alta dimensionalidad utilizando un conocimiento mínimo del dominio (solo un conjunto de fallos y datos iniciales).
2. Formulación Compacta de RL: Formula el aprendizaje del filtro de seguridad como un problema estándar de RL con una parametrización novedosa y biyectiva del espacio de acciones que resuelve los problemas de escalabilidad de los métodos anteriores de aprendizaje de hiperplanos.
3. Viabilidad Consciente de la Incertidumbre: Integra la incertidumbre del modelo directamente en el núcleo de viabilidad, permitiendo que el sistema explore de forma segura y expanda su conocimiento del entorno.
4. Mejora Iterativa: El marco crea un bucle de retroalimentación positiva donde mejores modelos reducen la incertidumbre, permitiendo que el filtro de seguridad sea menos conservador y habilitando mejores políticas de control.

4. Resultados Experimentales

El método fue evaluado en dos tareas:

• Goal-reaching CartPole: Una tarea de baja dimensionalidad con restricciones de posición y ángulo.
• MuJoCo Walker: Una tarea de caminata bípeda de alta dimensionalidad (17 estados, 6 acciones) con restricciones del torso.

Métricas de Rendimiento:

• Seguridad: Dyna-SAuR redujo los fallos durante el entrenamiento en 2 órdenes de magnitud (100x) en comparación con los métodos de RL seguro más avanzados (PPO-Lagrangian, DH-RL).
• Rendimiento de Control: Igualó o superó el rendimiento de control (retorno) de los métodos de RL seguro existentes.
• Escalabilidad: El método escaló con éxito al entorno Walker de alta dimensionalidad, mientras que otros métodos de aprendizaje de filtros tuvieron dificultades.
• Estudios de Ablación: Eliminar la formulación novedosa del espacio de acciones o las heurísticas de moldeamiento de datos condujo a una degradación significativa del rendimiento o al fallo en aprender un filtro válido, validando las decisiones de diseño.

5. Significado

Dyna-SAuR representa un paso significativo hacia el RL práctico y seguro para la robótica del mundo real.

• Cerrando la Brecha: Cierra la brecha entre la teoría de control rigurosa (viabilidad) y el aprendizaje basado en datos, eliminando la necesidad de modelos diseñados a mano o experiencia exhaustiva en el dominio.
• Aplicabilidad en Hardware: Al reducir los fallos durante el entrenamiento en órdenes de magnitud, hace que la perspectiva de entrenar agentes de RL directamente en hardware físico (o con una transferencia mínima de simulación a realidad) sea mucho más factible.
• Escalabilidad: La parametrización propuesta del espacio de acciones y el enfoque consciente de la incertidumbre proporcionan una hoja de ruta para escalar el RL seguro a sistemas complejos y de alta dimensionalidad donde los métodos tradicionales fallan.

En resumen, Dyna-SAuR ofrece un marco robusto y basado en datos que aprende a "mantenerse seguro" aprendiendo lo que no sabe (incertidumbre) y lo que no puede hacer (fallo), expandiendo dinámicamente el margen de operación seguro a medida que aprende.