A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety

Aquí se presenta un resumen técnico detallado del artículo de revisión "A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety".

1. Definición del Problema

El artículo aborda el desafío crítico de desplegar agentes de Aprendizaje por Refuerzo (RL) en aplicaciones del mundo real críticas para la seguridad (por ejemplo, conducción autónoma, atención médica, robótica, redes eléctricas). El RL estándar optimiza la recompensa acumulada pero a menudo ignora las restricciones de seguridad, lo que conduce a fallos catastróficos durante el entrenamiento o el despliegue.

El problema central se formaliza como Aprendizaje por Refuerzo Seguro (SafeRL): maximizar el rendimiento (recompensa acumulada) mientras se satisfacen estrictamente las restricciones de seguridad tanto durante el proceso de aprendizaje como en el despliegue final. El artículo se centra principalmente en el marco del Proceso de Decisión de Markov Constrained (CMDP), donde la seguridad se modela como restricciones sobre los costos acumulados esperados (u otras medidas de riesgo) en lugar de solo la maximización de la recompensa. También extiende esto al RL Seguro Multiagente (SafeMARL), donde múltiples agentes deben aprender e interactuar mientras se adhieren a restricciones de seguridad individuales o globales.

2. Metodología y Fundamentos Teóricos

La encuesta proporciona una visión matemática rigurosa de SafeRL, estructurada en torno al marco CMDP y sus extensiones.

A. Fundamentos Teóricos (CMDPs)

• Formulación: Un CMDP se define como una tupla de MDP $(S, A, P, r, \{c^{(i)}\}, \gamma)$ donde $c^{(i)}$ son funciones de costo. El objetivo es maximizar $J(\pi)$ sujeto a $J_c^{(i)}(\pi) \leq d_i$.
• Tipos de Restricciones: El artículo categoriza las especificaciones de seguridad en:
  • Costos Acumulados Esperados: La formulación estándar de CMDP (la más común).
  • Restricciones Instantáneas: Límites duros en cada paso de tiempo (por ejemplo, límites de par, evitación de colisiones).
  • Probabilidad de Fallo: Restricciones sobre la probabilidad de entrar en un estado de fallo (por ejemplo, $Pr[\text{choque}] \leq \delta$).
  • Medidas de Riesgo: Restricciones sobre estadísticas de orden superior como la Varianza o el Valor en Riesgo Condicional (CVaR).
  • Lógica Temporal: Seguridad definida mediante fórmulas de Lógica Temporal Lineal (LTL).
• Enfoques de Optimización:
  • Dualidad Lagrangiana: Transformar el problema restringido en uno no restringido utilizando multiplicadores de Lagrange ($\lambda$). La función dual se minimiza para encontrar multiplicadores óptimos, mientras que el primal (política) se maximiza.
  • Programación Lineal (LP): Para espacios de estados finitos, los CMDPs pueden resolverse exactamente mediante LP utilizando medidas de ocupación.
  • Garantías Teóricas: El artículo cita a Altman [1999] probando la existencia de políticas óptimas estacionarias y dualidad fuerte bajo condiciones de regularidad. También revisa límites de rendimiento (Achiam et al., 2017) que justifican los métodos de región de confianza.

B. Algoritmos de Vanguardia (Agente Único)

La encuesta clasifica los métodos actuales en cuatro categorías principales:

1. Optimización de Políticas Basada en Lagrangiano:
   • Actor-Critic Lagrangiano: Actualiza la política y los multiplicadores de Lagrange simultáneamente (por ejemplo, Tessler et al., 2019). Simple pero puede violar restricciones durante el entrenamiento.
   • Optimización de Políticas Constrained (CPO): Un método de región de confianza histórico (Achiam et al., 2017) que resuelve un subproblema restringido en cada paso para garantizar una satisfacción cercana a la restricción.
   • CPO Proyectado (PCPO): Proyecta las actualizaciones de la política sobre el conjunto factible para garantizar la seguridad.
2. Escudos de Seguridad y Corrección de Acciones:
   • Capas externas (por ejemplo, Capas de Seguridad, filtros basados en QP) que anulan las acciones inseguras propuestas por el agente de RL.
   • Protección Formal: Utiliza verificación de modelos y lógica temporal para precalcular conjuntos de acciones seguras.
3. Métodos Sensibles al Riesgo y Distribucionales:
   • Optimizar directamente para medidas de riesgo (por ejemplo, CVaR) en lugar de usar restricciones duras.
   • RL distribucional para modelar la distribución completa de retornos y controlar los riesgos de cola.
4. RL Seguro Multiagente (SafeMARL):
   • Centralizado: Tratar el sistema multiagente como un único agente conjunto (por ejemplo, MACPO).
   • Descentralizado: Los agentes optimizan objetivos locales con comunicación limitada (por ejemplo, vecindarios de $\kappa$ saltos) para aproximar la seguridad global.
   • Teoría de Juegos: Buscar equilibrios de Nash restringidos en entornos competitivos.

3. Contribuciones Clave

1. Taxonomía Exhaustiva: El artículo proporciona una taxonomía estructurada de métodos SafeRL, distinguiendo entre enfoques de agente único y multiagente, y categorizando algoritmos por su mecanismo subyacente (Lagrangiano, Protección, Sensible al riesgo).
2. Rigor Matemático: Ofrece una derivación detallada de la teoría CMDP, incluyendo dualidad lagrangiana, formulaciones de programación lineal y límites de gradiente de política, sirviendo como referencia técnica para investigadores.
3. Enfoque en SafeMARL: A diferencia de encuestas anteriores que se centraron fuertemente en el RL de agente único, este artículo dedica una atención significativa al campo emergente de SafeMARL, analizando desafíos en entornos cooperativos, competitivos y descentralizados.
4. Identificación de Problemas Abiertos: Los autores proponen cinco problemas de investigación abiertos específicos para guiar el trabajo futuro:
   • P1: Exploración Segura de Cero Violaciones: Garantizar que no haya violaciones de restricciones durante todo el proceso de entrenamiento (no solo asintóticamente).
   • P2: Seguridad bajo Observabilidad Parcial: Manejar la seguridad en POMDPs donde el estado real es desconocido.
   • P3: SafeMARL Descentralizado: Lograr seguridad global sin un controlador central ni observabilidad completa del estado.
   • P4: SafeMARL Competitivo: Encontrar equilibrios seguros (por ejemplo, Nash restringido) en juegos no cooperativos de suma general.
   • P5: Seguridad Multiagente No Estacionaria: Garantizar la seguridad cuando el entorno o la población de agentes cambian con el tiempo.
5. Compilación de Recursos: El artículo incluye una lista curada de bibliotecas de código abierto (por ejemplo, OmniSafe, SafePO) y entornos de referencia (por ejemplo, Safety Gymnasium, SMARTS) para facilitar la reproducibilidad.

4. Resultados y Hallazgos

• Madurez de Agente Único: El campo de SafeRL de agente único es relativamente maduro, con algoritmos como CPO y métodos lagrangianos que proporcionan fuertes garantías teóricas y éxito empírico en referencias como Safety Gym.
• Desafíos Multiagente: SafeMARL se identifica como un campo naciente. Si bien los enfoques centralizados (como MACPO) muestran promesa, las soluciones descentralizadas escalables y los métodos robustos para entornos competitivos permanecen en gran medida sin resolver.
• Compensaciones: La encuesta destaca una compensación fundamental entre garantías de seguridad y eficiencia de muestras. Los métodos con fuertes garantías teóricas (como CPO) suelen ser computacionalmente costosos, mientras que los métodos más simples basados en penalizaciones son eficientes pero pueden violar restricciones durante el entrenamiento.
• Importancia de los Tipos de Restricción: La elección de la formulación de la restricción (instantánea vs. acumulada, sensible al riesgo vs. esperada) impacta significativamente el diseño del algoritmo y la aplicabilidad a dominios específicos (por ejemplo, la robótica requiere restricciones instantáneas, mientras que las finanzas pueden preferir CVaR).

5. Significado

Esta encuesta es significativa por varias razones:

• Unificación: Cierra la brecha entre la teoría de control teórica (CMDPs) y el RL profundo moderno, proporcionando un lenguaje unificado para la seguridad.
• Hoja de Ruta para el Despliegue: Al identificar problemas abiertos como el aprendizaje de "Cero Violaciones" y la "Seguridad Descentralizada", traza el camino necesario para mover SafeRL de la simulación al despliegue en el mundo real en dominios de alto riesgo.
• Recurso Comunitario: La compilación de bibliotecas y referencias sirve como una herramienta vital para que los investigadores comparen algoritmos y reproduzcan resultados, acelerando el progreso en el campo.
• Dirección Futura: Los problemas de investigación propuestos (P1–P5) establecen una agenda clara para la próxima generación de investigación en SafeRL, enfatizando la necesidad de robustez en observabilidad parcial, descentralización y entornos dinámicos.

En conclusión, el artículo establece que, aunque SafeRL ha logrado avances significativos, particularmente en configuraciones de agente único, la transición a escenarios complejos, multiagente y del mundo real requiere resolver desafíos fundamentales en exploración, descentralización y cálculo de equilibrios.