Safe-Support Q-Learning: Learning without Unsafe Exploration

A continuación se presenta un resumen técnico detallado del artículo "Safe-Support Q-Learning: Learning without Unsafe Exploration".

1. Planteamiento del Problema

Los agentes de Aprendizaje por Refuerzo (RL) suelen descubrir políticas óptimas mediante exploración, lo que inherentemente implica visitar pares estado-acción que pueden conducir a resultados inseguros o catastróficos. Aunque los métodos existentes de "RL Seguro" intentan mitigar el riesgo mediante restricciones, penalizaciones u objetivos sensibles al riesgo (por ejemplo, Valor Condicional en Riesgo), generalmente no eliminan la visita a estados inseguros durante el entrenamiento. A menudo dependen de límites probabilísticos o restricciones basadas en expectativas, lo que significa que las violaciones de seguridad aún pueden ocurrir.

Los autores abordan un requisito de seguridad más estricto: el proceso de aprendizaje nunca debe producir trayectorias que visiten estados inseguros. El desafío central consiste en habilitar una exploración suficiente y una mejora de la política dentro de un "conjunto seguro" restringido ($S_{safe}$), sin depender de un comportamiento casi óptimo ni arriesgarse a transiciones inseguras.

2. Metodología: Safe-Support Q-Learning

El marco propuesto es un enfoque basado en Q-learning que restringe todos los componentes de aprendizaje al soporte de un conjunto seguro. Opera bajo la suposición de que existe una política de comportamiento ($\pi_b$) que está soportada enteramente en $S_{safe}$ (es decir, nunca visita estados inseguros). Esta política no necesita ser óptima, pero debe ser estocástica para permitir la exploración dentro de la región segura.

El marco consta de tres componentes principales:

A. Construcción de la Política de Comportamiento

El método utiliza una política de comportamiento $\pi_b$ soportada en $S_{safe}$. Se proponen dos estrategias de instanciación:

1. HC Safe (Manual): Utiliza reglas o controladores de buen rendimiento (por ejemplo, PID, MPC) convertidos en políticas estocásticas. En espacios continuos, esto se implementa mediante Ruido-Media (política determinista + ruido gaussiano) o parametrizaciones Distribucionales (Gaussiana dependiente del estado).
2. DS Safe (Basado en Conjunto de Datos): Entrena una política mediante estimación de máxima verosimilitud sobre un conjunto de datos pre-recopilado que contiene únicamente transiciones seguras. Esto actúa como una configuración de RL offline donde la política está restringida al soporte del conjunto de datos.

B. Objetivo de Bellman Regularizado por KL

Para evitar que la función Q asigne valores altos a acciones fuera de distribución (OOD) o inseguras, los autores modifican el objetivo estándar de Bellman. En lugar de utilizar un prior uniforme (como en Soft Q-Learning) o un operador máximo, introducen un término de regularización por divergencia KL que alinea la función Q con la política de comportamiento $\pi_b$.

El valor objetivo seguro $y_k^{safe}$ para acciones discretas se define como:
$$y_k^{safe} = r_{k+1} + \mathbb{1}(s_{k+1})\gamma \lambda \ln \left( \sum_{a \in A} \tilde{\pi}_b(a|s_{k+1}) \exp\left(\frac{Q(s_{k+1}, a)}{\lambda}\right) \right)$$
Donde:

• $\tilde{\pi}_b$ es una versión suavizada de la política de comportamiento para garantizar probabilidades estrictamente positivas.
• $\lambda$ es un parámetro de temperatura.
• Esta formulación penaliza efectivamente las desviaciones de la distribución de comportamiento segura, asegurando que la función Q permanezca dentro del soporte de las acciones seguras.

Garantía Teórica: Los autores demuestran que el operador de Bellman resultante es una aplicación contractiva, garantizando un punto fijo único ($Q^*_\lambda$). La política óptima inducida por esta función Q es un softmax regularizado por KL sobre la política de comportamiento:
$$\pi^*_\lambda(a|s) = \frac{\tilde{\pi}_b(a|s) \exp(Q^*_\lambda(s, a)/\lambda)}{\sum_{a'} \tilde{\pi}_b(a'|s) \exp(Q^*_\lambda(s, a')/\lambda)}$$

C. Extracción de la Política

• Espacios de Acción Discretos: La política óptima se deriva directamente utilizando la expresión softmax de forma cerrada anterior.
• Espacios de Acción Continuos: Dado que la integral en el denominador es intratable, los autores proponen una política sustituta ($\pi_\phi$) parametrizada como una Gaussiana. Esta sustituta se entrena minimizando la divergencia KL entre ella misma y la política óptima teórica, utilizando muestreo de Monte Carlo para aproximar la expectativa.

El marco es unificado y adaptable tanto a configuraciones online como offline, así como a espacios de acción discretos y continuos.

3. Contribuciones Clave

1. Garantía Estricta de Seguridad: A diferencia de los métodos previos de RL Seguro que acotan el riesgo, este enfoque impone la seguridad a nivel de soporte de la trayectoria, asegurando que no se visiten estados inseguros durante el entrenamiento.
2. Q-Learning Regularizado por KL: Introducción de un objetivo de Bellman novedoso que restringe la función Q al soporte de una política de comportamiento segura mediante divergencia KL, reemplazando la regularización de entropía estándar.
3. Marco de Dos Etapas: Una separación entre el entrenamiento de la función Q y la extracción de la política, lo que permite un aprendizaje estable incluso cuando la política de comportamiento es subóptima pero segura.
4. Variantes Unificadas: El método proporciona un único marco adaptable a diversos escenarios (acciones discretas/continuas, políticas de comportamiento manuales/basadas en conjuntos de datos).

4. Resultados Experimentales

Los autores evaluaron el método en los entornos FrozenLake y CartPole, comparándolo con el Q-learning estándar y con líneas base de última generación (CQL, BCQ, IQL, TD3+BC, BEAR).

• Estabilidad y Convergencia: El método propuesto demostró una convergencia más rápida y una menor varianza en comparación con las líneas base, particularmente en configuraciones discretas donde otros métodos a menudo fallaron en aprender políticas efectivas.
• Calibración de Valores: Los valores Q aprendidos por el método propuesto estaban bien calibrados, coincidiendo estrechamente con los retornos de Monte Carlo. Por el contrario, las líneas base mostraron problemas como colapso de valores, sobreestimación (divergencia por encima de la diagonal) o excesivo conservadurismo.
• Seguridad vs. Rendimiento:
  • En el entorno CartPole, el método propuesto logró un comportamiento más seguro (ángulos máximos del péndulo más bajos) a través de niveles de retorno comparables en relación con las líneas base.
  • Aunque algunas líneas base lograron retornos altos, a menudo lo hicieron con mayor varianza o trayectorias inseguras.
  • El método mostró una compensación: cuando la política de comportamiento era imperfecta (por ejemplo, en configuraciones altamente restringidas), el rendimiento estaba limitado, pero la seguridad se mantuvo estrictamente.

5. Significado

Este trabajo representa un cambio significativo en el RL Seguro, pasando de la mitigación del riesgo (permitiendo cierta exploración insegura) a la eliminación del riesgo (prohibiendo estrictamente la exploración insegura). Al aprovechar una política de comportamiento soportada en un conjunto seguro y regularizar el objetivo de Q-learning, el método proporciona una forma fundamentada de aprender políticas óptimas en entornos de alto riesgo (por ejemplo, robótica, conducción autónoma) donde incluso una única interacción insegura es inaceptable. La garantía teórica de un punto fijo único y el éxito práctico en el mantenimiento de estimaciones de valor bien calibradas convierten a esto en un marco robusto para aplicaciones críticas de seguridad.