Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning

A continuación se presenta un resumen técnico detallado del artículo "Alineación Autoguiada por Lyapunov: Adaptación en Tiempo de Prueba para Aprendizaje por Refuerzo Seguro Offline".

1. Declaración del Problema

Los agentes de Aprendizaje por Refuerzo (RL) offline, entrenados con conjuntos de datos estáticos (por ejemplo, D4RL, DSRL), a menudo fallan al desplegarse en entornos del mundo real debido a desplazamientos de distribución. Incluso si un agente funciona bien con los datos de entrenamiento, ligeras diferencias en la dinámica o en las transiciones de estado pueden conducir a comportamientos inseguros (por ejemplo, colisiones, superación de umbrales de costo).

Las soluciones existentes enfrentan limitaciones significativas:

• Adaptación basada en creencias: Requiere reentrenar desde cero para modelar la incertidumbre.
• RL restringido/conservador: A menudo sacrifica el rendimiento (retorno) o requiere ajuste fino con señales de costo adicionales.
• Adaptación en tiempo de prueba: La mayoría de los métodos actuales no pueden adaptar un agente offline preentrenado a restricciones de seguridad en el despliegue sin actualizaciones de parámetros o supervisión humana.

La pregunta central abordada es: ¿Puede un agente de RL offline autoalinearse para la seguridad en tiempo de prueba utilizando únicamente su distribución preentrenada, sin reentrenamiento?

2. Metodología: SAS (Alineación Autoguiada para la Seguridad)

Los autores proponen SAS, un marco basado en transformadores que habilita la adaptación en tiempo de prueba mediante alineación autoguiada por Lyapunov. El método opera sin actualizar los parámetros del modelo, confiando en su lugar en el aprendizaje en contexto y la inferencia bayesiana.

Componentes Principales

1. Modelo de Densidad de Lyapunov (LDM) para RL Offline:

   • Los autores reformulan la estabilidad de Lyapunov utilizando medidas de ocupación derivadas de datos offline.
   • Definen una función de energía $E(s, a) = -\log \hat{\rho}_\pi(s, a)$, donde $\hat{\rho}_\pi$ es la medida de ocupación basada en modelos estimada a partir de trayectorias imaginadas.
   • Se construye un sustituto de Lyapunov $G_{SAS}(s, a)$ para garantizar que el agente permanezca dentro de un conjunto invariante de control ($R_{SAS}^G$). Este conjunto garantiza que las trayectorias no ingresen a regiones de baja densidad (inseguras/fuera de distribución).
   • $G_{SAS}$ se define como la energía mínima encontrada a lo largo de cualquier trayectoria, asegurando que la política evite colapsar en regiones inseguras de baja probabilidad.

2. Visión de Inferencia Probabilística:

   • El artículo interpreta al agente de RL basado en transformadores como un sistema de RL Jerárquico donde la política de alto nivel selecciona habilidades latentes ($z_t$) y la política de bajo nivel ejecuta acciones.
   • El aprendizaje en contexto se enmarca como inferencia bayesiana sobre estas habilidades latentes. Al proporcionar un prompt (una secuencia de pares estado-acción), el modelo infiere la política de alto nivel más probable consistente con ese prompt.
   • Las condiciones de seguridad se codifican como indicadores observables ($U_t$ y $V_t$):
     • $U_t$: Indica si el par estado-acción actual está dentro de la región de densidad segura ($G_{SAS} > 0$).
     • $V_t$: Indica si la función de Lyapunov es no decreciente ($G_{SAS}(s_t, a_t) \geq G_{SAS}(s_{t+1}, a_{t+1})$).

3. El Algoritmo SAS (Algoritmo 1):
   El proceso involucra dos bucles de "imaginación" y selección:

   • Paso 1 (Condición $U_t$): Desde un estado inicial fijo, el transformador imagina $N$ trayectorias. Selecciona el segmento de trayectoria que minimiza la energía máxima (riesgo del peor caso) para formar un prompt inicial.
   • Paso 2 (Condición $V_t$): Utilizando el prompt inicial, el transformador imagina $M$ nuevas trayectorias. Selecciona la trayectoria que maximiza el descenso acumulativo de Lyapunov (suma de indicadores $V_t$).
   • Paso 3 (Despliegue): El segmento seguro seleccionado se utiliza como prompt en contexto ($p_{1:K}$) para el transformador. El agente condiciona entonces sus acciones a este prompt y al estado actual, "dirigiendo" efectivamente la política preentrenada hacia un comportamiento seguro sin actualizaciones de gradiente.

3. Contribuciones Clave

1. Nueva Formulación: Una definición novedosa de estabilidad de Lyapunov para RL offline basada en medidas de ocupación, lo que permite imponer restricciones de seguridad mediante la densidad de datos en lugar de funciones de costo explícitas.
2. Marco Teórico: Una interpretación de RL Jerárquico del RL basado en transformadores mediante inferencia bayesiana, donde la generación de prompts corresponde a inferir habilidades latentes de alto nivel. Esto proporciona una base teórica para explicar por qué el aprendizaje en contexto funciona para la seguridad.
3. Método de Adaptación en Tiempo de Prueba (SAS): Un algoritmo práctico que genera prompts guiados por Lyapunov para realinear el comportamiento del agente. Garantiza la seguridad al restringir al agente a conjuntos invariantes de control derivados de datos offline.
4. Garantía Probabilística de Seguridad: Los autores proporcionan un límite formal (Teorema 4) que muestra que la probabilidad de que el agente abandone el conjunto seguro disminuye exponencialmente con el número de rodajes imaginados ($N$) y ensayos de reimaginación ($M$).

4. Resultados Experimentales

El método fue evaluado en los puntos de referencia Safety Gymnasium, MuJoCo y Bullet-Safety-Gym.

• Rendimiento vs. Seguridad: SAS redujo consistentemente el costo y las tasas de fallo (hasta una mejora de 2x) mientras mantenía o mejoraba el retorno (recompensa) en comparación con líneas base como Decision Transformer (DT), Constrained Decision Transformer (CDT) y varias líneas base de RL seguro (BC-Safe, COptiDICE, etc.).
• Generalización: SAS mejoró la seguridad incluso para arquitecturas base (DT) que no fueron entrenadas con señales de costo explícitas, demostrando que la guía de Lyapunov basada en densidad actúa como un proxy de seguridad implícito.
• Estudios de Ablación:
  • Descenso de Lyapunov ($V_t$): Eliminar la condición de descenso aumentó significativamente los costos, demostrando su necesidad para la estabilidad a largo plazo.
  • Selección de Prompt: La generación aleatoria de prompts o la selección por máxima energía funcionaron peor que la selección guiada por Lyapunov, confirmando la eficacia de los criterios de selección específicos.
  • Robustez del Modelo: El método mostró robustez a través de diferentes longitudes de prompt, números de trayectorias imaginadas y tamaños de modelos base (desde DT hasta GPT-2).

5. Significado e Impacto

• Puente entre LLM y RL: El artículo adapta con éxito el concepto de autoalineación (popular en Modelos de Lenguaje Grandes) al dominio del RL Seguro, permitiendo que los agentes "razonen" sobre la seguridad utilizando sus propios modelos internos del mundo.
• Viabilidad de Despliegue: Al eliminar la necesidad de reentrenamiento o ajuste fino, SAS ofrece una solución escalable para desplegar agentes de RL offline en entornos dinámicos e inciertos donde la seguridad es crítica.
• Rigor Teórico: Avanza más allá de las comprobaciones de seguridad heurísticas al proporcionar una garantía probabilística de que el agente permanece dentro de un conjunto invariante de control, fundamentado en la teoría de estabilidad de Lyapunov y la inferencia bayesiana.
• Eficiencia: Aunque requiere computación en tiempo de inferencia para la imaginación (rodajes), evita el costo computacional del reentrenamiento completo, lo que lo hace adecuado para escenarios donde los datos son estáticos pero el entorno no lo es.

En resumen, SAS representa un paso significativo hacia adelante en la creación de agentes de RL offline robustos frente a desplazamientos de distribución, aprovechando la imaginación guiada por Lyapunov para autocorregir el comportamiento en tiempo de prueba mediante aprendizaje en contexto.