Resumen Técnico: Aprendizaje por Refuerzo Transferible mediante Incrustaciones Latentes Probabilísticas y Adaptación Dinámica de Políticas para Despliegue Sim-a-Real

1. Declaración del Problema

Los agentes de aprendizaje por refuerzo (RL) profundo para sistemas ciberfísicos (por ejemplo, vehículos autónomos, robótica) suelen entrenarse en simuladores debido al alto costo y los riesgos de seguridad de la exploración en el mundo real. Sin embargo, el despliegue de estos agentes en entornos reales a menudo conduce a una degradación del rendimiento y a violaciones de seguridad causadas por la brecha Sim-a-Real (Sim2Real): la discrepancia inevitable entre las dinámicas simuladas y las del mundo real.

Los enfoques existentes enfrentan compensaciones significativas:

• Aleatorización de Dominio: Mejora la robustez pero carece de garantías explícitas de seguridad y puede conducir a un entrenamiento inestable.
• RL Distribucionalmente Robusto/Con Sensibilidad al Riesgo: Formula la transferencia como una optimización de caso peor, mejorando la fiabilidad bajo desplazamientos de distribución severos, pero a menudo resulta en políticas excesivamente conservadoras y un rendimiento degradado de la tarea.
• Meta-RL/Adaptación de Dominio: Intenta inferir contextos latentes pero a menudo asume preferencias de riesgo fijas, careciendo de mecanismos para regular dinámicamente la compensación entre seguridad y rendimiento durante el despliegue.

El desafío central abordado es desarrollar un agente de RL transferible que sea entrenado enteramente en simulación y que permanezca adaptable y seguro durante el despliegue en el mundo real, manejando específicamente dinámicas del sistema no modeladas sin sacrificar la eficiencia.

2. Metodología

Los autores proponen un marco unificado que integra Incrustaciones de Contexto Latente Probabilísticas con Aprendizaje por Refuerzo Distribucional (RL Distribucional) dentro de una formulación de Proceso de Decisión de Markov Constrained (CMDP).

2.1. Adaptación de la Variable de Contexto Latente

El marco modela el entorno como una familia de CMDPs indexados por un parámetro de entorno $\xi$. Para cerrar la brecha, se introduce una variable de contexto latente $z$ para codificar información saliente específica del entorno.

• Codificador: Una red de inferencia $q_\phi(z|D_\xi)$ se entrena para estimar $z$ a partir de un conjunto de contexto $D_\xi$ (muestras de transición). El codificador se optimiza utilizando una cota inferior variacional que incluye críticos de recompensa y costo, junto con un cuello de botella de información (divergencia KL) para evitar el sobreajuste.
• Inferencia: Durante el despliegue, el agente recopila un número limitado de interacciones en el mundo real ($N_{real}$) para refinar la estimación del contexto latente $\hat{z}_{\xi^*}$, permitiendo que la política condicione sus acciones en el estado del entorno inferido.

2.2. Formulación de RL Distribucional

El marco emplea Redes de Cuantiles Implícitos (IQN) para modelar la distribución completa de retornos (recompensas y costos) en lugar de solo sus expectativas.

• Crítico: El crítico aprende funciones de cuantil $Z(s, a, z; \tau)$ para la recompensa y el costo.
• Actor: Un actor determinista $\pi_\phi(s, z)$ se entrena con un objetivo neutral al riesgo basado en la expectativa de los críticos IQN.

2.3. Adaptación Dinámica de Políticas con Sensibilidad al Riesgo

Una innovación clave es la capacidad de ajustar dinámicamente el nivel de riesgo de la política desplegada basándose en la precisión de la estimación del contexto latente.

• Neutral al Riesgo vs. Sensible al Riesgo: Mientras que la política de entrenamiento es neutral al riesgo, la política de despliegue puede ajustarse para ser sensible al riesgo evaluando el crítico de costos utilizando cuantiles de cola superior $U([\eta, 1])$ en lugar del rango completo $U([0, 1])$.
• $\eta$ Dinámico: El parámetro de cuantil $\eta$ se ajusta dinámicamente durante el despliegue.
  • Etapa Temprana: Cuando $N_{real}$ es pequeño y el error de estimación $\epsilon(N_{real})$ es alto, se utiliza un $\eta$ más alto (más conservador) para garantizar márgenes de seguridad.
  • Etapa Posterior: A medida que se recopila más contexto y $\hat{z}$ se vuelve preciso, $\eta$ disminuye gradualmente, permitiendo que la política sea menos conservadora y más eficiente, acercándose eventualmente a la política neutral al riesgo.
• Refinamiento de Acción: Se aplica un refinamiento de gradiente proyectado en línea y ligero a la acción nominal para satisfacer la restricción de costo consciente del riesgo sin actualizar los parámetros de la red.

2.4. Garantías Teóricas

El artículo proporciona pruebas teóricas para:

• Convergencia: Los operadores de Bellman distribucionales condicionados al latente preservan la propiedad de contracción, asegurando la estabilidad del entrenamiento.
• Límite Superior de Seguridad: Un teorema establece que el costo de la política desplegada está acotado por $d + L_c \epsilon(N_{real})$, donde $d$ es el umbral de seguridad y $\epsilon$ es el error de estimación.
• Seguridad Condicional: Se demuestra que si la reducción de costos lograda por la política sensible al riesgo ($\Delta c$) supera el aumento de costos inducido por el error ($L_c \epsilon$), se satisface la restricción de seguridad.
• Existencia de Cuantil Seguro: Los autores demuestran que existe un cuantil factible $\eta$ que garantiza la seguridad una vez que se recopila un número suficiente de muestras de contexto ($N_{real} > N_{min}$).

3. Contribuciones Clave

1. Marco Unificado Seguro y Adaptable: Un marco basado en CMDP que integra la adaptación de contexto latente probabilístico con RL distribucional, permitiendo una transferencia de políticas segura y adaptable bajo la discrepancia Sim2Real.
2. Regulación de Riesgo en Tiempo de Inferencia: Un mecanismo para ajustar dinámicamente el nivel de riesgo de la política desplegada en tiempo de inferencia basándose en la precisión de la estimación del contexto latente, equilibrando seguridad y rendimiento.
3. Garantías Teóricas de Seguridad: Pruebas sobre la convergencia del entrenamiento, los beneficios de la adaptación de contexto latente y la seguridad asegurada bajo la brecha Sim2Real mediante un límite superior de seguridad derivado.

4. Resultados Experimentales

El método se evaluó en dos tareas: POINTGOAL2 (OpenAI Safety Gym) y una tarea de Conducción Autónoma (reducción de oscilaciones en convoyes de vehículos).

• Comparación de Rendimiento:
  • Líneas Base: Comparado contra Nominal (sin aleatorización), Aleatorización de Dominio (D.R.), SPiDR (seguridad pesimista demostrable) y RL Robusto.
  • Resultados: En el despliegue, Nominal, D.R. y RL Robusto lograron altas recompensas pero sufrieron violaciones graves de costos (violaciones de seguridad). SPiDR y el método propuesto mantuvieron la seguridad, pero SPiDR fue excesivamente conservador, lo que llevó a recompensas más bajas.
  • Método Propuesto: Logró una compensación recompensa-costo superior, manteniendo los costos por debajo del umbral de seguridad mientras lograba recompensas más altas que SPiDR. En la tarea de conducción autónoma, también redujo significativamente las oscilaciones del tráfico (O.R.), la sacudida (jerk) y el consumo de combustible en comparación con los controladores base.
• Adaptación Dinámica: Los experimentos mostraron que el módulo de adaptación dinámica sensible al riesgo mantuvo con éxito los costos por debajo del umbral durante todo el despliegue. El parámetro de riesgo $\eta$ transitó de conservador a menos conservador a medida que se recopiló más contexto del mundo real.
• Sensibilidad OOD: El método mantuvo consistentemente la seguridad a través de niveles de Fuera de Distribución (OOD) Leves, Medios y Altos, mientras que otros métodos fallaron bajo desplazamientos OOD más altos.
• Estudio de Ablación: Eliminar el módulo de adaptación de riesgo resultó en violaciones de costos, confirmando la necesidad de la regulación dinámica del riesgo. El codificador latente por sí solo mejoró el rendimiento sobre la línea base nominal, pero no garantizó la seguridad sin la adaptación de riesgo.

5. Significado y Afirmaciones

El artículo afirma que este marco aborda la limitación crítica de los métodos Sim2Real existentes que o bien sacrifican la eficiencia por la robustez o no logran garantizar la seguridad al encontrar dinámicas no modeladas. Al modelar explícitamente la incertidumbre del contexto del entorno y regular dinámicamente el riesgo, el enfoque permite un inicio seguro en la etapa temprana de despliegue (cuando el contexto es escaso) y una operación eficiente una vez que el agente se ha adaptado.

Los autores posicionan este trabajo como un paso hacia el despliegue de RL en sistemas ciberfísicos críticos para la seguridad donde el entrenamiento directo es inviable. Señalan que, aunque el trabajo actual se centra en entornos fijos pero desconocidos, las direcciones futuras podrían incluir el manejo de entornos en cambio continuo (por ejemplo, cambios repentinos del clima) mediante mecanismos de detección de cambios. También se señala que el marco es potencialmente adaptable a contextos de RL offline, aunque las limitaciones de datos en entornos offline del mundo real plantean desafíos para la estimación precisa del contexto y la distribución.