Resumen Técnico: RS-Diffuser

Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) fuera de línea (offline) busca aprender políticas de toma de decisiones a partir de conjuntos de datos fijos sin mayor interacción con el entorno, una capacidad crítica en dominios sensibles a la seguridad como la atención médica y la robótica, donde la exploración en línea es costosa o insegura. Sin embargo, los métodos actuales de RL fuera de línea enfrentan dos desafíos principales:

1. Desplazamiento de Distribución (Distributional Shift): Las políticas suelen actuar fuera del soporte de los datos de comportamiento, lo que conduce a estimaciones de valor poco fiables.
2. Neutralidad al Riesgo: La mayoría de los planificadores basados en difusión y los métodos de RL fuera de línea actuales optimizan el retorno esperado. No logran modelar explícitamente el comportamiento de la cola de los retornos, lo que los hace susceptibles a resultados raros pero catastróficos. En entornos críticos para la seguridad, dos comportamientos con retornos esperados similares pueden poseer riesgos de pérdida drásticamente diferentes, una distinción que los métodos estándar pasan por alto.

Si bien el RL Distribucional ofrece una forma fundamentada de modelar distribuciones completas de retorno (permitiendo métricas como el Valor en Riesgo y el Valor en Riesgo Condicional), los métodos existentes de riesgo sensible fuera de línea están construidos predominantamente sobre arquitecturas de actor-crítico. Existe una falta de trabajo que explore cómo dotar a los planificadores basados en difusión de una sensibilidad al riesgo explícita y controlable.

Metodología: RS-Diffuser

Los autores proponen RS-Diffuser, un marco de planificación de difusión fuera de línea sensible al riesgo que integra la generación de trayectorias basada en difusión con el aprendizaje de valor distribucional. El marco consta de tres componentes principales entrenados en un conjunto de datos fuera de línea:

1. Planificador de Difusión de Trayectorias de Estado:
   En lugar de generar pares estado-acción directamente, el planificador modela una distribución condicional sobre futuras trayectorias de estado $p_\theta(x_0 | s_t)$, donde $x_0$ representa una secuencia de estados futuros $(s_{t+1}, \dots, s_{t+H})$. Esto desacopla la planificación de largo horizonte de la generación de acciones de bajo nivel. El modelo se entrena utilizando un objetivo de eliminación de ruido estándar (DDPM) para revertir la corrupción del ruido en las secuencias de estados.

2. Decodificador de Acciones de Dinámica Inversa:
   Un decodificador determinista separado $f_\psi$ se entrena mediante regresión supervisada para mapear las transiciones de estado planificadas de nuevo a acciones ejecutables ($a_t = f_\psi(s_t, \hat{s}_{t+1})$). Esto permite que el modelo de difusión se concentre en evoluciones de estado factibles mientras el decodificador gestiona la recuperación de acciones.

3. Crítico de Valor Distribucional de Monte Carlo:
   Esta es la innovación central para la sensibilidad al riesgo. A diferencia de los críticos estándar que predicen un único retorno esperado, este crítico modela la distribución completa de retorno de los planes candidatos.

   • Entrenamiento: Utiliza Regresión de Cuantiles con supervisión de Monte Carlo (en lugar de bootstrapping de Bellman) para predecir $N$ cuantiles de la distribución de retorno $Z(x)$ para un plan ruidoso dado $x_k$, el estado actual $s_t$ y el paso de difusión $k$.
   • Pérdida: El crítico se optimiza utilizando la pérdida de Huber de Cuantiles para aproximar con precisión la distribución de retorno.

Inferencia Guiada por el Riesgo:
La característica operativa clave de RS-Diffuser es su capacidad para controlar las preferencias de riesgo durante la inferencia sin reentrenamiento.

• Se calcula un objetivo sensible al riesgo $\rho_\alpha$ (por ejemplo, CVaR para la aversión al riesgo o promedios de la cola superior para la búsqueda de riesgo) a partir de los cuantiles predichos del crítico distribucional.
• Durante el proceso de eliminación de ruido de la difusión, se inyecta una señal de guía. El gradiente del objetivo de riesgo con respecto a la trayectoria ruidosa ($g_k = \nabla_{x_k} \rho_\alpha$) se utiliza para dirigir la generación hacia trayectorias que satisfagan el perfil de riesgo deseado.
• Al ajustar el parámetro de riesgo $\alpha$ o la elección del funcional (CVaR vs. VaR), un único modelo entrenado puede cambiar sin problemas entre comportamientos de aversión al riesgo, neutralidad al riesgo y búsqueda de riesgo.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Integración de Marco: La introducción de un marco de planificación de difusión para RL fuera de línea que incorpora explícitamente el modelado de valor distribucional para permitir la toma de decisiones consciente de la cola.
2. Guía Flexible: Una demostración de cómo un crítico distribucional puede integrarse en el muestreo de difusión guiada, proporcionando un control flexible sobre las preferencias de riesgo durante la inferencia sin necesidad de reentrenar el modelo.
3. Superioridad Empírica: Evidencia experimental que muestra que RS-Diffuser supera a los modelos de vanguardia existentes en pruebas de sensibilidad al riesgo, logrando mejores retornos generales y robustez ante los peores escenarios.

Resultados Experimentales

Los autores evaluaron RS-Diffuser en dos benchmarks: Risk-Sensitive D4RL (tareas MuJoCo con penalizaciones estocásticas) y Navegación Robótica de Riesgo (entornos PointMass y Ant con zonas peligrosas).

• Risk-Sensitive D4RL: RS-Diffuser logró el mejor rendimiento general en los conjuntos de datos Medium, Expert y Mixed para Half-Cheetah, Walker2D y Hopper. Superó tanto a las bases neutrales al riesgo (CQL, Diffusion-QL) como a las bases sensibles al riesgo (OWCPG, ORAAC, CODAC, UDAC). Notablemente, mejoró tanto el retorno medio como el Valor en Riesgo Condicional (CVaR$_{0.1}$), indicando un rendimiento superior tanto en el promedio como en los peores escenarios.
• Navegación Robótica de Riesgo: En las tareas de Risky Ant y Risky PointMass, RS-Diffuser logró los retornos más altos manteniendo violaciones de seguridad nulas o cercanas a cero. Logró equilibrar con éxito la seguridad y el rendimiento, superando a otros métodos que tomaban atajos peligrosos (neutrales al riesgo) o que fallaban en optimizar los retornos de manera efectiva.
• Estudios de Ablación: Los experimentos variando el parámetro de riesgo $\alpha$ y la medida de riesgo (VaR vs. CVaR) confirmaron que el método permite un intercambio suave entre el retorno promedio y la robustez. Se encontró que la guía basada en CVaR ofrecía el mejor equilibrio para la configuración por defecto.

Significado y Reivindicaciones

El artículo afirma que RS-Diffuser aborda una brecha crítica en el RL fuera de línea al permitir una sensibilidad al riesgo controlable dentro del paradigma generativo de difusión. A diferencia de los métodos anteriores que requieren entrenar modelos separados para diferentes perfiles de riesgo o dependen de objetivos de riesgo fijos, RS-Diffuser permite que un único modelo se adapte a variaciones en los requisitos de seguridad durante la inferencia.

Los autores posicionan este trabajo como un paso hacia la toma de decisiones flexible y fiable en aplicaciones críticas para la seguridad. Argumentan que combinar el poder expresivo de los modelos de difusión (para modelar trayectorias complejas y multimodales) con la guía de valor distribucional (para la evaluación consciente de la cola) crea un marco robusto para el despliegue en el mundo real, donde evitar resultados catastróficos es tan importante como maximizar la recompensa promedio. Se sugiere como trabajo futuro extender este enfoque a tareas robóticas de mayor dimensión y restricciones de seguridad multiobjetivo.