Resumen Técnico: BiTrajDiff

Enunciado del Problema

El Aprendizaje por Refuerzo (RL) Offline busca aprender políticas efectivas a partir de conjuntos de datos estáticos y pre-recopilados, sin interacción adicional con el entorno. Un desafío principal en este dominio es el problema Fuera de Distribución (OOD), donde la política aprendida encuentra pares estado-acción no presentes en los datos registrados, lo que conduce a errores de extrapolación y sobreestimación de valores. Para mitigar esto, los métodos existentes a menudo imponen restricciones conservadoras, que inadvertidamente limitan el aprendizaje a los sesgos estructurales del conjunto de datos, restringiendo la diversidad conductual y la generalización.

Los enfoques recientes de Aumento de Datos (DA) intentan abordar esto utilizando modelos generativos (particularmente modelos de difusión) para sintetizar nuevas transiciones. Sin embargo, los métodos actuales de DA operan predominantemente dentro de un paradigma de una sola trayectoria (ya sea futuro-forward o historia-backward) condicionado a estados dentro del conjunto de datos. Como resultado, estos métodos tienden a preservar la conectividad original a nivel de trayectoria del conjunto de datos. Generan variaciones locales dentro de patrones de comportamiento existentes, pero fallan en recuperar conexiones entre patrones de comportamiento distintos y desconectados (por ejemplo, unir dos habitaciones separadas en una tarea de navegación donde no existen trayectorias cruzando puertas en los datos originales).

Metodología

Los autores proponen BiTrajDiff (Difusión Bidireccional de Trayectorias), un nuevo marco de DA diseñado para recuperar explícitamente la conectividad global a nivel de trayectoria sintetizando trayectorias que unen patrones de comportamiento previamente desconectados.

Marco Central

BiTrajDiff descompone la síntesis de trayectorias en dos procesos de difusión independientes pero complementarios:

1. Difusión Futuro-Forward: Modela la generación de secuencias de estados futuros partiendo de un estado intermedio.
2. Difusión Historia-Backward: Modela la reconstrucción de secuencias de estados pasados que terminan en el mismo estado intermedio.

Ambos procesos se condicionan sobre los mismos estados ancla intermedios ($s_t$) muestreados del conjunto de datos offline, junto con una señal de retorno acumulativo objetivo.

Componentes Clave

1. Entrenamiento de Difusión Bidireccional:

   • Se entrenan dos modelos de difusión separados ($\epsilon_{\theta_f}$ para forward, $\epsilon_{\theta_b}$ para backward) sobre el conjunto de datos offline.
   • El modelo forward genera trayectorias $\{s_t, \dots, s_{t+H-1}\}$ condicionadas al estado inicial $s_t$ y al retorno objetivo $R_f$.
   • El modelo backward genera trayectorias $\{s_{t-H+1}, \dots, s_t\}$ condicionadas al estado terminal $s_t$ y al retorno objetivo $R_b$.
   • El entrenamiento utiliza la Guía Libre de Clasificador (CFG) para manejar la generación condicional y no condicional, utilizando el retorno acumulativo como la condición principal.

2. Generación y Unión de Trayectorias Bidireccional:

   • Durante la inferencia, se muestrea un estado ancla $s_t$ del conjunto de datos.
   • El modelo forward genera un segmento futuro, y el modelo backward genera un segmento histórico.
   • Estos segmentos se unen en el estado ancla compartido $s_t$ para formar una trayectoria bidireccional completa: $\hat{\tau}_s(s_t) = \{ \hat{s}_{t-H+1}, \dots, \hat{s}_{t-1}, s_t, \hat{s}_{t+1}, \dots, \hat{s}_{t+H-1} \}$.
   • Este mecanismo de unión permite la síntesis de trayectorias que conectan estados que eran previamente inalcanzables o desconectados en el conjunto de datos original.

3. Completado de Trayectoria:

   • Dado que los modelos de difusión generan secuencias de estados, se utiliza un Modelo de Dinámica Inversa (IDM) para predecir acciones ($a_t$) dadas las transiciones de estado ($s_t, s_{t+1}$).
   • Un Modelo de Recompensa (RM) predice recompensas ($r_t$) para los pares estado-acción.
   • Esto completa la trayectoria con señales de acción y recompensa, formando una tupla de transición completa.

4. Filtrado de Trayectorias Bidireccional:
   Para asegurar la calidad de los datos aumentados, se aplica un mecanismo de filtrado de dos etapas:

   • Filtro OOD: Utiliza un Bosque de Aislamiento para detectar y eliminar trayectorias que se desvían significativamente de la distribución de datos original (detección de novedad).
   • Filtro Codicioso: Selecciona las mejores trayectorias basándose en la recompensa acumulativa más alta, asegurando que los datos aumentados guíen a la política hacia comportamientos de alto rendimiento.

Contribuciones Clave

1. Identificación de Limitaciones: Los autores identifican que los métodos de DA de una sola trayectoria preservan la conectividad original a nivel de trayectoria, fallando en explorar conexiones entre patrones de comportamiento distintos.
2. Síntesis Bidireccional: La propuesta de BiTrajDiff, que descompone explícitamente la generación en procesos forward y backward condicionados a anclas compartidas, permitiendo la síntesis de trayectorias que unen modos de comportamiento desconectados.
3. Validación Empírica: Experimentos extensos en el benchmark D4RL demuestran que BiTrajDiff supera consistentemente a baselines avanzadas de DA (incluyendo Synther, DiffStitch y RTDiff) en diversas bases de RL offline (IQL, TD3BC, CQL, DT).

Resultados Experimentales

El artículo evalúa BiTrajDiff en el benchmark D4RL, cubriendo tareas de locomoción, navegación (Maze2D, AntMaze) y manipulación (Kitchen).

• Mejoras de Rendimiento: BiTrajDiff logra los retornos promedio más altos en la mayoría de las tareas y algoritmos. Por ejemplo, en tareas de locomoción, supera consistentemente a las baselines de una sola dirección. En entornos con recompensas escasas como Maze y Kitchen, donde la calidad de los datos es crítica, BiTrajDiff muestra mejoras significativas en estabilidad y rendimiento.
• Estudios de Ablación:
  • Direccionalidad: BiTrajDiff (bidireccional) supera consistentemente tanto a las variantes solo forward como a las solo backward, validando la necesidad de unir segmentos pasados y futuros para recuperar la conectividad global.
  • Filtrado: Se demuestra que la combinación de filtros OOD y Codiciosos es superior a usar cualquiera de ellos solo o sin filtros, equilibrando diversidad con fiabilidad.
  • Ratio de Aumento: Un ratio del 30% de datos aumentados respecto a los datos originales ($\sigma=30\%$) produce la estabilidad y el rendimiento óptimos; un aumento excesivo (100%) introduce ruido que degrada el rendimiento.
• Estimador TD de n-pasos: BiTrajDiff mantiene su ventaja de rendimiento sobre las baselines incluso a medida que aumenta el horizonte de n-pasos, sugiriendo que las trayectorias generadas son de mayor calidad y más consistentes con la dinámica subyacente que las de otros métodos de DA.
• Diversidad vs. Precisión: Las métricas de visualización (Error Dinámico y Distancia L2) muestran que BiTrajDiff genera trayectorias con una diversidad significativamente mayor (mayor distancia L2 de los datos originales) mientras mantiene una precisión dinámica competitiva, a diferencia de los métodos de una sola dirección que tienden a sobreajustarse a la distribución original.

Significado y Afirmaciones

El artículo afirma que BiTrajDiff aborda una limitación fundamental en el aumento de datos para RL offline: la incapacidad de las trayectorias de un solo proceso para unir patrones de comportamiento desconectados. Al modelar y unir explícitamente trayectorias futuro-forward e historia-backward alrededor de estados ancla compartidos, BiTrajDiff recupera la conectividad global a nivel de trayectoria ausente en el conjunto de datos original.

Los autores afirman que este enfoque permite a los algoritmos de RL offline aprender de un conjunto más diverso de patrones de comportamiento sin sacrificar la consistencia física, lo que conduce a mejoras sustanciales en el rendimiento en una amplia gama de tareas y algoritmos. El trabajo se presenta como un paso adelante para superar los sesgos estructurales del aprendizaje offline conservador mediante el aumento de datos generativo. Se señala que el trabajo futuro explorará la generación bidireccional en configuraciones de múltiples tareas con patrones de comportamiento más amplios.