Resumen Técnico: Flujos de Transporte Contrafácticos para el Refinamiento Conservador de Trayectorias Offline

1. Formulación del Problema

El artículo aborda una limitación fundamental en el aprendizaje por refuerzo (RL) offline: la dificultad de mejorar el comportamiento observado sin extrapolar más allá del soporte de los datos registrados. Mientras que el RL estándar aprende mapeos reactivos de estado a acción, a menudo falla al no modelar explícitamente cómo una trayectoria específica de bajo resultado podría revisarse localmente para tener éxito. Los métodos offline existentes típicamente o bien restringen las políticas mediante penalizaciones de valor o utilizan modelos generativos (difusión/flujo) para crear nuevos comportamientos, operando a menudo a nivel de transición o aprendiendo políticas globales en lugar de mejoras específicas para cada instancia.

Los autores formulan el problema como un refinamiento de trayectoria condicionado por la fuente. Dada una trayectoria candidata inicial $\tau^-$ con retroalimentación del mundo baja (por ejemplo, bajo retorno, violaciones de seguridad), el objetivo es aprender una revisión local hacia una alternativa cercana $\tau^*$ que ofrezca una mejor retroalimentación mientras se mantiene conductualmente plausible dentro de la distribución de los datos offline. Esto se conceptualiza como encontrar una trayectoria factible que minimice la desviación de la fuente mientras satisface un margen de mejora $\delta$:
$$\tau^* = \arg \min_{\tau' \in \mathcal{T}_{feas}} d_\tau(\tau', \tau^-) \quad \text{sujeto a} \quad R(\tau') \ge R(\tau^-) + \delta$$
donde $R(\tau)$ representa la retroalimentación medible del mundo y $d_\tau$ mide la desviación a nivel de trayectoria.

2. Metodología: Flujos de Transporte Contrafácticos

El marco propuesto, Counterfactual Transport Flows (Flujos de Transporte Contrafácticos), aprende a transportar una trayectoria fuente hacia una alternativa mejor en un espacio latente de trayectorias utilizando el ajuste de flujo condicional (conditional flow matching). El método opera en tres etapas principales:

A. Construcción de Pares de Preferencia Locales

En lugar de aprender una política global, el método construye pares de preferencia locales débiles a partir de datos offline. Para una trayectoria fuente dada $\tau^-$, el algoritmo:

1. Codifica las trayectorias en un espacio latente utilizando un codificador $\phi$.
2. Identifica un vecindario latente local $\mathcal{N}(\tau^-)$ de trayectorias similares.
3. Selecciona una trayectoria objetivo $\tau^+$ de este vecindario que satisfaga el criterio de mejora ($R(\tau^+) \ge R(\tau^-) + \delta$).
4. Forma un par $(\tau^-, \tau^+)$ que representa una revisión "contrafáctica": lo que el agente podría haber hecho de manera diferente bajo condiciones similares para lograr una mejor retroalimentación.

B. Ajuste de Flujo Condicionado por la Fuente

El refinamiento se modela como un proceso de transporte continuo en lugar de una predicción de un solo paso.

• Interpolación Latente: Para cada par, se define una trayectoria de interpolación lineal: $z_s = (1-s)z^- + s z^+$, donde $z^- = \phi(\tau^-)$ y $z^+ = \phi(\tau^+)$, con $s \sim U(0, 1)$.
• Campo de Vectores Condicional: El modelo aprende un campo de vectores $v_\theta(z_s, s \mid z^-)$ condicionado específicamente en la trayectoria fuente $z^-$. Esto asegura que la dirección de refinamiento sea específica de la instancia, aprendiendo cómo esta trayectoria particular puede ser revisada, en lugar de aprender una dirección global hacia regiones de alta retroalimentación.
• Objetivo de Entrenamiento: El modelo se entrena utilizando el objetivo de ajuste de flujo para minimizar la diferencia entre la velocidad predicha y la velocidad objetivo ($z^+ - z^-$):
  $$\mathcal{L}_{FM} = \mathbb{E}_{z^-, z^+, s} \left[ \| v_\theta(z_s, s \mid z^-) - (z^+ - z^-) \|_2^2 \right]$$

C. Inferencia con Fuerza de Refinamiento

En el momento de la inferencia, el método toma una trayectoria candidata inicial $\tau^-$, la codifica a $z^-$ e integra el campo de vectores aprendido. La integración se detiene en un parámetro de fuerza de refinamiento $\alpha \in [0, 1]$:
$$\tilde{z} = z_\alpha$$
El estado latente resultante se decodifica para producir la trayectoria refinada $\tau^* = \psi(\tilde{z})$.

• $\alpha = 0$: Recupera la trayectoria original (conservador).
• $\alpha = 1$: Transporta completamente la trayectoria hacia el objetivo local de alta retroalimentación.
• $0 < \alpha < 1$: Permite un compromiso continuo entre preservar el comportamiento original y aplicar un mejoramiento más fuerte.

3. Contribuciones Clave

Los autores destacan tres contribuciones primarias:

1. Formulación: Reencuadran la mejora de decisiones offline como un refinamiento de trayectoria condicionado por la fuente a partir de la retroalimentación del mundo, distinto de la optimización de política global o la generación de trayectorias sin restricciones.
2. Metodología: Proponen la construcción de pares de preferencia locales a partir de resultados observados y la utilización de ajuste de flujo condicional para aprender direcciones de refinamiento específicas de la instancia en el espacio latente de trayectorias.
3. Validación: Validan el enfoque en benchmarks de D4RL (AntMaze y MuJoCo), demostrando una mejora en la retroalimentación con desviaciones de trayectoria conservadoras, sin requerir etiquetas de preferencia humana ni modelos de recompensa separados.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos D4RL, incluyendo tareas de AntMaze y MuJoCo (HalfCheetah), utilizando un autoencoder de trayectoria para la construcción del espacio latente.

• Baselines (Líneas Base): El método se comparó contra:
  • Vecino Mejorado Más Cercano (Nearest Improved Neighbor): Reemplaza directamente la fuente con la trayectoria de mayor retroalimentación más cercana.
  • Trayectoria Mejorada Aleatoria (Random Improved Trajectory): Reemplaza la fuente con una trayectoria aleatoria de mayor retroalimentación.
  • Ajuste de Flujo No Local (Non-local Flow Matching): Entrena el modelo de flujo sin restricciones de localidad en la selección del objetivo.
• Desempeño:
  • AntMaze: El método propuesto logró una mejora de retroalimentación de +69.44 con la desviación de acción más baja (1.41) y la desviación latente (27.00). En contraste, el baseline "Random Improved Trajectory" logró ganancias brutas mayores (+117.50) pero con desviaciones significativamente mayores (Acción: 2.18, Latente: 62.50), indicando una falta de conservadurismo. El baseline "Non-local Flow Matching" de hecho degradó la retroalimentación (-11.48).
  • MuJoCo: Se observaron tendencias similares. El método propuesto logró una mejora de retroalimentación de +1180.20 con desviaciones de 1.58 (acción) y 31.40 (latente). El "Nearest Improved Neighbor" logró una mejora bruta ligeramente menor (+1050.30) pero con desviaciones más altas (2.14/42.50).
• Análisis: Los resultados indican que tanto la construcción de objetivos locales como el condicionamiento por la fuente son necesarios para un refinamiento conservador. Los enfoques globales o no locales fallan al aprender direcciones de refinamiento estables, mientras que las estrategias de reemplazo directo sacrifican demasiado la fidelidad conductual.

5. Significado y Reivindicaciones

El artículo sostiene que los Flujos de Transporte Contrafácticos ofrecen una dirección prometedora para la mejora offline fiable al:

• Fundamentar la Mejora en los Datos: El método mejora el comportamiento utilizando únicamente retroalimentación escalar del mundo (por ejemplo, retornos) de los datos registrados, eliminando la necesidad de etiquetas de preferencia humana, modelos de recompensa separados o interacción online con el entorno.
• Interpretabilidad: La perspectiva de transporte proporciona interpretabilidad a nivel de trayectoria. El campo de vectores aprendido traza caminos de refinamiento explícitos, ofreciendo explicaciones de "estilo contrafáctico" sobre cómo los comportamientos de baja retroalimentación pueden ser revisados.
• Controlabilidad: El parámetro de fuerza de refinamiento $\alpha$ permite un compromiso ajustable entre el conservadurismo (preservar la propuesta original) y la mejora agresiva.

Los autores mantienen una postura modesta, señalando que el término "contrafáctico" se utiliza en el sentido de refinamiento de trayectoria (basado en datos observados) más que en la inferencia causal formal. Identifican direcciones de trabajo futuro, incluyendo la selección de vecindarios adaptativa, garantías teóricas para las trayectorias decodificadas e integración con modelos de mundo aprendidos para la planificación hipotética iterativa.