Resumen Técnico: Aprendizaje Off-Policy de Cero Disparos (ZOL)

1. Planteamiento del Problema

El artículo aborda el desafío del Aprendizaje Off-Policy de Cero Disparos (Zero-Shot Off-Policy Learning - ZOL) dentro del paradigma de los Modelos Fundacionales de Comportamiento (BFM). Los BFM son agentes preentrenados en grandes conjuntos de datos no etiquetados y libres de recompensa para aprender prioris de comportamiento reutilizables, lo que les permite adaptarse a nuevas tareas en tiempo de prueba sin entrenamiento adicional (por ejemplo, mediante prompts de texto, objetivos o captura de movimiento).

Sin embargo, esta adaptación basada en la inferencia hereda un modo de fallo crítico de la RL (Aprendizaje por Refuerzo) off-policy y offline: la desviación de la distribución (distributional shift).

• El Desajuste: Una política inducida por una nueva especificación de tarea a menudo consulta regiones de estado-acción que están pobremente representadas o son enteramente ausentes en el conjunto de datos de preentrenamiento (Fuera de Distribución o OOD).
• La Consecuencia: La inferencia de cero disparos estándar (por ejemplo, la selección de un vector latente $z$ basado en la proyección de la recompensa) conduce a errores sistemáticos en la estimación del valor y a la sobreestimación de la función de valor. El agente puede seleccionar latentes que parecen óptimos bajo valores extrapolados pero que inducen distribuciones de visitación no respaldadas por los datos, resultando en un comportamiento subóptimo o inseguro.
• La Brecha: Las soluciones existentes como DICE (DualDICE, OptiDICE) requieren optimización específica de la tarea, lo que contradice el requisito de "cero disparos". Otros métodos de adaptación rápida (ReLA, LoLA) dependen de la interacción con el entorno on-policy y rollouts, lo cual es costoso y viola la naturaleza totalmente offline del entorno BFM.

La pregunta central planteada es: ¿Podemos estimar proporciones de ocupación estacionarias óptimas para toda una familia de políticas inducidas por BFM sin optimización online por tarea, permitiendo una adaptación rápida en tiempo de prueba mientras se evitan las patologías off-policy?

2. Metodología: Aprendizaje Off-Policy de Cero Disparos (ZOL)

Los autores proponen ZOL, un procedimiento de tiempo de prueba libre de entrenamiento que cierra la brecha entre las Medidas de Sucesión (SM) y las Razones de Densidad Estacionaria.

Perspectiva Teórica

El método se basa en una conexión teórica derivada del marco Forward-Backward (FB) (Touati & Ollivier, 2021), el cual se utiliza para estimar las Medidas de Sucesión.

1. Medidas de Sucesión (SM): La SM, $M^\pi$, caracteriza la visitación futura descontada de una política $\pi$. En el marco FB, la densidad de sucesión $m_\pi$ se aproxima mediante una factorización de bajo rango: $m_\pi(s_0, a_0, s, a) \approx F(s_0, a_0, z)^\top B(s, a)$, donde $F$ es un embedding forward y $B$ es un embedding backward.
2. Identidad de la Razón de Densidad: Los autores derivan una identidad exacta (Eq. 9) que muestra que la razón de densidad estacionaria $w_{\pi/\beta} = d_\pi / d_\beta$ (el factor de corrección necesario para alinear la visitación de la política con el conjunto de datos) es proporcional a la densidad de sucesión esperada bajo la distribución inicial $\rho_0$:
   $$w_{\pi/\beta}(s, a) = (1-\gamma) \mathbb{E}_{(s_0, a_0) \sim \rho_0} [m_\pi(s_0, a_0, s, a)]$$
3. Estimador de Bajo Rango: Al sustituir la aproximación FB en la identidad, la razón de densidad se convierte en una función lineal simple del embedding backward:
   $$w_{\pi_z/\beta}(s, a) \approx (1-\gamma) W_{\pi_z}^\top B(s, a)$$
   Aquí, $W_{\pi_z}$ es el embedding forward esperado sobre la distribución inicial. Crucialmente, este estimador es solo de datos; se evalúa únicamente en muestras $(s, a)$ presentes en el conjunto de datos $D$, asegurando que la política nunca asigne probabilidad a regiones no respaldadas.

Algoritmo

ZOL opera en tres pasos sin modificar el preentrenamiento del BFM:

1. Preentrenamiento: Entrenar los embeddings FB ($F$ y $B$) utilizando objetivos de diferencia temporal estándar sobre el conjunto de datos offline.
2. Inicialización Latente: Para una nueva tarea con recompensa $r_T$, inferir un embedding de tarea inicial $c_T$ proyectando la recompensa sobre las características backward: $c_T = \mathbb{E}_{(s,a) \sim D}[B(s, a) r_T(s, a)]$.
3. Optimización Latente: Optimizar el vector latente $z$ para maximizar un retorno ponderado regularizado:
   $$J_{total}(z) = \mathbb{E}_{(s,a,r) \sim d_\beta} [w_{\pi_z/\beta}(s, a) (r(s, a) - \bar{r})] - \lambda_1 \chi^2(z) - \lambda_2 L_{trust}(z)$$
   • Reponderación: El término $w_{\pi_z/\beta}$ repondera la supervisión hacia regiones respaldadas por los datos, corrigiendo la desviación de la distribución.
   • Regularización:
     • Penalización $\chi^2$: Evita una varianza extrema en los pesos de importancia.
     • Región de confianza ($L_{trust}$): Mantiene el latente optimizado cerca del embedding de la tarea inicial para evitar el desplazamiento catastrófico.
     • Centrado de recompensa: Evita soluciones triviales (ej., políticas de "no hacer nada") causadas por desplazamientos constantes de recompensa.

La optimización se realiza mediante ascenso de gradiente (Adam) sobre $z$ usando muestreo de Monte Carlo de estados iniciales para estimar $W_{\pi_z}$, lo que no requiere interacción con el entorno más allá del muestreo del estado inicial.

3. Contribuciones Clave

1. Puente Teórico: El artículo establece un vínculo teórico novedoso que muestra que las representaciones de sucesión Forward-Backward contienen implícitamente las razones de densidad estacionarias requeridas para la corrección off-policy. Esto permite el cálculo de los pesos de corrección óptimos directamente desde los componentes preentrenados.
2. Algoritmo ZOL: Un método de adaptación en tiempo de prueba, de cero disparos, libre de entrenamiento y libre de interacción, que mitiga la sobreestimación off-policy y los errores de extrapolación mediante la imposición explícita de restricciones de soporte vía reponderación de la razón de densidad.
3. Validación Empírica: ZOL se evalúa en diversos benchmarks (ExORL, OGBench, SMPL Humanoid) y supera consistentemente a los baselines de cero disparos de última generación (FB, HILP, TD-JEPA) y a los métodos de adaptación on-line (LoLA, ReLA) en términos de robustez y retorno, particularmente en tareas de largo horizonte y alta dimensionalidad.
4. Ablación y Análisis: El artículo proporciona un ejemplo sencillo en 2D que demuestra cómo la inferencia de cero disparos estándar falla debido al sesgo de soporte, mientras que ZOL logra recuperar la estructura de la tarea alineando la inferencia con la ocupación inducida.

4. Resultados Experimentales

Los autores evaluaron ZOL en tres benchmarks:

• ExORL (DeepMind Control Suite): ZOL logró ganancias consistentes sobre los baselines en los dominios Walker, Cheetah, Quadruped y PointMass. Notablemente, mostró mejoras significativas en tareas de largo horizonte y dominios de alta dimensión (ej., Quadruped), superando a métodos on-line como LoLA y ReLA sin requerir rollouts del entorno.
• OGBench (Long-Horizon Goal-Conditioned RL): En tareas que requieren unión temporal (temporal stitching, ej., AntMaze, manipulación de cubos), ZOL alcanzó tasas de éxito superiores comparado con FB y otros baselines. Igualó o superó el rendimiento de los métodos on-line (LoLA/ReLA) operando enteramente offline.
• SMPL Humanoid (Motion Tracking): Utilizando un modelo FB-CPR preentrenado, ZOL mejoró el rendimiento del seguimiento de movimiento en el conjunto de datos AMASS, encontrando políticas sustancialmente mejores que la inferencia de la línea base FB-CPR.

En todos los benchmarks, ZOL demostró robustez ante la elección de hiperparámetros, requiriendo un ajuste mínimo.

5. Significado y Reivindicaciones

El artículo afirma cerrar la brecha entre los campos del aprendizaje off-policy y la adaptación de cero disparos. Su principal significancia radica en demostrar que la adaptación robusta de cero disparos no requiere necesariamente una interacción on-line costosa o una optimización por tarea.

• Mitigación de la Brecha de Inferencia: Los autores argumentan que las brechas de rendimiento en los BFM a menudo no surgen de la capacidad representacional del modelo, sino de la suboptimidad del procedimiento de inferencia mismo. ZOL aborda esto asegurando que el proceso de adaptación permanezca anclado en la distribución de preentrenamiento.
• Adaptación Libre de Entrenamiento: A diferencia de los métodos que requieren ajuste fino (fine-tuning) o rollouts on-line, ZOL ofrece una solución de "conectar y usar" (plug-and-play) que aprovecha la estructura FB existente para corregir desviaciones de la distribución en tiempo de prueba.
• Justificación Teórica: El trabajo proporciona una justificación de principios sobre por qué las representaciones FB son adecuadas para la corrección off-policy, yendo más allá de las adaptaciones heurísticas.

Limitaciones: Los autores reconocen que ZOL hereda el sesgo representacional de la factorización FB aprendida. Si la estimación de la razón de densidad es inexacta o si una tarea descendente requiere estrictamente un comportamiento sostenido fuera del soporte, la naturaleza conservadora del método (imposición de restricciones de soporte) puede sacrificar rendimiento por seguridad. Las direcciones futuras incluyen correcciones conscientes de la incertidumbre y extensiones a dominios parcialmente observables.