Resumen Técnico: Comprensión y Mitigación de la Brecha de Generalización de Video-Acción mediante la Proporción Temporal

1. Declaración del Problema

Los modelos fundacionales de video generativo (VFM) poseen fuertes sesgos composicionales derivados de datos a escala de internet, lo que les permite comprender la coherencia temporal, las interacciones entre objetos y la plausibilidad física. Sin embargo, cuando estos modelos se adaptan para el control robótico como Modelos de Mundo-Acción (WAM) o Modelos de Video-Acción (VAM), a menudo pierden estas capacidades de generalización composicional tras el ajuste fino (finetuning) con datos de acción robótica. Los autores denominan a esta discrepancia la brecha de Generalización de Video-Acción (VAG).

Las políticas existentes suelen fallar bajo la generalización composicional (por ejemplo, al recombinar objetos y receptáculos vistos en secuencias de tareas no vistas) porque se sobreajustan a las correlaciones visuales en los datos de entrenamiento en lugar de aprovechar los sesgos generativos subyacentes. Aunque se han explorado las elecciones de diseño estándar para los VAM (como el entrenamiento conjunto frente al entrenamiento en dos etapas, o la variación de los niveles de ruido), estas arrojan un panorama de rendimiento fragmentado sin una explicación emergente clara de por qué ciertas configuraciones tienen éxito o fallan en escenarios fuera de la distribución (OOD).

2. Metodología

2.1 Análisis Sistemático del Espacio de Diseño

Los autores evaluaron sistemáticamente una clase de VAM que utiliza características latentes de modelos fundacionales de video preentrenados (específicamente Cosmos-Predict 2.5-2B) y aprende una cabeza de acción de dinámica inversa latente mediante flow matching. Investigaron el espacio de diseño a través de dos ejes principales:

• Configuraciones durante el entrenamiento: Comparando la adaptación eficiente de parámetros (LoRA) frente al ajuste fino completo, y el entrenamiento conjunto (optimizando las pérdidas de video y acción simultáneamente) frente al entrenamiento en dos etapas (ajustando primero el backbone y luego congelándolo para el entrenamiento de la cabeza de acción).
• Parámetros durante la inferencia: Variando el nivel de ruido del video ($\sigma_v$) en el que se extraen las características y el horizonte de predicción ($T$).

El análisis reveló que, si bien el rendimiento dentro de la distribución (ID) a menudo estaba saturado, el rendimiento fuera de la distribución (OOD) era altamente sensible a estas elecciones, aunque ninguna configuración única cerraba la brecha de manera consistente.

2.2 La Proporción Temporal (TR)

Para explicar los modos de fallo, los autores introdujeron la Proporción Temporal (TR), una métrica basada en la atención que cuantifica qué tan fuertemente la cabeza de acción depende de los despliegues (rollouts) de futuros latentes predichos en relación con el cuadro actual anclado.

• Definición: La TR se calcula como la razón de la masa de atención asignada por la cabeza de acción a los tokens de cuadros futuros ($V_+$) frente a los tokens del cuadro actual ($V_0$):
  $$TR = \frac{\sum_{q \in A} \sum_{v \in V_+} A^\ell(q,v)}{\sum_{q \in A} \sum_{v \in V_0} A^\ell(q,v)}$$
  donde $A$ representa los tokens de acción y $\ell$ es una capa específica en la cabeza de acción.
• Interpretación Física: En la formulación de eliminación de ruido (denoising) de video, el primer cuadro ($t=0$) se inyecta como un ancla de observación limpia y de alta fidelidad en cada paso. Los cuadros futuros se eliminan de ruidos a partir de latentes ruidosos y representan la evolución "imaginada" del modelo. Una TR alta indica que la política está planificando basándose en estos futuros imaginados; una TR baja indica que la política está reaccionando a la observación inmediata.

2.3 Observaciones Clave sobre la TR

• Poder Predictivo: La TR actúa como un predictor directo de la capacidad de generalización composicional. Los modelos con una TR más alta durante las fases de planificación se correlacionan con un mejor éxito OOD.
• Dinámica de las Fases de la Tarea: La TR no es estática; fluctúa según la fase de la tarea. Aumenta durante las "fases de planificación" (por ejemplo, seleccionar un objeto o un receptáculo) donde la política debe vincular el lenguaje y los objetivos con estados futuros. Cae durante las "fases de manipulación precisa" (por ejemplo, agarre o colocación) donde la política debe anclarse al cuadro actual para lograr precisión.
• Diagnóstico de Modos de Fallo: La brecha VAG a menudo surge de un desajuste: el backbone de video puede predecir un futuro composicional correcto, pero la cabeza de acción lo ignora (TR baja) y sigue una trayectoria ID memorizada. Por el contrario, la cabeza de acción puede seguir un futuro alucinado si la TR es alta pero la predicción de video es deficiente.

2.4 Guía Adaptativa de TR

Basándose en estos hallazgos, los autores proponen un método de guía adaptativa en tiempo de inferencia que amplifica dinámicamente las señales de condicionamiento de video composicional precisamente cuando la política depende de los despliegos futuros.

• Mecanismo: El método calcula dos direcciones de guía contrafactuales:
  1. Guía de Lenguaje: Aísla la velocidad de acción dependiente de la instrucción comparando las características de video condicionales con las de texto nulo.
  2. Guía de Planificación: Aísla la estructura temporal de largo horizonte comparando las características del horizonte estándar con las de un horizonte extendido.
• Escalado Adaptativo: La fuerza de estas señales de guía ($w_{lang}, w_{plan}$) se escala dinámicamente basándose en la TR actual. El peso aumenta cuando la TR sube por encima de una línea base del episodio (indicando una fase de planificación) y se limita para evitar un exceso de guía. Esto permite que el modelo aproveche el razonamiento composicional durante la planificación mientras relaja la guía para preservar la precisión local durante la manipulación.

3. Resultados Clave

3.1 Simulación (Benchmark LIBERO)

Evaluado en las suites LIBERO (Spatial, Object, Goal, Long) y sus contrapartes composicionales OOD:

• Rendimiento de la Línea Base: Los VAM y WAM previos mostraron un rendimiento ID saturado (>95%) pero colapsaron en escenarios OOD (a menudo <15% de éxito).
• Hallazgos del Espacio de Diseño: El entrenamiento conjunto con LoRA y niveles de ruido de video intermedios ($\sigma_v \approx 0.883$) produjo el mejor rendimiento OOD sin guía (55.7% promedio).
• Impacto de la Guía Adaptativa de TR: El método propuesto mejoró el éxito promedio OOD al 59.4%, una mejora de más de 5 veces respecto a las líneas base de VAM anteriores, manteniendo un rendimiento ID comparable a los mejores modelos sin guía. La guía plana (sin adaptación de TR) degradó el rendimiento ID, confirmando la necesidad de una guía consciente de la fase.

3.2 Evaluación en el Mundo Real (YAM Bimanual)

Evaluado en un robot bimanual realizando 24 escenarios multitarea (platos, snacks, botellas, etc.) con escenas OOD composicionales:

• Rendimiento: El VAM propuesto superó a las líneas base ($\pi_0$, $\pi_0.5$, Cosmos-Policy).
• Eficacia de la Guía: La guía adaptativa aumentó la tasa de éxito promedio del 71.7% (sin guía) al 83.3%.
• Fallo de los Enfoques Estándar: Extraer características en el paso de ruido total ($\sigma_v=1.0$), como hacen los VAM previos, resultó en un éxito cercano a cero en tareas del mundo real, resaltando la necesidad de latentes estructurados y parcialmente eliminados de ruido.

4. Significado y Reivindicaciones

El artículo sostiene que la brecha VAG no es simplemente un resultado de la insuficiencia de datos o de la capacidad del modelo, sino un problema mecánico relacionado con cómo la cabeza de acción enruta la información entre la observación actual y los futuros predichos.

• Herramienta de Diagnóstico: La Proporción Temporal proporciona una métrica interpretable en tiempo de ejecución para diagnosticar si una política está utilizando efectivamente sus sesgos de video generativo.
• Mecanismo de Mejora: El trabajo demuestra que la generalización composicional requiere una doble condición: (1) el backbone de video debe predecir un futuro útil, y (2) la cabeza de acción debe depender activamente de ese futuro durante las fases de planificación.
• Mitigación Práctica: La Guía Adaptativa de TR ofrece una intervención práctica en tiempo de inferencia que aprovecha este patrón de atención intrínseco para mejorar la generalización OOD sin reentrenar el modelo ni sacrificar la precisión de la manipulación local.

Los autores concluyen que su marco clarifica el comportamiento de los VAM y proporciona una vía para mitigar la brecha de generalización OOD en el control robótico, aunque reconocen limitaciones respecto a la plausibilidad física del modelo de video subyacente y el costo adicional de inferencia.