Resumen Técnico: Aprendizaje de Sensibilidad Espaciotemporal en Modelos de Lenguaje Grandes para Video mediante Aprendizaje por Refuerzo Contrafactual

1. Enunciado del Problema

Los Modelos de Lenguaje Grandes para Video (Video LLMs) han logrado un rendimiento sólido en los estándares de referencia, pero estudios recientes indican que la alta precisión a menudo proviene de "atajos" en lugar de una comprensión espaciotemporal genuina. Los modelos frecuentemente dependen de señales estáticas (por ejemplo, características de un solo fotograma) o priores lingüísticos para responder preguntas, fallando en rastrear cómo se desarrollan los eventos a lo largo del tiempo. Este problema se exacerba durante el entrenamiento posterior con Aprendizaje por Refuerzo (RL). Los métodos estándar de RL, como GRPO, suelen emplear recompensas basadas únicamente en la corrección. Si un modelo puede responder una pregunta correctamente utilizando un atajo estático, recibe una recompensa alta sin aprender nunca a procesar contenido dinámico del video. En consecuencia, el RL basado únicamente en la corrección puede reforzar estas políticas de atajo, mejorando las puntuaciones en los estándares de referencia mientras debilita potencialmente la sensibilidad del modelo ante la evidencia dinámica.

Los intentos existentes para abordar esto, como el uso de videos perturbados (por ejemplo, fotogramas desordenados o inversiones temporales) para moldear las recompensas, a menudo tratan el video perturbado solo como una señal diagnóstica para la rama original. No entrenan activamente la política sobre la entrada contrafactual en sí misma, lo que limita su capacidad para imponer un razonamiento espaciotemporal consistente.

2. Metodología: Optimización de Política Relacional Contrafactual (CRPO)

Los autores proponen Optimización de Política Relacional Contrafactual (CRPO), un marco de RL de doble rama diseñado para mejorar la sensibilidad espaciotemporal. La idea central es que un modelo debe responder de manera predecible a mundos visuales contrafactuales controlados: si la evidencia visual cambia mientras la pregunta permanece fija, la respuesta debe cambiar para preguntas dinámicas (equivarianza) y permanecer igual para preguntas estáticas (invarianza).

2.1 Arquitectura de Doble Rama

CRPO extiende el marco estándar de GRPO manteniendo dos ramas paralelas para cada prompt de entrenamiento:

1. Rama Original: Procesa el video original $X$ y la pregunta $Q$.
2. Rama Contrafactual: Procesa un video transformado $X_T$ y la misma pregunta $Q$.

Un Enrutador de Tareas (implementado como un modelo de razonamiento solo de texto) clasifica la pregunta en uno de cuatro tipos: Espacial, Temporal, Espaciotemporal o Estático, basándose en pruebas de transformación hipotéticas (por ejemplo, "Si invertimos el mundo horizontalmente, ¿cambiaría la respuesta?"). Basado en esta clasificación, se aplica una transformación específica $T$:

• Espacial/Temporal/Espaciotemporal: Volteo horizontal o inversión temporal.
• Estático: Se aplica una transformación, pero la señal de recompensa fomenta la invarianza de la respuesta.

2.2 Recompensa Relacional Contrafactual (CRR)

La innovación clave es la Recompensa Relacional Contrafactual (CRR), que vincula las dos ramas. A diferencia de métodos anteriores que utilizan perturbaciones solo para el moldeado de recompensas en la rama original, CRPO actualiza la política utilizando gradientes de ambas ramas.

La función de recompensa combina:

• Recompensa de Corrección ($R_{correct}$): Recompensa estándar de precisión para la rama original.
• Recompensa Conductual ($R_{behave}$): Aplicada a la rama contrafactual. Recompensa al modelo si la respuesta cambia para tareas dinámicas ($o^T \neq o^*$) y permanece correcta para tareas estáticas ($o^T = o^*$).
• Término Relacional entre Ramas ($R_{CRR}$):
  • Para la rama original, $R_{CRR}$ recompensa a la política si las respuestas de la rama contrafactual exhiben el comportamiento esperado (cambiar para dinámicas, mantenerse igual para estáticas), condicionado a que la respuesta original sea correcta.
  • Para la rama contrafactual, $R_{CRR}$ recompensa a la política si la rama original es correcta, condicionado a que la respuesta contrafactual exhiba el comportamiento esperado.

Esto crea una estructura de recompensa mutua simétrica. La recompensa más alta se logra solo cuando el modelo responde correctamente al video original y demuestra el comportamiento relacional correcto en el video contrafactual. Esto hace que sea difícil para las políticas de atajo (que darían la misma respuesta independientemente de la transformación del video) maximizar consistentemente las recompensas en ambas ramas.

2.3 Optimización y Opción Nula

CRPO utiliza una estrategia de normalización híbrida para las ventajas, calculando la desviación estándar conjuntamente sobre ambas ramas (2G valores) para asegurar un entrenamiento estable. Para manejar casos donde la respuesta correcta para un video contrafactual no está presente en las opciones originales de opción múltiple (por ejemplo, un video invertido implica una dirección diferente), se añade una opción "Ninguna de las anteriores" (Opción Nula). Seleccionar esta opción para una tarea dinámica cuenta como un cambio de respuesta válido, activando la recompensa de equivarianza sin requerir etiquetas de verdad fundamental contrafactuales explícitas.

3. Contribuciones Clave

1. Marco CRPO: Una extensión simple de RL de doble rama que utiliza Recompensas Relacionales Contrafactuales para imponer sensibilidad espaciotemporal. Entrena en ambas ramas, original y contrafactual, desalentando la dependencia de atajos sin necesidad de costosas anotaciones espaciotemporales o etiquetas contrafactuales.
2. DyBench: Un nuevo estándar de referencia emparejado contrafactual compuesto por 3.014 videos (1.507 pares) que cubre tres subtareas: Dinámicas Reversibles (por ejemplo, florecer vs. cerrarse), Dirección de Movimiento y Secuencia de Eventos.
3. Métrica de Evaluación Estricta: La introducción de Precisión de Pareja (P-Acc), que cuenta un par como correcto solo si ambos videos, original y contrafactual, son respondidos correctamente. Esta métrica evita que los modelos inflen las puntuaciones utilizando atajos de respuesta fija.

4. Resultados Experimentales

Los experimentos se realizaron sobre las bases Qwen3-VL-4B y Qwen3-VL-8B, comparando CRPO contra GRPO estándar, T-GRPO y ArrowRL.

• Sensibilidad Espaciotemporal: CRPO supera significativamente a todos los puntos de referencia en estándares de referencia sensibles a lo espaciotemporal. En Qwen3-VL-8B, CRPO mejora la P-Acc de DyBench en +7.7 y la I-Acc de TimeBlind en +8.2 sobre el modelo base. Las ganancias en métricas emparejadas (P-Acc) son desproporcionadamente mayores que en la precisión estándar, indicando una reducción genuina en la dependencia de atajos.
• Rendimiento General: CRPO mantiene un rendimiento competitivo en estándares de referencia generales de comprensión de video (VideoMME, MVBench), demostrando que imponer sensibilidad espaciotemporal no degrada las capacidades generales.
• Estudios de Ablación:
  • Eliminar la recompensa CRR entre ramas o la propia rama contrafactual causa caídas significativas en P-Acc, confirmando que la señal relacional y la optimización de doble rama son esenciales.
  • Las ganancias de CRPO no pueden atribuirse simplemente a un aumento de datos o cómputo (duplicación de recorridos), ya que los controles con datos/recorridos duplicados no lograron igualar el rendimiento de CRPO en métricas emparejadas.
• Dinámicas de Entrenamiento: CRPO muestra una convergencia inicial más lenta en recompensas de corrección en comparación con los puntos de referencia, lo que sugiere que suprime el aprendizaje temprano de atajos. Sin embargo, converge a una precisión final similar mientras mantiene una fracción menor de grupos de ventaja cero, indicando señales de aprendizaje más ricas.

5. Significado y Afirmaciones

El artículo afirma que CRPO ofrece una señal de entrenamiento directa para la sensibilidad espaciotemporal que es difícil de satisfacer para atajos estáticos. Al recompensar explícitamente la relación entre las respuestas a videos factuales y contrafactuales, CRPO obliga al modelo a fundamentar su razonamiento en el contenido dinámico del video en lugar de priores estáticos.

Los autores posicionan a DyBench y a la métrica de Precisión de Pareja como una herramienta diagnóstica necesaria para distinguir la comprensión espaciotemporal genuina del éxito basado en atajos. Concluyen que, aunque CRPO mejora el rendimiento en tareas dinámicas, lo hace sin sacrificar la comprensión general de video, ofreciendo un paso hacia Video LLMs que son más sensibles a cómo cambian los estados visuales a lo largo del tiempo. El trabajo reconoce limitaciones, como la restricción a transformaciones geométricas/temporales simples y el enfoque en videos cortos, dejando contrafactuales semánticos más complejos para futuras investigaciones.