Resumen Técnico: ¿Qué mide la puntuación de un benchmark temporal?

Planteamiento del problema

Los actuales benchmarks de respuesta a preguntas de video temporal (VQA) pretenden certificar que los Modelos de Lenguaje de Gran Escala para Video (Video VLMs) comprenden el tiempo. Sin embargo, el artículo argumenta que las puntuaciones agregadas de los benchmarks confunden dos preguntas distintas:

1. La Pregunta de la Tarea: ¿Requiere la pregunta específica observar el movimiento a través de múltiples fotogramas en un orden específico, o puede responderse a partir de un solo fotograma o de sesgos lingüísticos (language priors)?
2. La Pregunta del Canal: Cuando una tarea sí requiere orden temporal, ¿el modelo recupera ese orden a partir de los píxeles visuales (movimiento) o a partir de la codificación posicional (por ejemplo, Rotary Positional Embeddings, RoPE)?

Los diagnósticos estándar, como la sensibilidad al barajado de fotogramas (frame-shuffle sensitivity) y la ganancia multifotograma (multi-frame gain), solo abordan la Pregunta de la Tarea. No logran revelar la Pregunta del Canal. En consecuencia, dos modelos con puntuaciones agregadas similares pueden resolver el orden temporal mediante mecanismos completamente distintos (por ejemplo, uno dependiendo de la secuencia visual y otro de los índices posicionales), lo que los hace no intercambiables a pesar de tener métricas de rendimiento similares.

Metodología

Los autores proponen un marco de descomposición para auditar la comprensión temporal manipulando los canales de entrada de forma independiente y en conflicto.

1. Canales de entrada y manipulaciones

El estudio identifica tres canales primarios de información temporal en los Video VLMs:

• Orden de los fotogramas visuales: La secuencia de píxeles/movimiento.
• Marcas de tiempo en contexto (In-Context Timestamps): Etiquetas de tiempo explícitas proporcionadas en el prompt.
• Codificación Posicional (RoPE): Los índices internos asignados a los tokens.

Los autores construyen condiciones de intervención específicas:

• Escalera de Información (Information Ladder): Evalúa el rendimiento en píxeles en blanco, fotogramas únicos repetidos y videos completos para aislar la dependencia multifotograma (Pregunta de la Tarea).
• Condiciones de Conflicto: La innovación central es el protocolo Reversal-Drop. En la condición rev-corr, los fotogramas visuales se revierten (los píxeles indican tiempo hacia atrás), pero las posiciones RoPE se mantienen en su orden original hacia adelante (las posiciones indican tiempo hacia adelante).
  • Si un modelo es Dominante en Posición (Position-Dominant), ignora los píxeles revertidos y responde basándose en el RoPE hacia adelante, manteniendo la precisión.
  • Si un modelo es Dominante en la Secuencia Visual (Visual-Sequence-Dominant), sigue los píxeles revertidos, lo que provoca que la precisión colapse al ser evaluado contra la verdad de campo (ground truth) hacia adelante.

2. Modelos y Benchmarks

• Modelos: Tres familias que abarcan diferentes arquitecturas:
  • Molmo2: Atención bidireccional sobre tokens visuales con RoPE secuencial 1D.
  • Qwen3-VL: Atención causal con 3D MRoPE (ejes temporal, altura, anchura) y DeepStack (inyección de características ViT intermedias).
  • PerceptionLM: Atención causal con RoPE 1D y sin DeepStack.
• Benchmarks: TempCompass (con videos reversos emparejados para la verificación de la verdad de campo) y TVBench (usando la métrica sin etiquetas Reversal-Drop).

3. Validación Mecanística (Parcheo de Activación)

Para asegurar que la división de comportamiento es una propiedad interna genuina y no un artefacto del protocolo de conflicto, los autores utilizan el parcheo de activación (activation patching). Capturan las activaciones del flujo residual de una ejecución limpia y en orden hacia adelante e las inyectan en una ejecución barajada/revertida en capas específicas. Esto localiza dónde el modelo puede "reparar" la comprensión temporal (por ejemplo, en la primera capa del LM frente a capas más profundas donde DeepStack inyecta características).

Resultados Clave

1. Disociación de Canales

El estudio revela una clara división en cómo los modelos resuelven el orden temporal:

• Molmo2 (Dominante en Posición): Cuando los fotogramas visuales se revierten pero el RoPE se corrige al orden hacia adelante, la precisión de Molmo2 se mantiene cerca de la línea base. Lee el orden de los índices posicionales, ignorando efectivamente el contenido visual revertido.
• Qwen3-VL (Dominante en la Secuencia Visual): Bajo la misma condición rev-corr, la precisión de Qwen3-VL colapsa significamente. Lee el orden de los píxeles visuales, respondiendo al evento revertido incluso cuando la codificación posicional sugiere lo contrario.
• PerceptionLM: Ocupa una posición intermedia, mostrando una dependencia parcial de las posiciones pero menor que Molmo2.

2. Limitaciones de las Puntuaciones Agregadas

• Ganancia Multifotograma: Tanto Molmo2 como Qwen3-VL muestran ganancias similares (+0.20) al pasar de fotogramas únicos a videos completos, lo que indica que ambos necesitan genuinamente múltiples fotogramas.
• Sensibilidad al Barajado: Ambos modelos sufren cuando se barajan los fotogramas, pero por razones distintas. Molmo2 es altamente sensible al barajado de RoPE (cayendo ~14-18 puntos), mientras que Qwen3-VL es menos sensible al barajado de RoPE por sí solo, pero altamente sensible al barajado de píxeles.
• Conclusión: Las puntuaciones agregadas y las auditorías multifotograma estándar no logran distinguir estos mecanismos opuestos. Dos modelos pueden tener puntuaciones idénticas pero fallar en tipos opuestos de entradas.

3. Hallazgos Mecanísticos

• Límites de Recuperación: El parcheo de activación confirma que la división de comportamiento es interna.
  • Para Molmo2 (bidireccional), el parcheo de la primera capa del LM recupera totalmente el rendimiento de las entradas barajadas.
  • Para Qwen3-VL (causal), el parcheo de la primera capa deja un error residual. La recuperación total requiere el parcheo hasta la profundidad de inyección de DeepStack (capas 0–2), donde se reinyectan las características intermedias de la ViT. Esto confirma que la división es arquitectónica, no un artefacto de la construcción del conflicto.
• Marcas de Tiempo: La dependencia de las marcas de tiempo varía según el modelo y la tarea. Eliminar las marcas de tiempo perjudica más a Qwen3-VL que a Molmo2 en subconjuntos específicos, pero ninguno de los dos modelos depende de ellas universalmente.

Significado y Contribuciones

El artículo reclama tres contribuciones principales:

1. Una Auditoría de Benchmark: Demuestra que las puntuaciones temporales confunden los requisitos de la tarea (dependencia del movimiento) con el uso de canales (resolución del orden). Los diagnósticos estándar (sensibilidad al barajado, ganancia multifotograma) solo responden a la pregunta de la tarea.
2. Un Filtro sin Etiquetas (Reversal-Drop): Los autores introducen la métrica Reversal-Drop (pérdida de precisión cuando los píxeles se revierten pero el RoPE se mantiene hacia adelante). Esta métrica separa los modelos Dominantes en Posición de los Dominantes en la Secuencia Visual sin requerir nuevas anotaciones o etiquetas reversas emparejadas (aunque las etiquetas emparejadas permiten un análisis más granular).
3. Evidencia de Divergencia Mecanística: El estudio proporciona evidencia de que los modelos con puntuaciones de benchmark similares no son intercambiables. Molmo2 y Qwen3-VL resuelven el orden temporal a través de canales opuestos (RoPE vs. Píxeles). Esta distinción es validada por el parcheo de activación, probando que es una propiedad real de la arquitectura de la red.

Recomendaciones

Los autores recomiendan que la evaluación temporal no dependa de una única puntuación agregada. En su lugar, las evaluaciones deben reportar:

• Ganancia multifotograma: Para determinar si una tarea requiere múltiples fotogramas.
• Sensibilidad al barajado: Para determinar si una tarea requiere fotogramas ordenados.
• Reversal-Drop (o protocolos de conflicto): Para determinar qué vía de entrada (visual o posicional) utiliza el modelo para resolver el orden.

Esta descomposición expone modos de fallo ocultos por las métricas agregadas, asegurando que los modelos sean evaluados en los mecanismos específicos requeridos para una comprensión temporal robusta.