Resumen Técnico: La Trampa de Baja Frecuencia: Los Modelos de Lenguaje-Video Fallan en la Contabilidad de Eventos Simple

Declaración del Problema

Los benchmarks de video del mundo real para los Modelos de Lenguaje-Video (VLM) suelen entrelazar múltiples variables —conteo de eventos, tasa, duración, complejidad visual y semántica— lo que dificulta el aislamiento de modos de falla específicos. Si bien los benchmarks programáticos existentes ofrecen un mejor control, típicamente solo califican la respuesta final, fallando al auditar si el modelo omitió eventos, confundió su cronología, perdió el rastro de una secuencia o erró únicamente durante la agregación. En consecuencia, las métricas de precisión de la respuesta final pueden ocultar un acceso temporal débil o un razonamiento frágil, enmascarando el hecho de que los modelos pueden fallar en la contabilidad elemental de eventos a medida que la carga temporal aumenta.

Metodología

Los autores introducen el perfilado paramétrico basado en trazas (trace-grounded parametric profiling), un marco de evaluación controlado diseñado para aislar las capacidades de razonamiento temporal de la complejidad visual.

Espacio de Tareas Controladas

El estudio utiliza videos generados programáticamente usando el motor de animación Manim para asegurar un control preciso por fotograma sobre las trayectorias espaciales y la cronología. Se evalúan tres dominios distintos:

1. Bola Rebotante (Bounce Ball): Contar los contactos con la pared de una bola que rebota.
2. Parpadeo (Blinking): Contar los pulsos de un objeto visual (eventos transitorios).
3. Máquina de Estados (State Machine): Contar las transiciones de estado categórico (eventos persistentes).

Parámetros Experimentales

El marco varía sistemáticamente dos parámetros ortogonales mientras mantiene fijos el renderizado, la semántica y las reglas de la tarea:

• Conteo de Eventos ($N$): Desde 0 hasta 12.
• Frecuencia de Eventos ($F$): Desde 0.5 Hz hasta 4.0 Hz.
• Duración: Todos los clips tienen una duración fija de 24 segundos. La secuencia de eventos activos abarca aproximadamente $N/F$ segundos, con fotogramas estáticos que completan el resto.

Verdad de Campo (Ground Truth) y Métricas

Cada video se empareja con una traza de verdad de campo ejecutable que contiene marcas de tiempo de eventos, cambios de estado y conteos acumulativos. Esto permite una evaluación granular más allá de la simple precisión de la respuesta final. Las métricas clave incluyen:

• Coincidencia Exacta de la Respuesta Final (Acc): Si el conteo reportado es igual a $N$.
• Precisión de la Traza ($P$) y Exhaustividad (Recall, $R$): Alineación entre las marcas de tiempo reportadas por el modelo y la verdad de campo dentro de una ventana relativa a la tasa $\delta(F) = 1/(2F)$.
• Ratio de Observación Visual (VOR): La relación entre los eventos reportados y los eventos reales ($M/N$), que indica sobre-reporte o sub-reporte.
• Tasa de Corrección Accidental (ACR): Casos donde el conteo final es correcto a pesar de una traza de baja fidelidad.
• Tasa de Falla de Razonamiento (RFR): Casos donde la traza es fiel (F1 alto) pero el conteo final es incorrecto.

Modelos Evaluados

La evaluación principal se centra en Gemini 3.6 Flash (recibiendo ~1 FPS de entrada) y Qwen3-VL-235B (recibiendo 2 FPS de entrada). Las comprobaciones complementarias entre sistemas incluyen varias escalas de Qwen3-VL e InternVL3.5.

Contribuciones Clave

1. Marco de Evaluación Controlado: Reemplaza las puntuaciones agregadas únicas con superficies de capacidad mapeadas sobre el conteo de eventos ($N$) y la frecuencia ($F$).
2. Benchmark Basado en Trazas: Audita los eventos reportados por el modelo contra la verdad de campo ejecutable, distinguiendo entre conteos correctos no sustentados y una recuperación de eventos fiel.
3. Intervenciones Dirigidas: Diagnostica las fuentes de error mediante muestreo más denso, fotogramas clave centrados en eventos (evidencia de oráculo) y diversas estrategias de prompting (Cadena de Pensamiento, trazado estructurado).
4. Transferencia a Video Natural: Valida si los patrones de falla observados en entornos controlados persisten en videos de eventos repetidos del mundo real (dataset TransRAC).

Resultados

Falla Temporal Escalonada

Los resultados revelan un patrón de falla "escalonado" dependiente de la representación del evento (persistente vs. transitorio):

• Eventos Persistentes (Máquina de Estados): Gemini 3.6 Flash cuenta de manera confiable hasta $N=12$ a 0.5 Hz y 1.0 Hz. El rendimiento se degrada a medida que la frecuencia aumenta, cayendo a $N=2$ a 1.5 Hz.
• Eventos Transitorios (Parpadeo): No existe una región de conteo positivo confiable; el modelo falla en acceder consistentemente a eventos transitorios incluso en conteos y frecuencias bajas.
• Régimen de Alta Carga: En condiciones de alto conteo y alta frecuencia, solo el 0.2% de los conteos finales son correctos, y el modelo recupera solo el 18.1% de los eventos reales.

El Rol del Acceso Visual vs. el Razonamiento

• Densidad de Muestreo: Aumentar la tasa de muestreo de 1 FPS a 4 FPS mejoró la precisión de la Bola Rebotante del 19.6% al 29.3%. Sin embargo, la secuencia reportada coincidió con la verdad de campo solo el 3.7% de las veces. Esto indica que los fotogramas adicionales pueden inflar las puntuaciones finales (vía corrección accidental) sin producir una recuperación de eventos fiel.
• Fotogramas Clave de Oráculo: Proporcionar fotogramas clave centrados en eventos (eliminando la carga de búsqueda) elevó la precisión al 68.6% para $N \le 5$, pero el rendimiento colapsó para $N \ge 6$. Esto sugiere que, si bien el acceso visual es un cuello de botella, la retención y acumulación de la secuencia siguen siendo factores limitantes incluso cuando los eventos están perfectamente localizados.
• Estrategias de Prompting: Varias técnicas de prompting (Respuesta Directa, Traza Estructurada, Multi-turno, CoT, Role Prompting) arrojaron ganancias similaresmente limitadas y no expandieron la región operativa confiable.

Diagnósticos a Nivel de Traza

• Carga Baja: Los modelos suelen exhibir sobre-reporte (VOR > 1) y corrección accidental, donde la cuenta final es correcta a pesar de omitir o alucinar marcas de tiempo.
• Carga Alta: El modo de falla dominante cambia hacia el sub-reporte (VOR < 1) y la omisión. El modelo reporta menos eventos de los que ocurren, y los pocos eventos reportados son a menudo temporalmente precisos pero incompletos.
• Errores de Agregación: Una Tasa de Falla de Razonamiento (RFR) distinta de cero indica que, incluso cuando el modelo recupera con éxito la secuencia de eventos (F1 de traza alto), a veces falla al agregarlos correctamente en un conteo final.

Transferencia a Video Natural

La evaluación en el dataset TransRAC confirma que la concentración de éxito en conteos de eventos bajos ($N \le 4$) persiste en videos naturales con movimiento de cámara y desorden, reforzando que el patrón de falla es robusto a través de los dominios.

Significancia y Reivindicaciones

El artículo argumenta que la precisión de la respuesta final por sí sola caracteriza erróneamente el razonamiento temporal. Un modelo puede llegar al número correcto mediante conjeturas o agregando eventos alucinados, enmascarando una incapacidad fundamental para rastrear secuencias temporales.

Los autores afirman que:

1. La Representación del Evento Importa: Si un evento es persistente o transitorio dicta el acceso inicial a la evidencia.
2. El Acceso Visual es Necesario pero Insuficiente: Aumentar la densidad de fotogramas o proporcionar fotogramas clave de oráculo mejora el rendimiento, pero no elimina la frontera impuesta por la longitud de la secuencia y la retención.
3. Falla Escalonada: El proceso de falla involucra distintas etapas: primero, acceder al evento; segundo, retener la secuencia; y tercero, agregar el conteo.
4. Cambio de Evaluación: El perfilado basado en trazas desplaza la evaluación de video de métricas agregadas a un diagnóstico detallado de dónde falla el razonamiento temporal (acceso vs. retención vs. agregación) y si la evidencia reportada realmente sustenta la respuesta final.

El estudio concluye que los VLM actuales luchan con la contabilidad elemental de eventos a medida que la carga temporal aumenta, una limitación que persiste incluso con prompting avanzado o un mayor muestreo visual.