Resumen Técnico: Curvas Estables, Ítems Inestables: Heterogeneidad de la Escala a Nivel de Ítem en los Video LLMs

1. Planteamiento del Problema

Las prácticas de evaluación actuales para los Modelos de Lenguaje de Gran Escala de Video (Video LLMs) dependen fuertemente de curvas de escalado agregadas, que grafican el rendimiento promedio frente al aumento de los presupuestos visuales (por ejemplo, número de fotogramas o resolución). Estas curvas suelen aparecer suaves o de saturación, lo que lleva a la interpretación de que aumentar el input visual es beneficioso o simplemente redundante.

Los autores argumentan que esta visión agregada oculta una inestabilidad significativa a nivel de ítem. En cualquier transición de presupuesto, un modelo puede pasar de incorrecto a correcto en algunos ítems mientras que, simultáneamente, pasa de correcto a incorrecto en otros. Estos flujos opuestos se cancelan en la media, creando una curva agregada "estable" que enmascara una sustancial agitación (churn) a nivel de ítem. Este fenómeno, denominado confusión visual, sugiere que ningún presupuesto visual único es óptimo para todos los ítems, y que presupuestos más altos pueden perjudicar activamente el rendimiento en entradas específicas.

2. Metodología

El artículo introduce una auditoría de trayectoria de escalado emparejada para exponer estas dinámicas ocultas.

• Trayectorias de Ítem Emparejadas: En lugar de reportar una única puntuación por presupuesto, los autores rastrean la trayectoria de respuesta de un modelo congelado sobre el mismo ítem a través de una cuadrícula controlada de configuraciones visuales (variando el número de fotogramas, la resolución, la política de muestreo y la asignación temporal-espacial).
• Métricas de Cuadrícula Emparejada (Matched-Grid): Para asegurar una comparación justa entre modelos, el estudio utiliza cuadrículas emparejadas (por ejemplo, {texto, 16f, 32f, 64f}) que respetan los techos de contexto arquitectónico de los diferentes modelos.
• Métricas Clave:
  • Margen de Oracle (Oracle Headroom): La diferencia entre la mejor precisión fija (usando un solo presupuesto para todos los ítems) y la precisión de oracle a nivel de ítem (la máxima precisión alcanzable si se seleccionara el presupuesto óptimo para cada ítem individualmente).
  • Confusión Visual: La tasa de ítems que son correctos en una configuración de menor costo pero incorrectos en una de mayor costo.
  • Sobrescritura de Texto (Text Overwrite): Un subconjunto específico de confusión donde un ítem que es correcto en modo solo texto se vuelve incorrecto cuando se añaden inputs visuales.
  • Agitación (Churn): La suma de ítems que pasan de incorrecto a correcto y de correcto a incorrecto, distinta del cambio neto agregado.
• Alcance Experimental: El estudio cubre cinco Video LLMs abiertos y congelados (Qwen2.5-VL-7B, Qwen3-VL-8B, InternVL3-8B, InternVL3.5-8B, LLaVA-NeXT-Video-7B) a través de tres familias de arquitectura. Las evaluaciones abarcan tres divisiones de benchmarks de opción múltiple (Video-MME v1/v2, MLVU), preguntas/respuestas abiertas/resúmenes (MLVU) y generación de diálogo controlada (AVSD).
• Intervenciones: Los autores prueban la robustez a través de pipelines de video bruto vs. cacheados, varias políticas de muestreo (uniforme, aleatorio, denso-inicial) e iso-asignaciones de cómputo (compensaciones entre número de fotogramas y resolución espacial).

3. Resultados Clave

Estabilidad Agregada vs. Inestabilidad de Ítem

• Efecto de Cancelación: En la división corta de Video-MME v1, aumentar los fotogramas de 128 a 256 resultó en un cambio neto de precisión de solo -0.7 puntos. Sin embargo, esto enmascaró que 23 ítems pasaran a ser incorrectos y 18 pasaran a ser correctos, representando un cambio de estado del 5.2% en la población del benchmark.
• Margen de Oracle: A través de cuatro modelos y cuatro divisiones de MCQA, el margen de oracle a nivel de ítem oscila entre 8.8 y 18.9 puntos de precisión. Esto indica una brecha significativa entre el despliegue actual de presupuesto fijo y el máximo rendimiento teórico alcanzable con un presupuesto adaptativo.
• Tasas de Confusión Visual: Entre el 12.5% y el 25.5% de los ítems exhiben confusión visual (correctos con un presupuesto menor, incorrectos con uno mayor).
• Sobrescritura de Texto: Una fracción no despreciable de ítems (5.0–7.3% del total, o 13.2–17.9% de los ítems correctos por texto) son respondidos correctamente mediante texto solo, pero se vuelven incorrectos cuando se introducen inputs visuales. Este efecto es particularmente fuerte en "Problemas de Conteo".

Generalización a través de Tareas y Protocolos

• Generación de Texto Abierto: El fenómeno persiste más allá de la opción múltiple. En tareas de generación de MLVU, los márgenes de oracle de Token-F1 oscilan entre 2.7 y 3.7 puntos. En la generación de diálogos de AVSD, los márgenes oscilan entre 3.8 y 4.8 puntos. Incluso cuando la calidad media mejora con el presupuesto, una fracción significativa de ítems sufre regresiones en su puntuación.
• Robustez: La heterogeneidad persiste a través de diferentes resoluciones, políticas de muestreo y pipelines de ejecución (bruto vs. cacheado). Aunque el conjunto exacto de ítems confundidos varía ligeramente según el protocolo, la estructura de la población de cancelación y complementariedad permanece constante.
• Heterogeneidad de Iso-Cómputo: Al mantener constante el número total de píxeles (por ejemplo, ~9.7M de píxeles), diferentes asignaciones temporal-espaciales (por ejemplo, 32 fotogramas a alta resolución vs. 128 fotogramas a baja resolución) son óptimas para diferentes subconjuntos de ítems. Ninguna asignación única es universalmente la mejor.

Implicaciones Operativas

• Cascada de Confianza: Los autores demuestran un caso de uso operativo: una "cascada de confianza" que comienza con un presupuesto bajo (por ejemplo, 16 fotogramas) y escala solo si la confianza del modelo es baja. Este enfoque iguala la precisión de un presupuesto fijo de 128 fotogramas mientras reduce el costo promedio de fotogramas compartidos en un 31.7% y la latencia de tiempo de ejecución en un 28.2% (con uso de fotogramas compartidos).
• Sensibilidad de Muestreo: Una intervención de muestreo controlada recuperó el 29.0% de las regresiones terminales (ítems que eran incorrectos con un presupuesto alto pero que podrían ser correctos cambiando la política de muestreo), lo que sugiere que la composición de la evidencia es un factor controlable en estos fallos.

4. Contribuciones

1. Protocolo de Evaluación: Formulación del escalado de Video LLM como trayectorias de respuesta de ítems emparejadas, proporcionando métricas de cuadrícula emparejada que exponen la cancelación bidireccional oculta por las curvas agregadas.
2. Cobertura Empírica: Establecimiento de evidencia empírica amplia a través de cinco modelos, tres familias de arquitectura y diversos formatos de tarea (MCQA, generación, diálogo), demostrando que la complementariedad a nivel de ítem es un fenómeno consistente a nivel de población.
3. Independencia del Protocolo: Separación de la estructura robusta de la población de las etiquetas de ítem sensibles al protocolo mediante análisis de muestreo completo, resolución y bruto/cacheado.
4. Artefacto de Auditoría: Lanzamiento de un conjunto de datos exhaustivo que contiene aproximadamente 0.13M de salidas de modelos por ítem, anotaciones derivadas (trayectorias, etiquetas de confusión), procedencia de protocolo y código de análisis.

5. Significado y Reivindicaciones

El artículo sostiene que la visión estándar del escalado de Video LLM es incompleta. Las curvas agregadas "suaves" citadas frecuentemente en la literatura son un artefacto estadístico de transiciones de ítems opuestas.

• Cambio de Medición: Los autores abogan por un cambio de reportar únicamente medias agregadas a reportar flujos rescatados y perjudicados junto con la media. Esto es esencial para interpretar cambios netos cercanos a cero.
• Inferencia Adaptativa: La existencia de un margen de oracle significativo y óptimos específicos de cada ítem sugiere que la inferencia adaptativa (asignar cómputo dinámicamente por ítem) es una estrategia viable y necesaria para el despliegue eficiente de Video LLMs, en lugar de simplemente aumentar el presupuesto para todas las entradas.
• Diseño de Benchmarks: Los hallazgos resaltan la necesidad de comparaciones de cuadrícula emparejada para aislar las diferencias de comportamiento de los techos de contexto arquitectónico y sugieren que los diseños de benchmarks deben tener en cuenta las sobreescrituras de texto y los sesgos de prioridad de letras.

El trabajo no pretende resolver las causas subyacentes de la confusión visual (que siguen siendo heterogéneas y no explicadas completamente por estadísticas de bajo nivel simples), sino que proporciona el marco de medición y los datos necesarios para auditar estos comportamientos y desarrollar estrategias de mitigación dirigidas.