LongVQUBench: Benchmarking Long-Term Video Quality Understanding of Vision-Language Models

Resumen Técnico: LongVQUBench

Declaración del Problema
La evaluación de la comprensión de la calidad de video a largo plazo (LVQU, por sus siglas en inglés) sigue siendo un desafío abierto para los Grandes Modelos de Lenguaje-Visión (LVLMs). Si bien los LVLMs recientes han demostrado capacidades sólidas en la comprensión semántica de video y el razonamiento a corto plazo, carecen de mecanismos robustos para evaluar la fidelidad perceptiva, la coherencia temporal y la degradación acumulativa durante duraciones extendidas. Los benchmarks de video existentes (por ejemplo, LIVE-VQA, KoNViD-1k) se centran predominantemente en clips cortos con distorsiones aisladas, fallando al capturar la continuidad temporal y la dinámica contextual inherentes al contenido de larga duración. Por el contrario, los benchmarks de video de larga duración (por ejemplo, LongVideoBench, Video-MME) priorizan la comprensión de eventos semánticos sobre la calidad perceptiva. En consecuencia, existe una falta de un marco unificado para evaluar cómo los LVLMs razonan sobre la calidad perceptiva a través de extensiones de video de minutos a horas.

Metodología: LongVQUBench
Para abordar estas brechas, los autores presentan LongVQUBench, un benchmark integral diseñado para evaluar las capacidades de LVQU de los LVLMs.

• Composición del Conjunto de Datos: El benchmark comprende más de 1,200 videos diversos provenientes de películas, documentales, grabaciones de vigilancia, grabaciones egocéntricas y contenido animado. La duración de los videos varía desde unos pocos minutos hasta casi dos horas. El conjunto de datos incluye 1,500 preguntas de opción múltiple y abiertas.
• Estrategia de Distorsión: Para garantizar una evaluación controlada, el benchmark utiliza un enfoque de "distorsión de aguja" (needle distortion). Se segmentan videos fuente de alta calidad y se insertan esparcidamente distorsiones espaciales (por ejemplo, desenfoque, ruido) y temporales (por ejemplo, parpadeo, caídas de fotogramas) a distintas intensidades. Esto permite una alineación precisa con la verdad fundamental (ground-truth) mientras se simulan patrones de degradación realistas.
• Marco de Evaluación Jerárquico: El benchmark define tres niveles de evaluación progresivamente complejos para evaluar el razonamiento a través de diferentes alcances temporales:
  1. Comprensión de Calidad de Eventos Locales (LQU): Se centra en la detección, clasificación y localización de eventos de distorsión únicos y temporalmente delimitados (por ejemplo, un desenfoque de 5 a 20 segundos). Las preguntas cubren detección, localización, clasificación, evaluación de severidad y razonamiento abierto.
  2. Razonamiento de Calidad entre Eventos (CQR): Evalúa la capacidad del modelo para comparar, asociar e integrar múltiples eventos de distorsión distribuidos a lo largo del video. Este nivel pone a prueba el razonamiento sobre la severidad relativa, los efectos acumulativos y las relaciones temporales entre distintos segmentos degradados.
  3. Comprensión de Calidad Global (GQU): Evalúa el juicio perceptivo holístico sobre la duración total del video. Requiere razonar sobre tendencias temporales, estabilidad, factores de degradación dominantes y la evolución de la calidad a lo largo del tiempo.
• Pregunta-Respuesta de Distorsión de Aguja (NDQA): Integrado en los tres niveles, este paradigma introduce artefactos dispersos para sondear la sensibilidad perceptiva fina. Utiliza tanto Preguntas de Opción Múltiple (MCQ) para el reconocimiento objetivo como preguntas abiertas para el razonamiento explicativo.

Configuración Experimental
Los autores evaluaron 14 LVLMs de última generación, incluyendo modelos propietarios (GPT-5, Gemini-3, Qwen-VL-Max), modelos de código abierto (LLaVA-NeXT-Video, Qwen3-VL, VQA2, etc.) y LVLMs agénticos (DeepVideoDiscovery, VideoAgent). Los experimentos se realizaron bajo configuraciones zero-shot utilizando un pipeline de inferencia de muestreo de fotogramas. Se utilizó una división estratificada de 40% para validación y 60% para prueba, donde la validación determinó el presupuesto óptimo de muestreo de fotogramas.

Resultados Clave
Experimentos extensos revelan limitaciones significativas en los actuales LVLMs respecto a la comprensión de la calidad de video a largo plazo:

• Degradación del Rendimiento con la Complejidad: Existe un declive constante en el rendimiento a medida que la profundidad del razonamiento aumenta de LQU a CQR y finalmente a GQU. Por ejemplo, GPT-5 alcanzó un 81.2% en CQR pero cayó a un 65.8% en GQU.
• Beneficio Limitado del Aumento de Muestreo: Aumentar el número de fotogramas muestreados produce rendimientos decrecientes. Mientras que algunos modelos (por ejemplo, GPT-5) se benefician moderadamente de conteos de fotogramas más altos, otros (por ejemplo, VQA2) funcionan mejor con muy pocos fotogramas (8 fotogramas), lo que sugiere que simplemente aumentar la cobertura temporal no resuelve el cuello de botella del razonamiento.
• Propietarios vs. Código Abierto: Los modelos propietarios generalmente dominan la tabla de clasificación, con GPT-5 logrando la mayor precisión general (69.5%). Sin embargo, incluso los modelos líderes tienen dificultades con el razonamiento de calidad global.
• Modelos Agénticos: Entre los enfoques agénticos, DeepVideoDiscovery mostró un rendimiento competitivo (66.0% general), acercándose a los modelos propietarios, mientras que los agentes más simples se quedaron rezagados significativamente. Esto sugiere que las estrategias efectivas de exploración de fotogramas y razonamiento son críticas para la comprensión de la calidad basada en agentes.
• Razonamiento de Respuesta Abierta: Aunque las puntuaciones de relevancia para las respuestas abiertas fueron altas (por ejemplo, GPT-5: 88.9%), las puntuaciones de completitud se mantuvieron bajas (por ejemplo, GPT-5: 45.8%), lo que indica que los modelos luchan por producir explicaciones exhaustivas para las evaluaciones de calidad.

Significancia y Reivindicaciones
Los autores posicionan a LongVQUBench como un paso fundacional hacia la evaluación sistemática, jerárquica y explicable de la comprensión de la calidad de video a largo plazo de los LVLMs. El artículo afirma que este benchmark establece el primer banco de pruebas unificado que integra fidelidad perceptiva, coherencia temporal y razonamiento multimodal para videos de larga duración. Los resultados resaltan que los actuales LVLMs tienen una capacidad limitada para la integración temporal de largo alcance y la atribución perceptiva, identificando el razonamiento perceptivo a largo plazo como un desafío abierto crítico para la investigación futura. El trabajo tiene como objetivo avanzar en el modelado perceptivo y el razonamiento temporal hacia una comprensión de video de larga duración a nivel humano.