LongVQUBench: Benchmarking Long-Term Video Quality Understanding of Vision-Language Models

Resumo Técnico: LongVQUBench

Declaração do Problema
A avaliação da compreensão de qualidade de vídeo de longo prazo (LVQU - Long-term Video Quality Understanding) permanece um desafio em aberto para os Grandes Modelos de Linguagem e Visão (LVLMs). Embora os LVLMs recentes tenham demonstrado fortes capacidades de compreensão semântica de vídeo e raciocínio de curto prazo, eles carecem de mecanismos robustos para avaliar a fidelidade perceptiva, a coerência temporal e a degradação cumulativa ao longo de durações estendidas. Os benchmarks de vídeo existentes (ex: LIVE-VQA, KoNViD-1k) focam predominantemente em clipes curtos com distorções isoladas, falhando em capturar a continuidade temporal e a dinâmica contextual inerentes ao conteúdo de longa duração. Por outro lado, os benchmarks de vídeos longos (ex: LongVideoBench, Video-MME) priorizam a compreensão de eventos semânticos sobre a qualidade perceptiva. Consequentemente, há uma carência de um framework unificado para avaliar como os LVLMs raciocinam sobre a qualidade perceptiva através de extensões de vídeo que variam de minutos a horas.

Metodologia: LongVQUBench
Para abordar essas lacunas, os autores introduzem o LongVQUBench, um benchmark abrangente projetado para avaliar as capacidades de LVQU dos LVLMs.

• Composição do Dataset: O benchmark compreende mais de 1.200 vídeos diversos provenientes de filmes, documentários, imagens de vigilância, gravações egocêntricas e conteúdo animado. As durações dos vídeos variam de alguns minutos a quase duas horas. O dataset inclui 1.500 perguntas de múltipla escolha e de resposta aberta.
• Estratégia de Distorção: Para garantir uma avaliação controlada, o benchmark utiliza uma abordagem de "distorção de agulha" (needle distortion). Vídeos de alta qualidade de origem são segmentados, e distorções espaciais específicas (ex: desfoque, ruído) e temporais (ex: cintilação, queda de quadros) são inseridas esparsamente em intensidades variadas. Isso permite um alinhamento preciso com a verdade fundamental (ground-truth) enquanto simula padrões de degradação realistas.
• Framework de Avaliação Hierárquica: O benchmark define três níveis de avaliação progressivamente complexos para avaliar o raciocínio através de diferentes escopos temporais:
  1. Compreensão de Qualidade de Evento Local (LQU): Foca na detecção, classificação e localização de eventos de distorção únicos e temporalmente delimitados (ex: um desfoque de 5 a 20 segundos). As perguntas cobrem detecção, localização, classificação, avaliação de severidade e raciocínio aberto.
  2. Raciocínio de Qualidade entre Eventos (CQR): Avalia a capacidade do modelo de comparar, associar e integrar múltiplos eventos de distorção distribuídos pelo vídeo. Este nível testa o raciocínio sobre severidade relativa, efeitos cumulativos e relações temporais entre segmentos degradados distintos.
  3. Compreensão de Qualidade Global (GQU): Avalia o julgamento perceptivo holístico sobre toda a duração do vídeo. Requer raciocínio sobre tendências temporais, estabilidade, fatores de degradação dominantes e a evolução da qualidade ao longo do tempo.
• Perguntas e Respostas de Distorção de Agulha (NDQA): Incorporado em todos os três níveis, este paradigma introduz artefatos esparsos para sondar a sensibilidade perceptiva fina. Utiliza tanto Perguntas de Múltipla Escolha (MCQ) para reconhecimento objetivo quanto perguntas abertas para raciocínio explicativo.

Configuração Experimental
Os autores avaliaram 14 LVLMs de última geração, incluindo modelos proprietários (GPT-5, Gemini-3, Qwen-VL-Max), modelos de código aberto (LLaVA-NeXT-Video, Qwen3-VL, VQA2, etc.) e LVLMs agentes (DeepVideoDiscovery, VideoAgent). Os experimentos foram conduzidos sob configurações zero-shot usando um pipeline de inferência de amostragem de quadros. Uma divisão estratificada de 40% para validação / 60% para teste foi utilizada, com a validação determinando o orçamento ideal de amostragem de quadros.

Principais Resultados
Experimentos extensivos revelam limitações significativas nos atuais LVLMs em relação à compreensão de qualidade de vídeo de longo prazo:

• Degradação de Desempenho com a Complexidade: Há um declínio consistente no desempenho conforme a profundidade do raciocínio aumenta de LQU para CQR e, finalmente, para GQU. Por exemplo, o GPT-5 alcançou 81,2% no CQR, mas caiu para 65,8% no GQU.
• Benefício Limitado do Aumento de Amostragem: Aumentar o número de quadros amostrados gera retornos decrescentes. Embora alguns modelos (ex: GPT-5) se beneficiem moderadamente de contagens de quadros mais altas, outros (ex: VQA2) apresentam melhor desempenho com muito poucos quadros (8 quadros), sugerindo que simplesmente aumentar a cobertura temporal não resolve o gargalo do raciocínio.
• Proprietários vs. Código Aberto: Modelos proprietários geralmente dominam o ranking, com o GPT-5 alcançando a maior precisão geral (69,5%). No entanto, mesmo os modelos líderes têm dificuldade com o raciocínio de qualidade global.
• Modelos Agentes: Entre as abordagens agentes, o DeepVideoDiscovery mostrou desempenho competitivo (66,0% no total), aproximando-se dos modelos proprietários, enquanto agentes mais simples ficaram significativamente atrás. Isso sugere que estratégias eficazes de exploração de quadros e raciocínio são críticas para a compreensão de qualidade baseada em agentes.
• Raciocínio de Resposta Aberta: Embora as pontuações de relevância para respostas abertas tenham sido altas (ex: GPT-5: 88,9%), as pontuações de completude permaneceram baixas (ex: GPT-5: 45,8%), indicando que os modelos têm dificuldade em produzir explicações abrangentes para avaliações de qualidade.

Significância e Alegações
Os autores posicionam o LongVQUBench como um passo fundamental para a avaliação sistemática, hierárquica e explicável da compreensão de qualidade de vídeo de longo prazo dos LVLMs. O artigo alega que o benchmark estabelece o primeiro ambiente de teste unificado integrando fidelidade perceptiva, coerência temporal e raciocínio multimodal para vídeos de longa duração. Os resultados destacam que os atuais LVLMs possuem capacidade limitada para integração temporal de longo alcance e atribuição perceptiva, identificando o raciocínio perceptivo de longo prazo como um desafio crítico em aberto para pesquisas futuras. O trabalho visa avançar a modelagem perceptiva e o raciocínio temporal em direção à compreensão de vídeo de longa duração em nível humano.