🤖 AI

Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks

Este artigo introduz o Visual Dependency Gap (VDG) para demonstrar que a alta acurácia em benchmarks de modelos de linguagem de grande escala para vídeo frequentemente advém de vieses linguísticos em vez de uma compreensão visual genuína, revelando que a ordem temporal contribui minimamente para o desempenho, enquanto a diversidade de quadros impulsiona a maioria dos ganhos.

Autores originais: Jae Joong Lee

Publicado 2026-07-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jae Joong Lee

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a entender o mundo. Você dá a ele uma câmera e um cérebro, e pede que ele responda a perguntas sobre o que está vendo. Por muito tempo, cientistas mediram o quão "inteligentes" esses robôs são aplicando um teste: mostre a eles um vídeo, faça uma pergunta e veja se eles acertam a resposta. Se o robô obtém uma pontuação alta, assumimos que ele está realmente "vendo" e entendendo o vídeo. Mas aqui está o detalhe: só porque um robô acertou a resposta não significa que ele olhou para a imagem. Ele pode ter apenas adivinhado com base nas palavras da pergunta, como um aluno que sabe que o professor sempre faz perguntas sobre "gatos" às terças-feiras e apenas responde "gato" sem olhar para o quadro negro. Este artigo mergulha no mundo confuso e bagunçado dos "Modelos de Linguagem de Grande Escala para Vídeo" — computadores superinteligentes que podem ler texto e assistir a vídeos — para fazer uma pergunta assustadora: esses robôs estão realmente assistindo aos filmes ou estão apenas sendo muito bons em adivinhar as respostas usando apenas o texto?

Os pesquisadores decidiram pregar uma pequena peça em vinte robôs diferentes que assistem a vídeos, variando de pequenos a massivos, com cérebros enormes. Eles pegaram um teste padrão chamado MVBench, que possui centenas de perguntas sobre vídeos, e rodaram o teste duas vezes para cada pergunta. A primeira vez, mostraram o vídeo real ao robô. A segunda vez, mostraram ao robô exatamente a mesma pergunta, mas o vídeo foi substituído por uma tela preta sólida. Se o robô estivesse realmente "vendo", sua pontuação deveria cair para quase zero quando o vídeo desaparecesse. Se o robô continuasse acertando as respostas mesmo com a tela preta, significava que não estava assistindo, estava apenas usando truques de linguagem para adivinhar.

Os resultados foram um choque. A equipe descobriu que, para muitas perguntas, os robôs tiveram um desempenho quase idêntico, quer estivessem assistindo a um vídeo ou encarando um vazio negro. Eles introduziram uma nova forma de medir isso chamada "Lacuna de Dependência Visual" (VDG - Visual Dependency Gap), que é basicamente a diferença entre o quão bem um robô se sai com um vídeo versus sem um. Eles descobriram que, para alguns tipos de perguntas, como "Qual é a cor do carro?" (Percepção de Atributos), os robôs realmente precisavam do vídeo para acertar. Mas para outros tipos, como "O que acontece a seguir?" (Raciocínio Temporal), os robôs acertavam as respostas mesmo com a tela preta. Isso significa que as perguntas do teste não estavam realmente testando se os robôs entendiam o tempo ou a sequência; elas estavam apenas testando se os robôs conseguiam adivinhar a resposta com base na redação da pergunta.

Os pesquisadores também tentaram descobrir por que os robôs estavam obtendo essas respostas. Eles dividiram o vídeo em diferentes partes: apenas um único quadro, vários quadros embaralhados fora de ordem e o vídeo completo com o tempo avançando. Eles descobriram que os robôs não se importavam nem um pouco com a ordem dos eventos. Quer o vídeo passasse para frente, para trás ou fosse apenas uma bagunça de imagens, os robôs obtinham a mesma pontuação. A única coisa que parecia ajudar era ver imagens diferentes (diversidade de quadros), não ver os quadros na ordem correta. Na verdade, para alguns dos modelos mais novos e avançados, a entrada de vídeo parecia até confundi-los, fazendo-os performar ligeiramente pior do que se tivessem apenas ignorado o vídeo e adivinhado com base no texto.

Uma das descobertas mais interessantes foi sobre como esses robôs lidam com a compressão. Normalmente, se você espremer um arquivo de vídeo para torná-lo menor, a qualidade piora. Os pesquisadores esperavam que, se um robô estivesse realmente "vendo", um vídeo borrado e comprimido o faria falhar. Mas as pontuações dos robôs permaneceram planas e constantes mesmo quando o vídeo estava fortemente comprimido. A equipe percebeu que isso não era porque os robôs eram superrobustos; era porque as perguntas eram tão fáceis de adivinhar pelo texto que os robôs não precisavam dos detalhes visuais. A "robustez" era uma ilusão criada por perguntas de teste ruins.

Finalmente, eles observaram como esses robôs mudam à medida que ficam maiores e mais inteligentes. Eles descobriram que, embora modelos maiores geralmente ficassem melhores em usar o vídeo, alguns dos modelos mais recentes na verdade ficaram piores em depender de informações visuais. Um modelo, o Qwen3-VL, parece ter esquecido como usar os quadros de vídeo de forma eficaz, dependendo quase inteiramente de adivinhar pelo texto, embora suas pontuações gerais no teste parecessem boas. O artigo conclui que não podemos mais confiar apenas nas pontuações do ranking (leaderboard). Uma pontuação alta não significa que um robô é um grande observador; pode significar apenas que ele é um ótimo adivinhador. Para saber se um robô está realmente vendo, precisamos verificar se ele falha quando a tela fica preta. Se ele não falhar, ele não estava assistindo em primeiro lugar.

Resumo Técnico: Precisão Sem Aterramento

Declaração do Problema

A suposição predominante na avaliação de modelos de linguagem de grande escala (LLM) de vídeo é que uma maior precisão em benchmarks equivale a uma compreensão visual mais forte. Este artigo desafia essa suposição, argumentando que a precisão em benchmarks frequentemente confunde o aterramento visual genuíno com a exploração de vieses linguísticos (solubilidade baseada apenas em texto). Embora trabalhos anteriores tenham identificado que algumas questões de vídeo podem ser respondidas sem visão, esses estudos não quantificaram este fenômeno por questão ou provaram estatisticamente que a precisão e a dependência visual são eixos separáveis. Consequentemente, melhorias nos rankings pode sinalizar um melhor modelamento de linguagem em vez de progresso genuíno em raciocínio espaço-temporal.

Metodologia

Os autores introduzem o Visual Dependency Gap (VDG - Lacuna de Dependência Visual), uma métrica diagnóstica por questão definida como a diferença na correção entre uma condição de vídeo original e uma condição de tela preta (onde todos os frames são substituídos por imagens pretas sólidas, preservando o texto e as opções).
$VDG(q) = \mathbb{1}[\text{correto}_{\text{original}}] - \mathbb{1}[\text{correto}_{\text{preto}}]$
O estudo avalia 20 LLMs de vídeo abrangendo de 2 a 78 bilhões de parâmetros e 10 famílias de arquiteturas (incluindo modelos de pesos abertos como Qwen, InternVL, LLaVA e modelos de API proprietários como GPT-4o e Gemini) em três benchmarks: Video-MME, MVBench e EgoSchema.

Os protocolos experimentais principais incluem:

Teste de Dissociação de McNemar: Testes de McNemar pareados são aplicados a resultados de correção binária para determinar se os modelos diferem em dependência visual independentemente da precisão geral.
Escada Diagnóstica de Quatro Condições: Para decompor a dependência visual, os autores testam os modelos sob quatro condições: (1) Tela preta, (2) Frame único (repetido), (3) Frames embaralhados (conteúdo diverso, sem ordem temporal) e (4) Vídeo original. Isso isola contribuições de reconhecimento espacial, diversidade de frames e ordenação temporal.
Análise de Robustez de Compressão: Os vídeos são recodificados com H.264 em níveis variados de CRF (18–38) para testar se a estabilidade da precisão agregada mascara inversões bidirecionais de respostas.
Ablação de FPS: As taxas de quadros são variadas de 0.5 a 24 FPS para descartar a esparsidade de frames como causa para baixas pontuações de raciocínio temporal.

Principais Contribuições

Dissociação Estatística de Precisão e Aterramento: Usando testes de McNemar pareados, o artigo prova que a precisão e a dependência visual são estatisticamente separáveis. Por exemplo, no MVBench, o InternVL2-8B supera significativamente o Qwen2-VL-7B no vídeo original ( $p=0.0003$ ), mas é estatisticamente indistinguível em telas pretas ( $p=0.53$ ).
Espectro de Tipo de Tarefa VDG: Os autores estabelecem uma hierarquia estável de dependência visual através de tipos de tarefas. A Percepção de Atributos é a categoria mais visualmente aterrada (VDG $\approx$ 0.41), enquanto o Raciocínio Temporal aproxima-se da linha de base apenas de linguagem (VDG $\approx$ 0.06). Este ranking mantém-se consistente entre 20 modelos e três benchmarks distintos.
Decomposição de Sinais Visuais: A escada diagnóstica revela que a diversidade de frames (observar múltiplos frames distintos) fornece a grande maioria do benefício visual, enquanto a ordenação temporal contribui com quase zero de precisão em 16 modelos de pesos abertos.
Ilusão de Robustez à Compressão: O estudo demonstra que curvas de precisão planas sob compressão H.264 são artefatos de cancelamento bidirecional (questões que passam de corretas para incorretas cancelando aquelas que passam de incorretas para corretas), e não verdadeira robustez do modelo. Questões que são sensíveis à compressão são desproporcionalmente fundamentadas visualmente.

Principais Resultados

Dissociação: Modelos que performam melhor no vídeo original não necessariamente performam melhor em telas pretas, indicando que os rankings de liderança frequentemente refletem a exploração de vieses de linguagem em vez de capacidade visual.
Falha de Raciocínio Temporal: Em todos os modelos, a ordenação temporal fornece ganhos de precisão negligenciáveis. O VDG para tarefas de raciocínio temporal é próximo de zero, sugerindo que os benchmarks atuais não testam efetivamente a compreensão temporal.
Dominância da Diversidade de Frames: O "delta de diversidade" (ganho de precisão de frames embaralhados vs. frame único) é o sinal visual dominante (variando de +0.075 a +0.185), enquanto o "delta temporal" (original vs. embaralhado) é próximo de zero.
Regressão Geracional: Embora o escalonamento geralmente melhore o VDG (ex: o escalonamento do Qwen2.5-VL de 3B para 7B aumenta o VDG de 0.210 para 0.297), a nova série Qwen3-VL mostra uma regressão no VDG (ex: Qwen3-VL-8B com VDG de 0.107 vs. o VDG de 0.297 do Qwen2.5-VL-7B). Isso é atribuído a um colapso na extração de diversidade de frames ( $\Delta_{diversidade} \approx 0.034$ ), apesar da maior precisão em tela preta (mais fortes vieses de linguagem).
Artefatos de Quantização: Modelos grandes (ex: InternVL2.5-78B) sob quantização de 4 bits podem exibir VDG negativo ou zero, indicando que sua precisão em benchmark é inteiramente impulsionada por vieses de linguagem.
Generalização entre Benchmarks: A taxonomia de níveis VDG (Percepção > Ação > Temporal/Linguístico) prevê com sucesso o desempenho por tipo de tarefa no EgoSchema, um benchmark com zero sobreposição de fonte de vídeo com os dados de treinamento, confirmando a generalizabilidade da métrica.

Significância e Alegações

O artigo afirma que a precisão em benchmarks é um mau substituto para o aterramento visual. Os autores argumentam que o campo corre o risco de otimizar para a exploração de vieses de linguagem em vez de compreensão visual genuína. Ao introduzir o VDG como um instrumento de auditoria padrão, o artigo visa:

Distinguir entre modelos que realmente dependem de entrada visual e aqueles que resolvem tarefas via texto.
Revelar que os atuais benchmarks de "Raciocínio Temporal" falham amplamente em testar a compreensão temporal, já que a ordenação temporal contribui com quase zero de precisão.
Destacar que a "robustez" à compressão é frequentemente uma ilusão causada pela composição do benchmark, e não pela capacidade do modelo.

Os autores posicionam o VDG não como uma medida de capacidade do modelo, mas como um diagnóstico para a validade do benchmark. Eles concluem que, para que os benchmarks de vídeo meçam capacidade visualmente aterrada, eles devem ir além da precisão agregada e incorporar diagnósticos como o VDG para garantir que as questões exijam entrada visual. O código e as anotações foram disponibilizados publicamente para facilitar esta auditoria.