What Does a Temporal Benchmark Score Measure? Decomposing Channel Use in Video VLM Evaluation
Este artigo introduz uma métrica de "queda de reversão" livre de rótulos para decompor as pontuações de benchmarks de VLMs de vídeo temporais, revelando que os modelos frequentemente dependem de codificações posicionais em vez de conteúdo visual e demonstrando que pontuações agregadas mascaram modos de falha distintos e não intercambiáveis entre arquiteturas dominantes em posição e arquiteturas dominantes em sequência visual.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
O Mistério do Detetive de Vídeo: Por que Dois Modelos com a Mesma Pontuação são, na Realidade, Diferentes
Imagine que você está testando dois detetives, Molmo2 e Qwen3-VL, para ver quem é melhor em resolver mistérios de vídeo. Você lhes dá uma série de clipes curtos e faz perguntas como: "O gato pulou antes ou depois do cachorro latir?". Ambos os detetives obtêm uma pontuação alta no seu teste, digamos cerca de 0,96 (ou 96% de precisão). Você pode pensar: "Ótimo! Ambos entendem o tempo perfeitamente".
Mas este artigo argumenta que o seu teste é, na verdade, um truque. É como perguntar a um detetive: "Você resolveu o caso?" sem perguntar como ele o resolveu. O artigo revela que, embora ambos os detetives tenham obtido a resposta correta, eles usaram métodos completamente diferentes e opostos para chegar lá. Um é um "Viajante do Tempo" que ignora o que vê, e o outro é um "Realista" que confia nos seus olhos.
As Duas Perguntas Escondidas em Uma Pontuação
Os autores dizem que uma pontuação padrão de teste de vídeo é, na verdade, um coquetel bagunçado de duas perguntas diferentes:
- A Pergunta da Tarefa: A pergunta realmente exige assistir ao vídeo em ordem? (ex: "A bola quicou?" pode precisar de apenas um quadro, mas "A bola quicou então rolou?" precisa da sequência.)
- A Pergunta do Canal: Quando o modelo realmente precisa da ordem, de onde ele obtém essa informação? Ele lê os pixels (o movimento real na tela) ou ele trapaceia lendo os números de posição (os rótulos invisíveis que dizem ao computador qual quadro é o #1, #2, #3)?
A maioria dos testes verifica apenas a primeira pergunta. Eles embaralham os quadros e veem se a pontuação cai. Se a pontuação cair, eles dizem: "Ok, o modelo precisa da ordem". Mas eles não verificam qual parte do modelo está fazendo o trabalho pesado.
O Truque de Mágica: O "Reversal-Drop" (Queda de Reversão)
Para descobrir como os modelos realmente funcionam, os autores realizaram um truque de mágica chamado reversal-drop.
Imagine que você tem um vídeo de um balão enchendo.
- Os Pixels: Os quadros visuais mostram o balão ficando maior.
- Os Rótulos de Posição (RoPE): São etiquetas invisíveis anexadas a cada quadro dizendo "Quadro 1", "Quadro 2", "Quadro 3".
Os autores pegaram um vídeo, reverteram os pixels (para que o balão pareça estar esvaziando, diminuindo de grande para pequeno), mas mantiveram os rótulos de posição para frente (para que o computador ainda pense que está assistindo ao Quadro 1, depois ao Quadro 2, depois ao Quadro 3).
Agora, os pixels dizem "Esvaziando", mas os rótulos dizem "Enchendo". Os dois canais estão lutando entre si.
- Molmo2 (O Detetive Dominante pela Posição): Quando os pixels e os rótulos lutam, o Molmo2 ignora os pixels. Ele olha para os rótulos, vê "Quadro 1, 2, 3" e responde como se o balão estivesse enchendo. Mesmo que esteja vendo um balão esvaziando, ele diz: "Está enchendo!" porque os rótulos o instruíram a isso.
- O Resultado: Sua precisão quase não mudou. Ele não se importou que o vídeo foi revertido. Ele estava lendo os índices de posição.
- Qwen3-VL (O Detetive Dominante pela Sequência Visual): Quando os pixels e os rótulos lutam, o Qwen3-VL ignora os rótulos. Ele olha para os pixels, vê o balão diminuindo e responde: "Está esvaziando!".
- O Resultado: Sua precisão desmoronou. Ele errou a resposta porque foi enganado pelo vídeo revertido. Ele estava lendo a ordem visual.
Os Números Não Mentem
O artigo mediu essa "queda" na precisão para provar a diferença:
- Em um benchmark chamado TVBench, quando o vídeo foi revertido mas os rótulos permaneceram para frente:
- O Molmo2 caiu quase nada (cerca de +0,00 a +0,08 pontos). Ele ficou totalmente bem.
- O Qwen3-VL caiu drasticamente (entre +0,24 e +0,55 pontos). Ele colapsou.
- No TempCompass, usando um teste especial de "verdade fundamental pareada" (onde eles sabem a resposta tanto para o vídeo original quanto para o revertido):
- O Molmo2 respondeu o evento "para frente" (ignorando o vídeo revertido) com uma pontuação de 0,965 em ambos os casos.
- O Qwen3-VL caiu de 0,944 (normal) para 0,576 (revertido).
Isso prova que dois modelos podem ter exatamente a mesma pontuação alta em um teste normal, mas um depende do "mapa" (rótulos) e o outro do "terreno" (pixels). Se você trocar o mapa por um falso, o primeiro modelo falha, mas o segundo pode ainda estar bem.
O Que o Artigo Descarta
Os autores foram muito cuidadosos para garantir que isso não fosse apenas um erro ou um artefato estranho de seu teste.
- Não é apenas "confusão": Eles usaram uma técnica chamada activation patching (que é como trocar as células cerebrais de um modelo pelas células cerebrais "corretas" de outro) para provar que a diferença é real.
- Quando eles corrigiram o "cérebro" do Molmo2 na primeira camada, ele se recuperou perfeitamente.
- Quando eles corrigiram o "cérebro" do Qwen3-VL na primeira camada, ele ainda assim falhou um pouco. Eles tiveram que corrigir até as camadas 0, 1 e 2 (onde um recurso chamado DeepStack injeta dados visuais extras) para que ele se recuperasse.
- Isso prova que a diferença é uma propriedade interna profunda de como os modelos são construídos, não apenas um truque superficial.
- Não são apenas "timestamps": Eles verificaram se os modelos estavam apenas lendo o tempo escrito na tela (como "00:01", "00:02"). Eles descobriram que, embora os timestamps ajudem, os modelos ainda dependem fortemente dos rótulos de posição ou dos pixels mesmo quando os timestamps são removidos.
- Não é apenas trapaça de "quadro único": Eles mostraram que ambos os modelos genuinamente precisam de múltiplos quadros para resolver esses problemas (eles recebem um aumento de +0,20 ao ver o vídeo completo versus apenas um quadro). Portanto, eles não estão apenas adivinhando a partir de uma única imagem; eles estão realmente processando a sequência, apenas de maneiras diferentes.
A Grande Conclusão
O artigo conclui que uma única "pontuação temporal" é enganosa. É como dizer que dois carros têm a mesma velocidade máxima, mas um funciona a gasolina e o outro a eletricidade. Se você dirigir em uma estrada sem postos de gasolina, o carro elétrico falha, embora tivessem a mesma pontuação no teste de velocidade.
- Molmo2 é dominante pela posição: Ele confia mais nos rótulos invisíveis (RoPE) do que no que vê.
- Qwen3-VL é dominante pela sequência visual: Ele confia mais no que vê (pixels) do que nos rótulos.
Os autores sugerem que os testes futuros devem parar de fornecer apenas um número. Em vez disso, devem reportar o "reversal-drop" para ver se um modelo está lendo o mapa ou o terreno. Isso ajuda a entender como um modelo falha, não apenas que ele falha. Se você precisa de um modelo que preste atenção ao conteúdo real do vídeo, você não quer aquele que apenas lê os rótulos. Se você precisa de um que siga um cronograma rigoroso, você pode preferir o leitor de rótulos. Mas você não consegue distinguir a diferença apenas olhando para a pontuação final.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.