VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification

Resumo Técnico: VideoZeroBench

1. O Problema

Embora os Modelos de Linguagem Multimodal (MLLMs) para vídeo tenham alcançado resultados impressionantes em benchmarks recentes, o artigo identifica duas limitações críticas na avaliação atual:

1. Pontuações Infladas: As métricas atuais de precisão de resposta (QA) podem mascarar deficiências graves na compreensão visual de baixo nível e no raciocínio fino.
2. Falta de Verificação de Evidências: A correção da resposta é frequentemente medida sem verificar se o modelo identificou a evidência espaço-temporal precisa (quando e onde no vídeo) que suporta sua previsão. Isso permite que modelos "adivinhem" respostas corretas baseadas em padrões de linguagem ou conhecimento de mundo, sem realmente entender o conteúdo visual (alucinação).

O domínio do vídeo carece de um benchmark suficientemente desafiador que teste os limites do raciocínio espaço-temporal de alta granularidade e verifique a fundamentação das evidências, algo que já existe em benchmarks de imagem (como ZeroBench), mas não em vídeos longos e complexos.

2. Metodologia

A. Construção do Dataset (VideoZeroBench)

• Escala e Complexidade: O benchmark consiste em 500 perguntas abertas (open-ended) manualmente anotadas, distribuídas em 138 vídeos longos (duração média de 667 segundos, variando de 30s a 3037s).
• Diversidade: Os vídeos cobrem 13 domínios (esportes, jogos, vlogs, filmes, notícias, etc.) e incluem tanto vídeos em inglês quanto em chinês.
• Anotação Rigorosa: Cada pergunta é acompanhada de evidências verificáveis:
  • Intervalos Temporais: Segmentos de tempo específicos onde a evidência ocorre.
  • Caixas Delimitadoras Espaciais (Bounding Boxes): Coordenadas espaciais em quadros-chave para objetos pequenos ou regiões específicas.
• Capacidades Atômicas: As perguntas são classificadas em 11 capacidades atômicas, agrupadas em:
  • Percepção Detalhada: Contagem, percepção de objetos pequenos, OCR, reconhecimento de ação.
  • Raciocínio Espaço-Temporal: Orientação espacial, rastreamento de objetos, transições de cena, dependência de múltiplos segmentos.
  • Raciocínio Semântico e Cross-Modal: Conhecimento de mundo, percepção de áudio.

B. Protocolo de Avaliação Hierárquica (5 Níveis)
Para desconectar a geração da resposta da capacidade de localização de evidências, os autores propõem um protocolo de 5 níveis que aumenta progressivamente a restrição de evidência:

• Nível 1: Resposta com evidência temporal e espacial fornecida (o modelo recebe o vídeo e as pistas de onde/quando procurar).
• Nível 2: Resposta com apenas evidência temporal fornecida (sem pistas espaciais).
• Nível 3: QA Padrão (sem nenhuma pista). O modelo recebe apenas o vídeo e a pergunta.
• Nível 4: Resposta correta com localização temporal precisa (o modelo deve identificar os intervalos de tempo corretos além de responder).
• Nível 5: Resposta correta com localização espaço-temporal precisa (o modelo deve identificar o tempo e as caixas delimitadoras corretas).

A precisão final nos Níveis 4 e 5 é calculada como o produto da precisão da resposta e da precisão da localização (IoU temporal e visual > 0.3).

3. Principais Contribuições

1. Primeiro Benchmark Hierárquico e Baseado em Evidências para Vídeo: Introduz o VideoZeroBench, focado em vídeos longos e complexos, exigindo não apenas a resposta, mas a prova de onde ela foi encontrada.
2. Protocolo de Diagnóstico Fino: A estrutura de 5 níveis permite isolar se o erro do modelo é devido à falha no raciocínio, na busca temporal ou na localização espacial.
3. Análise de "Pensar com Vídeo" (Thinking-with-Videos): Avalia se paradigmas agênticos (como iterative zoom-in e raciocínio em múltiplos passos) realmente melhoram a fundamentação das evidências.
4. Descoberta de Lacunas Críticas: Demonstra que a precisão de resposta não implica compreensão genuína, revelando que a fundamentação de evidências é o gargalo principal.

4. Resultados Experimentais

Os autores avaliaram 17 modelos de ponta, incluindo proprietários (Gemini-3-Pro, GPT-5.2, Seed-2.0) e open-source (Qwen3-VL, InternVL3.5, Video-R1).

• Desempenho Geral:
  • No cenário padrão (Nível 3), o melhor modelo (Gemini-3-Pro) alcançou apenas 17,0% de precisão.
  • No cenário mais rigoroso (Nível 5), onde é exigida a resposta correta e a localização espaço-temporal exata, a precisão de todos os modelos caiu drasticamente para 1,0% (apenas Gemini-3-Pro). A maioria dos modelos obteve 0% neste nível.
• Gargalos Identificados:
  • Percepção de Objetos Pequenos e Orientação Espacial: São as capacidades mais fracas, mesmo para os modelos proprietários mais fortes.
  • Contagem: Extremamente difícil, exigindo agregação de evidências entre quadros e distinção de reaparições.
  • Busca Temporal: Modelos falham frequentemente em encontrar o segmento de tempo correto em vídeos longos ("agulha no palheiro").
• Paradigma "Thinking-with-Videos":
  • Modelos que utilizam raciocínio iterativo (como VideoChat-R1.5) mostraram melhorias marginais no Nível 3, mas falharam completamente no Nível 4 e 5. Isso indica que o raciocínio profundo não compensa a falta de precisão na localização de evidências.
• Desempenho Humano:
  • Em um subconjunto de 50 perguntas, humanos alcançaram 67,6% de precisão, destacando uma lacuna massiva entre humanos e IAs atuais.

5. Significado e Conclusão

O VideoZeroBench expõe que a avaliação atual de MLLMs de vídeo está saturada e enganosa. A alta precisão em benchmarks anteriores muitas vezes reflete a capacidade de adivinhar ou usar conhecimento prévio, e não a compreensão visual real.

Conclusões Chave:

1. A precisão da resposta não garante a compreensão: Modelos podem acertar a resposta sem saber onde ela está no vídeo.
2. O gargalo é a inteligência espacial fina e a busca temporal: A dificuldade não está no reconhecimento semântico grosseiro, mas na localização precisa de detalhes pequenos e eventos transitórios em longos vídeos.
3. Necessidade de Pesquisa Futura: O campo deve priorizar a percepção fundamentada em evidências e o raciocínio espaço-temporal preciso como componentes fundamentais para uma inteligência de vídeo confiável e verificável.

O benchmark e o código serão disponibilizados publicamente para guiar o desenvolvimento da próxima geração de modelos de vídeo.