VideoReasonBench: Can MLLMs Perform Vision-Centric Complex Video Reasoning?

1. O Problema

Embora o raciocínio de "cadeia de pensamento" (Chain-of-Thought - CoT) de longo alcance tenha demonstrado melhorias significativas em tarefas complexas para Grandes Modelos de Linguagem (LLMs) em domínios como matemática e codificação, seus benefícios ainda não foram plenamente validados no domínio da compreensão de vídeo.

As limitações principais identificadas pelos autores são:

• Falta de Profundidade de Raciocínio: A maioria dos benchmarks existentes (como Video-MME, TempCompass) carece da complexidade necessária para exigir cadeias de raciocínio estendidas. Muitas vezes, as respostas podem ser geradas com poucas tokens sem ativar modos de "pensamento".
• Dependência Excessiva de Conhecimento vs. Visão: Benchmarks recentes focados em raciocínio (como MMVU) são frequentemente impulsionados por conhecimento de domínio (fatos externos) e não dependem fortemente do conteúdo visual do vídeo.
• Deficiência em Raciocínio Visual Centrado: Não existe um padrão-ouro para avaliar a capacidade dos Multimodal Large Language Models (MLLMs) de realizar raciocínio complexo baseado puramente na percepção visual sequencial e na inferência de estados latentes.

2. Metodologia: VIDEOREASONBENCH

Para preencher essa lacuna, os autores introduzem o VIDEOREASONBENCH, um benchmark projetado especificamente para avaliar o raciocínio de vídeo centrado na visão.

Definição da Tarefa

O benchmark baseia-se na premissa de uma sequência de transições de estado: $\{S_t, o_t, S_{t+1}\}$.

• Visualização Parcial: O vídeo mostra uma sequência densa de operações ($o_t$), mas o estado completo (a configuração dos objetos) é visível apenas no início ou no final do vídeo, permanecendo "latente" (oculto) durante a maior parte da ação.
• Complexidade: O modelo deve rastrear visualmente as operações para inferir o estado oculto e responder a perguntas.

Estrutura do Benchmark

O conjunto de dados contém 240 vídeos e 1.440 perguntas, divididos em 6 categorias de demonstração (synthetic e real-world):

1. Number: Quebra-cabeça deslizante de números (ladrilhos em um tabuleiro).
2. Circle: Grade com peças pretas e brancas, onde um círculo vermelho inverte cores ao passar.
3. Cup: Copos cobrindo moedas, com trocas de posição.
4. File: Operações de sistema de arquivos (criar, deletar, mover) via linha de comando.
5. Card: Pilhas de cartas com adições/remoções.
6. Chip: Copos com fichas, com adições/remoções de fichas.

Níveis de Habilidade de Raciocínio

As perguntas avaliam três níveis progressivos de dificuldade:

• Nível 1 (Recall): Percepção visual fina.
  • Recall Order: Recordar a sequência exata das operações.
  • Recall Count: Contar a frequência de operações específicas.
• Nível 2 (Infer): Raciocínio sobre estados latentes.
  • Infer State: Inferir o conteúdo do estado em um momento específico.
  • Compare State: Comparar estados entre dois momentos.
• Nível 3 (Predict): Raciocínio contrafactual.
  • Predict State: Prever o estado futuro após novas operações.
  • Predict Operation: Identificar a sequência de operações necessária para atingir um estado alvo.

Construção de Dados

Utilizou-se um framework semi-automático com dois motores:

• Video Engine: Gera transições de estado e vídeos (via Matplotlib, capturas de tela de terminal ou gravações manuais).
• Question Engine: Gera perguntas e respostas baseadas nas regras de transição de estado, garantindo ground-truth preciso.

3. Principais Contribuições

1. Novo Benchmark de Raciocínio Visual: Introdução do VIDEOREASONBENCH, que força os modelos a perceberem múltiplas ações sequenciais e realizar raciocínio passo a passo, exigindo maior profundidade e dependência visual do que benchmarks anteriores.
2. Diagnóstico de Deficiências em MLLMs: Revelação de que a maioria dos modelos SOTA (State-of-the-Art) falha drasticamente nesta tarefa, com a maioria dos modelos open-source e eficientes (<10B parâmetros) obtendo menos de 2% de precisão.
3. Validação da Escala de "Thinking" (Pensamento): Demonstração de que o aumento do orçamento de "pensamento" (tokens de raciocínio) é essencial para o VIDEOREASONBENCH, mas oferece benefícios mínimos em benchmarks de vídeo existentes.

4. Resultados Experimentais

Os autores avaliaram 18 MLLMs de última geração (incluindo GPT-4o, Gemini-2.5, Qwen2.5-VL, LLaVA, etc.).

• Desempenho Geral:
  • A maioria dos modelos obteve precisão abaixo de 10%.
  • Modelos "Thinking-enhanced" (como o4-mini e Seed1.5-VL) alcançaram apenas ~10-11%.
  • O Gemini-2.5-Pro destacou-se significativamente, alcançando 56.0% de precisão, superando todos os outros modelos.
  • A linha de base humana alcançou 73.8%, indicando que a tarefa ainda é desafiadora mesmo para humanos.
• Impacto do "Thinking" (CoT):
  • Em benchmarks existentes (Video-MME, TempCompass), aumentar o orçamento de tokens de pensamento resultou em ganhos de precisão insignificantes (<2.5%).
  • No VIDEOREASONBENCH, o aumento do orçamento de pensamento elevou a precisão do Gemini-2.5-Flash em ~9%, demonstrando que o raciocínio estendido é crítico para esta tarefa.
• Dependência Visual:
  • Ao remover 50% dos quadros do vídeo ou fornecer apenas uma única imagem, o desempenho no VIDEOREASONBENCH caiu 55% a 98%.
  • Em contraste, benchmarks existentes mostraram quedas muito menores (máximo de ~28%), provando que o VIDEOREASONBENCH exige uma percepção visual fina e temporal muito mais rigorosa.
• Análise de Erros:
  • Modelos falham principalmente por: (1) Falta de percepção temporal fina (não conseguem rastrear a sequência de movimentos) e (2) Capacidade limitada de raciocínio multi-hop (não conseguem inferir estados ocultos a partir das operações).

5. Significado e Conclusão

O VIDEOREASONBENCH estabelece um novo patamar para a avaliação de MLLMs, focando especificamente na capacidade de raciocínio complexo centrado na visão.

• Importância: O trabalho demonstra que, embora os modelos tenham avançado na compreensão geral de vídeo, eles ainda lutam com tarefas que exigem rastreamento de estado, memória de longo prazo e raciocínio lógico sequencial baseado puramente em evidências visuais.
• Futuro: Os resultados sugerem que a evolução futura dos MLLMs deve focar não apenas em aumentar o conhecimento, mas em melhorar a percepção temporal fina e a capacidade de raciocínio passo a passo (CoT) para lidar com dinâmicas visuais complexas. O benchmark serve como um teste rigoroso para medir o progresso real nessa direção.

Em resumo, o papel argumenta que a verdadeira inteligência visual em vídeos complexos ainda está longe de ser alcançada pela maioria dos modelos atuais, e que o raciocínio estendido (thinking) é uma ferramenta indispensável, mas ainda insuficiente, para superar essas barreiras.