Thinking with Video: Video Generation as a Promising Multimodal Reasoning Paradigm

1. O Problema

O artigo identifica limitações fundamentais nos paradigmas atuais de raciocínio em Inteligência Artificial:

• "Pensar com Texto" (Chain-of-Thought - CoT): Embora eficaz para LLMs, é puramente simbólico e carece de representação visual dinâmica.
• "Pensar com Imagens" (CoT Visual): Modelos de Visão-Linguagem (VLMs) podem gerar imagens estáticas para auxiliar no raciocínio, mas falham em representar processos dinâmicos, mudanças temporais ou transformações contínuas. Além disso, a separação entre texto e visão como modalidades distintas impede uma compreensão e geração verdadeiramente unificadas.

Existe uma lacuna para um framework que integre naturalmente o raciocínio textual e visual dentro de uma estrutura temporal coerente, permitindo simulações mentais e dinâmicas semelhantes às humanas.

2. Metodologia

Os autores propõem um novo paradigma chamado "Thinking with Video" (Pensar com Vídeo), utilizando modelos de geração de vídeo (como o Sora-2) não apenas para criar conteúdo, mas como um motor de raciocínio multimodal unificado.

A. Benchmark: VideoThinkBench

Para avaliar essa abordagem, foi desenvolvido o VideoThinkBench, um benchmark abrangente que cobre tarefas centradas na visão e no texto:

• Tarefas Centradas na Visão (Vision-Centric): Avaliam a capacidade de raciocínio através de desenho e imaginação em vídeo. Incluem:
  • Intuição Geométrica: Quebra-cabeças de "avaliação visual" (Eyeballing Puzzles) envolvendo interseção de raios, reflexos e formas.
  • Indução de Padrões Visuais: Quebra-cabeças de simetria, gradiente e composicionalidade.
  • Indução de Regras Abstratas: Adaptação do benchmark ARC-AGI-2 para geração de vídeo.
  • Planejamento Espacial: Labirintos (Mazes).
• Tarefas Centradas no Texto (Text-Centric): Avaliam a compreensão conceitual e raciocínio lógico-matemático expressos visualmente. Incluem subconjuntos de benchmarks como GSM8K, MATH, MMLU, MMMU e MathVista. O modelo deve gerar um vídeo onde escreve o processo de solução e fala a resposta final.

B. Avaliação e Protocolos

• Modelo Principal: O estudo foca no Sora-2 (modelo fechado da OpenAI), comparando-o com VLMs de última geração (GPT-5, Claude Sonnet 4.5, Gemini 2.5 Pro).
• Métodos de Avaliação:
  • Para tarefas visuais: Avaliação baseada no áudio transcrito, no último quadro do vídeo e na Major Frame (votação majoritária entre vários quadros do vídeo para mitigar ruídos finais).
  • Para tarefas textuais: Avaliação independente do áudio (transcrição) e do último quadro (texto escrito no vídeo), utilizando um LLM como juiz (LLM-as-a-Judge).
• Análises Adicionais: Testes de few-shot learning (comparando 1-shot vs. few-shot no ARC-AGI-2), self-consistency (agregação de múltiplas tentativas) e análise de vazamento de dados (criação de problemas matemáticos derivados).

3. Principais Contribuições

1. Novo Paradigma de Raciocínio: Propõe o "Thinking with Video" como uma unificação natural de entendimento e geração multimodal, onde o vídeo serve como meio para simulação dinâmica e raciocínio espacial.
2. VideoThinkBench: Criação de um benchmark sistemático e verificável, capaz de gerar milhares de amostras programaticamente, cobrindo desde intuição geométrica até raciocínio lógico complexo.
3. Descoberta de Capacidades Inesperadas: Demonstra que modelos de geração de vídeo possuem capacidades de raciocínio lógico e matemático que rivalizam com os melhores VLMs, desafiando a noção de que a geração de vídeo é apenas uma tarefa de "estética".
4. Análise de Mecanismos: Investiga a origem dessas capacidades, sugerindo que o raciocínio textual pode ser impulsionado por um "reescritor de prompts" interno, e que a consistência temporal (self-consistency) é crucial para a precisão.

4. Resultados Chave

Desempenho em Tarefas Centradas na Visão

• Superioridade em Raciocínio Espacial: O Sora-2 superou os VLMs de ponta (SOTA) em quebra-cabeças de avaliação visual (Eyeballing Puzzles), superando o GPT-5 em 10% (40.2% vs 29.7% na avaliação Major Frame).
• Capacidade de Desenho: O modelo consegue "pintar" linhas e formas para resolver problemas de física e geometria (ex: traçar o caminho de um raio de luz refletido), demonstrando uma intuição física superior.
• Aprendizado Few-Shot: No ARC-AGI-2, o Sora-2 mostrou capacidade de inferir regras abstratas a partir de exemplos, embora a precisão exata na grade seja baixa (1.3%), o modelo frequentemente captura a lógica central (14% "Majormente Correto"). O desempenho melhora significativamente com mais exemplos (few-shot).

Desempenho em Tarefas Centradas no Texto

• Raciocínio Matemático Surpreendente: O Sora-2 alcançou 98.9% de precisão no GSM8K e 92.0% no MATH-500 (via avaliação de áudio), desempenho comparável ou superior a muitos VLMs.
• Raciocínio Multimodal: Alcançou 69.2% no MMMU e 75.7% no MathVista.
• Discrepância Áudio vs. Vídeo: A precisão via áudio foi consistentemente maior do que via quadro final do vídeo. A análise revelou que o Sora-2 luta para gerar processos de raciocínio escritos coerentes e legíveis no vídeo (apenas 13.91% dos processos escritos estavam "Completamente Corretos"), sugerindo que a lógica reside mais na compreensão do prompt e na fala do que na geração de texto visual.

Análises de Melhoria

• Self-Consistency: A técnica de votação majoritária sobre múltiplas tentativas (5 tentativas) aumentou a precisão em tarefas verificáveis de 68% para 90%, indicando que o test-time scaling é eficaz para modelos de vídeo.
• Origem do Raciocínio Textual: Experimentos com o modelo Wan 2.5 (que permite desativar o reescritor de prompts) mostraram que, sem o reescritor, a precisão cai para zero. Isso sugere que a capacidade de raciocínio textual do Sora-2 pode derivar de um módulo interno de reescrita de prompts que transforma o problema em instruções visuais passo a passo antes da geração do vídeo.

5. Significado e Conclusão

O artigo estabelece que os modelos de geração de vídeo não são apenas geradores de mídia, mas motores de raciocínio multimodal unificados.

• Unificação: O "Thinking with Video" permite que o modelo raciocine sobre o mundo físico e lógico através de simulação temporal, integrando texto e visão de forma nativa.
• Potencial Futuro: A descoberta de que modelos fechados como o Sora-2 possuem capacidades de raciocínio sofisticadas, mesmo sem treinamento explícito de raciocínio textual tradicional, aponta para uma nova direção na IA: o uso de dados de treinamento multimodal massivos para adquirir conhecimento do mundo e raciocínio lógico através da geração de vídeo.
• Direções Futuras: Os autores sugerem o uso de Reinforcement Learning with Verifiable Rewards (RLVR) em tarefas verificáveis do VideoThinkBench para aprimorar essas capacidades e a exploração de treinamento unificado onde corpora textuais são convertidos em dados de vídeo (ex: escrever palavra por palavra em um quadro branco) para ensinar conhecimento textual aos modelos de vídeo.

Em resumo, o trabalho posiciona a geração de vídeo como um paradigma promissor e potencialmente unificado para o raciocínio multimodal, superando as limitações estáticas das abordagens atuais baseadas em texto e imagem.