Video-ToC: Video Tree-of-Cue Reasoning

Título: Video-ToC: Video Tree-of-Cue Reasoning

Autores: Qizhong Tan, Zhuotao Tian, Guangming Lu, Jun Yu, Wenjie Pei (Harbin Institute of Technology, Shenzhen)

---

1. O Problema

Os Modelos de Linguagem Grande Multimodais para Vídeo (Video LLMs) atuais, embora eficazes em tarefas de percepção básica, enfrentam dificuldades significativas em raciocínio complexo e em evitar alucinações (respostas incorretas baseadas em conhecimento prévio em vez do conteúdo visual).

• Limitação Atual: Métodos existentes (como o Video-R1) frequentemente dependem de raciocínios gerados livremente por modelos grandes (ex: Qwen2.5-VL-72B) para fine-tuning supervisionado (SFT). No entanto, modelos menores (ex: 7B) têm capacidades de percepção espaço-temporal mais fracas e não conseguem imitar eficazmente esses raciocínios complexos.
• Consequência: Isso leva o modelo a confiar excessivamente em seu conhecimento linguístico prévio, ignorando pistas visuais críticas no vídeo, o que aumenta a taxa de alucinação e falha em tarefas que exigem observação detalhada.

2. Metodologia Proposta: Video-ToC

O Video-ToC é um novo framework de raciocínio projetado para melhorar a compreensão de vídeo através de um mecanismo de "Localização de Pistas Visuais Guiada por Árvore" (Tree-of-Cue). O treinamento ocorre em duas etapas principais:

A. Construção de Dados e SFT (Supervised Fine-Tuning)

O objetivo é ensinar o modelo a localizar pistas visuais de forma progressiva e estruturada, em vez de apenas "adivinhar" a resposta.

1. Estrutura de Árvore: O vídeo é segmentado em clipes e organizados em uma estrutura hierárquica (árvore), onde cada nó folha representa um clipe.
2. Trajetória de Raciocínio: Para cada pergunta, o sistema identifica os clipes relevantes (nós folha) e realiza um backtracking (retrocesso) até a raiz (vídeo completo). Isso cria uma trajetória que vai do geral para o específico.
3. Geração de Racional (Rationale): As compilações de vídeo de cada nível da árvore são descritas por um MLLM. Um LLM (ex: Llama-3.3-70B) sintetiza essas descrições em um racional estruturado que explica passo a passo como o modelo deve localizar as pistas visuais para chegar à resposta.
4. Dataset: Criação do Video-ToC-SFT-1k (1.000 amostras de alta qualidade) para o cold start do modelo.

B. Aprendizado por Reforço (RL) com Recompensa de Demanda de Raciocínio

Após o SFT, o modelo é refinado usando o algoritmo GRPO (Group Relative Policy Optimization), mas com uma inovação na função de recompensa:

• Recompensa de Demanda de Raciocínio (Reasoning-demand Reward): Em vez de uma recompensa binária simples (certo/errado), o sistema calcula a "demanda de raciocínio" de cada pergunta.
  • A demanda é estimada pela taxa de erro do modelo ao tentar responder sem raciocínio (apenas percepção direta) em múltiplas tentativas.
  • Se a pergunta é difícil e o modelo a resolve com raciocínio, a recompensa é maior. Se a pergunta é fácil (o modelo acerta sem raciocinar), a recompensa é menor.
• Objetivo: Isso incentiva o modelo a usar raciocínio apenas quando necessário, evitando o "superpensamento" (overthinking) em questões simples e focando em questões complexas.
• Dataset: Criação do Video-ToC-RL-2k (2.000 amostras) com anotações de demanda de raciocínio.

3. Principais Contribuições

1. Mecanismo de Localização Guiada por Árvore: Introduz um padrão de raciocínio estruturado que força o modelo a examinar detalhes visuais finos de forma progressiva, mitigando alucinações.
2. Pipeline de Anotação Automatizada: Desenvolvimento de um pipeline para gerar dois datasets especializados:
   • Video-ToC-SFT-1k: Para ensinar o estilo de raciocínio passo a passo.
   • Video-ToC-RL-2k: Para otimizar estratégias de raciocínio via RL.
3. Mecanismo de Recompensa Dinâmica: A proposta de recompensa baseada na "demanda de raciocínio" supera as recompensas binárias tradicionais, alinhando melhor os incentivos à complexidade da tarefa.

4. Resultados Experimentais

O modelo foi avaliado em seis benchmarks de compreensão de vídeo e um benchmark de alucinação, comparado com baselines e métodos recentes (como Video-R1).

• Desempenho Geral: O Video-ToC superou consistentemente o baseline (Qwen2.5-VL-7B) e o Video-R1 em benchmarks de raciocínio (VSI-Bench, VideoMMMU, MMVU) e gerais (MVBench, TempCompass, VideoMME).
  • Exemplo: No benchmark MMVU, o Video-ToC alcançou 66.1% de acurácia (vs. 59.2% do baseline e 64.2% do Video-R1).
• Redução de Alucinações: No benchmark VideoHallucer, o Video-ToC demonstrou uma redução significativa nas alucinações em comparação ao Video-R1, provando que o modelo aprendeu a confiar mais nas pistas visuais do que no conhecimento prévio.
• Estudos de Ablação:
  • O cold start com SFT foi crucial; pular essa etapa e ir direto para o RL resultou em ganhos menores.
  • A estrutura de árvore (Tree-of-Cue) foi superior a métodos de localização de pista única (Single-Cue).
  • A recompensa de demanda de raciocínio superou a recompensa de precisão padrão (Vanilla Reward).

5. Significado e Impacto

O trabalho Video-ToC representa um avanço significativo na área de Video LLMs ao abordar a lacuna entre a percepção visual e o raciocínio lógico.

• Mitigação de Alucinação: Ao forçar uma localização estruturada de pistas visuais, o modelo torna-se mais confiável em tarefas que exigem precisão.
• Eficiência de Treinamento: Demonstra que é possível obter grandes ganhos de desempenho com datasets relativamente pequenos (1k-2k amostras) se a qualidade e a estrutura do raciocínio forem bem projetadas.
• Adaptabilidade: A estratégia de recompensa dinâmica permite que o modelo aprenda a "saber quando pensar", otimizando o uso de recursos computacionais e melhorando a robustez em cenários variados.

O código e os datasets estão disponíveis publicamente, facilitando a reprodução e o avanço futuro na pesquisa de raciocínio multimodal.