Resumo Técnico: ACT2SEE – Percepção Visual Ativa Emergente para Raciocínio em Vídeo

Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) atuais que realizam raciocínio em vídeo normalmente dependem de quadros iniciais estáticos ou de amostragem fixa de quadros por segundo (fps). Esse paradigma de entrada estática restringe a capacidade do modelo de incorporar informações dinâmicas essenciais à medida que o processo de raciocínio evolui. Embora métodos recentes tentem aumentar o raciocínio em Cadeia de Pensamento (CoT) com informações adicionais de quadros (por exemplo, quadros-chave predeterminados ou chamadas de ferramentas visuais), eles enfrentam duas limitações primárias:

1. Qualidade Subótima do CoT: Métodos existentes frequentemente derivam CoTs aumentados com quadros a partir de verdades-terrenas geradas automaticamente por VLMs, sem verificação humana rigorosa, levando a traços de raciocínio ruidosos ou inconsistentes.
2. Incapacidade de Sintetizar Cenários Hipotéticos: As abordagens atuais não conseguem gerar novos quadros visuais dentro do CoT para responder a perguntas contrafactuais ou hipotéticas (por exemplo, "O que aconteceria se a ordem temporal fosse invertida?"). Elas limitam-se a recuperar evidências visuais existentes, impedindo que "imaginem" cenários não presentes no vídeo original.

Metodologia

Os autores introduzem o Act-to-See (ACT2SEE), um framework projetado para dotar VLMs de percepção visual ativa. Essa capacidade permite que os modelos decidam dinamicamente quando e como reunir novas informações visuais — seja recuperando quadros existentes ou gerando quadros hipotéticos — durante o processo de raciocínio.

1. Construção de Dataset via Ajuste Fino Supervisionado (SFT)

O núcleo do ACT2SEE é um dataset de SFT de alta qualidade com CoTs intercalados vídeo-texto. O pipeline de construção envolve:

• Prompting de Modelo de Vanguarda: Um VLM de vanguarda (Gemini 2.5 Pro) é instruído a realizar raciocínio em vídeo. Crucialmente, o modelo é instruído a emitir tokens de chamada de ferramenta especializados (<retrieve> ou <generate>) com consultas específicas sempre que determinar que a informação visual existente é insuficiente.
• Execução da Ferramenta:
  • Recuperação: Utiliza TFVTG (Ancoragem Temporal de Vídeo Livre de Treinamento) para pesquisar o vídeo completo em uma taxa de amostragem mais alta (3 fps) a fim de encontrar quadros relevantes que correspondam à consulta.
  • Geração: Utiliza o Stable Diffusion 3.5 Large para sintetizar novos quadros com base na consulta, condicionados a um quadro recuperado para garantir consistência visual.
• Completamento em Duas Rodadas: O processo é dividido em duas rodadas. Na Rodada 1, o modelo gera o raciocínio até a chamada de ferramenta. A ferramenta é executada, e o novo quadro é inserido. Na Rodada 2, o modelo completa o traço de raciocínio usando a nova evidência visual.
• Controle de Qualidade: Para garantir dados de treinamento de alta qualidade, os CoTs gerados são filtrados contra CoTs de verdade-terrena anotados por humanos de benchmarks como MINERVA, CausalVQA e Social Genome. Os traços são mantidos apenas se sua similaridade de incorporação de texto (BGE M3) com a verdade-terrena humana exceder 80%. CoTs que levam a respostas incorretas são regenerados.

2. Treinamento e Inferência

• Treinamento: Um modelo base (Qwen3-VL-8B-Thinking) é ajustado finamente usando o dataset intercalado construído. A função de perda calcula perdas ao nível de token sobre toda a execução, incluindo o raciocínio em texto e as consultas de chamada de ferramenta, mas excluindo os tokens de imagem recuperados/gerados reais.
• Inferência: O modelo treinado segue o mesmo fluxo algorítmico. Ele gera uma resposta; se um token <retrieve> ou <generate> for detectado, a ferramenta offline correspondente é executada, o novo quadro é injetado no contexto, e o modelo continua o raciocínio para produzir a resposta final.

Contribuições Principais

1. Percepção Ativa Emergente: O ACT2SEE permite que VLMs intercalem ativamente quadros de vídeo dentro de CoTs de texto no momento da inferência, permitindo que busquem dinamicamente evidências factuais faltantes ou sintetizem cenários contrafactuais.
2. Dataset Intercalado de Alta Qualidade: Os autores curaram um dataset de 3.373 traços de raciocínio, onde 47,67% contêm quadros recuperados ou gerados. Este dataset é rigorosamente filtrado contra anotações humanas para garantir a qualidade do raciocínio, abordando os problemas de ruído na geração automática anterior de CoTs.
3. Capacidade Dupla (Recuperação + Geração): Diferentemente de trabalhos anteriores que focam exclusivamente na recuperação ou em quadros-chave estáticos, o ACT2SEE integra tanto a recuperação de conteúdo de vídeo existente quanto a síntese generativa de evidência visual hipotética dentro do loop de raciocínio.

Resultados Experimentais

O ACT2SEE foi avaliado em cinco benchmarks diversos de raciocínio em vídeo: Video-MME, VideoEspresso, EgoNormia, VCR-Bench e ViTIB.

• Ganhos de Desempenho: O ACT2SEE estabelece novos resultados state-of-the-art no VideoEspresso e ViTIB. Ele supera modelos de código aberto comparáveis ou maiores (por exemplo, InternVL2.5-8B, Video-LLaMA3-7B, Qwen3-VL-8B-Thinking) e até supera o GPT-4o de código fechado no VideoEspresso, apesar de usar menos quadros.
• Comparação com Métodos CoT SOTA: O modelo supera outros métodos intercalados vídeo-texto CoT como Chain-of-Shot, FrameMind e ReWatch-R1.
• Estudos de Ablação:
  • Fonte de Dados: Usar verdades-terrenas anotadas por humanos para filtragem (em vez de CoTs gerados por VLMs) melhora significativamente o desempenho.
  • Uso de Ferramentas: Combinar recuperação e geração produz melhores resultados do que usar qualquer uma das ferramentas isoladamente.
  • Verdade-Terrena no Prompting: Excluir CoTs de verdade-terrena da fase inicial de prompting aumenta a taxa de chamadas de ferramenta, levando a um melhor desempenho a jusante.
• Eficiência: O ACT2SEE alcança maior precisão com menor latência e menos FLOPs em comparação com a linha de base ao usar metade do número de quadros de entrada, demonstrando dominância de Pareto.

Significado e Alegações

O artigo alega que o ACT2SEE representa um avanço significativo na habilitação de VLMs com percepção visual ativa para raciocínio complexo em vídeo. Ao capacitar os modelos a determinar ativamente quando buscar ou sintetizar evidência visual, o framework supera as limitações de entradas estáticas e traços de raciocínio subótimos.

Os autores destacam uma capacidade emergente: no momento da inferência, o modelo decide espontaneamente recuperar ou gerar quadros para resolver ambiguidades ou responder a perguntas contrafactuais, um comportamento não programado explicitamente, mas aprendido através do processo de SFT. Essa abordagem move o raciocínio em vídeo em direção a uma compreensão mais fundamentada causalmente e dinâmica, preenchendo a lacuna entre a percepção estática e as dinâmicas espaço-temporais nuances requeridas para cenários complexos do mundo real. O trabalho sugere que dados intercalados de alta qualidade, verificados por humanos, são críticos para desbloquear essas capacidades, em vez de depender exclusivamente da síntese automatizada de dados.