Resumo Técnico: LongVT

Declaração do Problema

Modelos Multimodais Grandes (LMMs) demonstraram potencial para raciocínio em vídeo usando Cadeia de Pensamento (CoT) textual. No entanto, eles permanecem vulneráveis a alucinações, particularmente ao processar vídeos de longa duração (>15 minutos), onde as evidências são escassas e dispersas temporalmente. Abordagens existentes, que frequentemente dependem de paradigmas estilo R1 (Ajuste Fino Supervisionado com CoT textual seguido de Otimização de Política Relativa em Grupo), são predominantemente centradas na linguagem. Elas falham em capturar adaptativamente evidências visuais-chave, frequentemente perdendo momentos detalhados ou decisivos críticos para o raciocínio. Além disso, benchmarks atuais frequentemente sofrem com contaminação de dados e viés de opções, falhando em testar rigorosamente capacidades de "Segmento de Vídeo em um Palheiro", onde a resposta reside dentro de uma janela estreita e específica de horas de filmagem.

Metodologia

O artigo introduz LongVT, um framework agêntico de ponta a ponta projetado para permitir "Pensar com Vídeos Longos" via Cadeia Multimodal Intercalada de Pensamento com Ferramentas (iMCoTT).

Mecanismo Central: iMCoTT

Inspirado nos hábitos humanos de visualização (varredura global seguida de inspeção detalhada), o LongVT permite que LMMs intercalem nativamente o raciocínio com recuperação temporal sob demanda. Em vez de reescrever cegamente o texto, o modelo:

1. Varredura Global: Realiza uma prévia grosseira do vídeo para formular uma hipótese sobre janelas temporais relevantes.
2. Invocação de Ferramenta: Chama uma ferramenta nativa crop_video(start_time, end_time) para reamostrar quadros mais detalhados do segmento hipotetizado.
3. Verificação e Auto-correção: Analisa o clipe recuperado. Se a evidência for insuficiente ou a localização incorreta, o modelo engaja em autorreflexão, refina a janela de tempo e chama a ferramenta novamente. Este loop continua até que a resposta esteja fundamentada em evidências visuais recuperadas.

Suite de Dados: VideoSIAH

Para abordar a escassez de dados de QA detalhados para raciocínio em vídeos longos, os autores curaram o VideoSIAH, um conjunto de dados em grande escala composto por:

• Dados de Treinamento: 247,9K amostras para Ajuste Fino Supervisionado (SFT) de início frio (incluindo traços aumentados com ferramentas), 1,6K amostras para Aprendizado por Reforço Agêntico (RL) e 15,4K amostras para Ajuste Fino por Reforço Agêntico (RFT).
• Benchmark de Avaliação (VideoSIAH-Eval): 652 pares de QA abertos cuidadosamente curados com validação humana no loop, especificamente projetados para testar raciocínio com evidências escassas em vídeos com média de ~1.688 segundos.

Estratégia de Treinamento em Três Estágios

1. SFT de Início Frio: Ensina o LMM base (Qwen2.5-VL-7B) a propor janelas temporais, invocar a ferramenta de corte e compor evidências multimodais. Este estágio é crítico para prevenir o colapso do RL devido à incapacidade inicial do modelo de localizar janelas ou integrar saídas de ferramentas.
2. RL Agêntico: Otimiza o modelo usando uma recompensa conjunta de fundamentação temporal e resposta. Diferentemente de trabalhos anteriores que recompensam a correção da resposta ou o alinhamento temporal separadamente, esta função de recompensa acopla os dois, incentivando explicitamente rolagens exploratórias que melhoram a localização temporal enquanto preservam a correção da resposta.
3. RFT Agêntico: Destila trajetórias de alta qualidade da etapa de RL de volta para dados supervisionados. Isso estabiliza os comportamentos agênticos aprendidos durante o RL e consolida a localização temporal detalhada e o raciocínio multi-etapa.

Contribuições Principais

1. Paradigma Agêntico de Ponta a Ponta: LongVT é o primeiro framework a intercalar nativamente CoT aumentado com ferramentas multimodais com inspeção de clipes sob demanda para vídeos de horas de duração, permitindo que LMMs realizem raciocínio ativo e em busca de evidências, em vez de consumo passivo de quadros.
2. Dataset e Benchmark VideoSIAH: A construção de um pipeline de dados escalável produzindo traços de raciocínio integrados a ferramentas diversos e de alta qualidade, e um benchmark de avaliação dedicado que mitiga a contaminação de dados e o viés de opções encontrados em benchmarks existentes.
3. Validação da Estratégia de Treinamento: O artigo valida sistematicamente que um pipeline de três estágios (SFT + RL + RFT) com uma função de recompensa conjunta produz ganhos consistentes sobre SFT ou RL isoladamente, estabelecendo uma nova linha de base state-of-the-art para raciocínio em vídeos longos.

Resultados Experimentais

Avaliado em quatro benchmarks (VideoMME, VideoMMMU, LVBench e VideoSIAH-Eval) sob regimes de amostragem tanto esparsos (64 quadros) quanto densos (512/768 quadros):

• Desempenho: LongVT-7B-RFT alcança desempenho state-of-the-art entre LMMs centrados em vídeo de código aberto. No desafiador VideoSIAH-Eval, atinge uma pontuação de 42,0, superando o segundo melhor modelo de código aberto por 6 pontos.
• Redução da Lacuna: O melhor checkpoint LongVT reduz a lacuna com modelos proprietários (por exemplo, GPT-4o) para cerca de 4 pontos em média.
• Eficiência: Apesar das interações com ferramentas em múltiplas voltas, o LongVT não incorre em latência de inferência adicional em comparação com baselines de única volta; em alguns casos, é mais rápido ao evitar gerações verbosas impulsionadas por alucinações.
• Estudos de Ablação: Os resultados confirmam que dados iMCoTT auto-curados são cruciais para SFT, a função de recompensa conjunta supera recompensas separadas e o pipeline completo de três estágios é necessário para desempenho ótimo.

Significado e Alegações

O artigo afirma que o LongVT transforma com sucesso a compreensão de vídeos longos de uma tarefa passiva para um processo ativo e em busca de evidências. Ao fundamentar cada etapa de raciocínio em evidências visuais recuperadas via chamada nativa de ferramentas, o framework mitiga significativamente alucinações e aprimora a localização temporal. Os autores postulam que este paradigma de "Pensar com Vídeos Longos", que espelha estratégias cognitivas humanas, é uma evolução necessária para um raciocínio confiável em vídeos de longa duração. O trabalho estabelece que modelos de código aberto podem alcançar capacidades de raciocínio robustas e alinhadas com humanos através de treinamento estruturado aumentado com ferramentas e dados detalhados de alta qualidade, sem depender de recuperadores externos ou modelos especialistas auxiliares.