Resumo Técnico: VideoSearcher

Definição do Problema

A compreensão de vídeo tem operado tradicionalmente sob um paradigma de evidência fechada, onde os modelos assumem que todas as informações necessárias residem nos quadros de vídeo de entrada. Embora eficaz para a percepção espaço-temporal, essa abordagem é insuficiente para cenários do mundo real, onde os vídeos frequentemente fornecem apenas âncoras visuais (ex: um logotipo, uma pessoa ou um ponto de referência), enquanto a resposta final exige a recuperação de conhecimento externo de fontes abertas da web.

Essa lacuna define a emergente tarefa de Pesquisa Profunda em Vídeo (VDR - Video Deep Research). A VDR exige que os agentes:

1. Localizem momentos relevantes e detalhes visuais finos através de dinâmicas temporais evolutivas.
2. Ancorem (Grounding) essas pistas visuais para construir consultas multimodais.
3. Recuperem evidências de fontes abertas da web (texto, imagens, notícias).
4. Sintetizem respostas integrando evidências ancoradas no vídeo com conhecimento externo.

Os agentes de busca multimodal existentes são projetados primariamente para imagens estáticas ou dependem de recuperação centrada em texto, que descarta informações visuais cruciais durante o processo de busca. Além disso, os benchmarks atuais de VDR carecem de uma avaliação rigorosa de ancoragem de informação de vídeo em mundo aberto e de raciocínio baseado em busca multimodal.

Metodologia: VideoSearcher

Para abordar essas limitações, os autores propõem o VideoSearcher, um framework de agente de ciclo fechado que capacita Modelos de Linguagem-Visão (VLMs) com raciocínio de múltiplas ferramentas para VDR.

1. Framework de Agente e Conjunto de Ferramentas

O VideoSearcher unifica localização temporal, foco espacial e busca multimodal dentro de uma única trajetória de raciocínio. O agente opera com cinco ferramentas específicas:

• choose_frames: Seleciona um intervalo temporal grosseiro.
• find_frame: Localiza um quadro-chave específico.
• zoom_in: Inspeciona uma região específica (caixa delimitadora) dentro de um quadro.
• web_search: Recupera evidências textuais da web.
• image_search: Realiza recuperação visual usando um quadro ou região recortada.

O agente estreita iterativamente a linha do tempo do vídeo, foca em regiões informativas, recupera evidências multimodais e sintetiza a resposta final.

2. Pipeline de Construção de Dados

Os autores construíram um pipeline de síntese de dados centrado em vídeo para gerar dados de treinamento de alta qualidade:

• Aquisição Baseada em Entidades: Entidades visuais principais são extraídas de conjuntos de dados de QA imagem-texto intensivos em conhecimento (ex: FVQA, DeepEyes) e validadas cruzadamente usando grandes modelos (Qwen3.5, Kimi-K2.5) para garantir confiabilidade. Essas entidades servem como alvos para recuperar vídeos relevantes.
• Normalização e Alinhamento: Os vídeos são reamostrados para 1 FPS com marcadores de quadro. Os pares originais de QA são reescritos para se alinharem ao contexto do vídeo.
• Mineração de Amostras Difíceis: Amostras que os modelos de linha de base consistentemente falham em resolver são retidas para enfatizar a localização temporal e a aquisição de evidência externa.
• Síntese de Trajetória: Trajetórias de raciocínio de múltiplas ferramentas são sintetizadas usando uma abordagem hierárquica, seguidas de filtragem rigorosa para remover alucinações, cadeias de raciocínio quebradas ou invocações de ferramentas inválidas.

3. Otimização de Política de Sequência de Dois Ramos (BiSPO)

Para otimizar trajetórias de raciocínio de longo horizonte, os autores introduzem o BiSPO, um algoritmo de aprendizado por reforço (RL) construído sobre o GSPO.

• Otimização Desacoplada: O BiSPO separa a otimização da precisão da resposta do comportamento de invocação de ferramentas. Isso evita que o modelo aprenda a adivinhar respostas corretamente enquanto usa ferramentas de forma ineficiente, ou vice-versa.
• Dois Ramos de Recompensa:
  • Ramo de Precisão: Avalia a correção da resposta, conformidade de formato e restrições de dependência de ferramenta.
  • Ramo de Comportamento de Ferramenta: Ativo apenas para trajetórias com respostas corretas. Ele emprega uma recompensa de portão em forma de sino que incentiva a observação suficiente do vídeo e a recuperação externa, ao mesmo tempo em que penaliza chamadas de ferramentas excessivas ou redundantes.
• Clipping de Nível de Sequência: Para lidar com a instabilidade do clipping de nível de token em trajetórias longas, o BiSPO aplica amostragem de importância e clipping em nível de sequência.

4. Benchmark: VideoSearch-QA (VSQA)

Os autores introduzem o VideoSearch-QA, o primeiro benchmark projetado especificamente para avaliar a ancoragem de informação de vídeo em mundo aberto e o raciocínio baseado em busca multimodal. Ele cobre diversos domínios (pontos de referência, geografia, cultura, esportes) e exige que os agentes capturem informações visuais em vídeos dinâmicos para realizar buscas na web aberta e raciocínio baseado em evidências.

Principais Contribuições

1. Framework VideoSearcher: O primeiro agente de ciclo fechado que integra localização temporal, foco espacial e busca multimodal para vídeos dinâmicos.
2. Algoritmo BiSPO: Um algoritmo de RL de dois ramos que desacopla a precisão da resposta da invocação de ferramentas, fornecendo sinais de aprendizado estáveis para raciocínio intensivo em conhecimento.
3. Benchmark VideoSearch-QA: Um benchmark anotado manualmente (278 amostras) para avaliar agentes de VDR em cenários de mundo aberto.
4. Pipeline de Dados: Um pipeline rigoroso para sintetizar trajetórias de raciocínio de múltiplas ferramentas de alta qualidade a partir de conjuntos de dados de QA imagem-texto existentes.

Resultados Experimentais

Experimentos extensivos foram conduzidos no VideoDR, VideoSearch-QA e vários benchmarks de busca multimodal e compreensão de vídeo.

• Benchmarks Orientados à Busca: O VideoSearcher supera significativamente as bases de agentes de código aberto anteriores (incluindo Qwen3-VL, Webwatcher, MMSearch-R1) e aproxima-se do desempenho de modelos proprietários (GPT-4o, Gemini-3-Pro) no VideoDR e VSQA. Notavelmente, ele generaliza bem para benchmarks de busca multimodal geral (MMSearch, HR-MMSearch), apesar de ter sido treinado primariamente em dados baseados em vídeo.
• Compreensão de Vídeo Geral: Em benchmarks como MMVU, TempCompass e VideoMMMU, o VideoSearcher mantém capacidades de raciocínio competitivas, demonstrando que o treinamento de agente não degrada as capacidades gerais de compreensão de vídeo.
• Estudos de Ablação:
  • Design de RL: O BiSPO com o revestimento completo de recompensa de ferramenta em forma de sino supera variantes de ramo único (GRPO, GSPO) e recompensas de ferramenta monotônicas, confirmando a necessidade de otimização desacoplada e do design de recompensa em forma de sino.
  • Necessidade de Ferramentas: Remover ferramentas de localização ou ferramentas de busca leva a quedas significativas de desempenho, provando que a ancoragem visual e a recuperação externa são complementares e essenciais para a VDR.

Significância e Alegações

O artigo afirma que o VideoSearcher representa uma mudança de paradigma da percepção de contexto fechado para a exploração de evidências em mundo aberto na compreensão de vídeo. Ao formalizar a VDR e fornecer o primeiro benchmark e framework de agente dedicado, o trabalho aborda o gargalo crítico de implantar VLMs em aplicações do mundo real, onde os vídeos servem como pontos de entrada para recuperar e verificar informações em ambientes extensos da web.

Os autores posicionam o VideoSearcher como um passo em direção à compreensão de vídeo robusta que requer tanto a modelagem de contexto global quanto a percepção espaço-temporal fina, permitindo que agentes ancorem progressivamente pistas visuais, recuperem evidências relevantes e sintetizem respostas em cenários complexos de mundo aberto.

Limitações

Os autores reconhecem várias limitações:

• Dependência de Ferramentas Externas: A qualidade da resposta depende da latência, cobertura e estabilidade das APIs de busca de imagem/web.
• Custo Computacional: O RL online com uso de ferramentas de múltiplos turnos é computacionalmente caro devido aos contextos longos e rollouts repetidos.
• Escopo: O foco atual é em QA visual/vídeo orientado à busca. Pode não cobrir totalmente tarefas que exigem localização temporal densa, compreensão de áudio, interação incorporada ou conhecimento de domínio especializado, particularmente dado o uso de representação de quadro de 1-fps no treinamento.
• Avaliação: A avaliação de código aberto depende de juízes LLM, o que pode introduzir ruído para respostas ambíguas.