Incentivizing Vision Language Models to Search for Long Video Question Answering

2. Busca: Realiza consultas de busca em linguagem natural via ferramentas <search> ou <search subtitle> para recuperar clipes candidatos.
3. Observação: Recebe um orçamento limitado de quadros (16 quadros por turno) dos clipes recuperados.
4. Refinamento: Atualiza seu contexto com base na evidência recuperada antes de formular a resposta final.

O sistema utiliza uma infraestrutura de indexação dupla:

• Índice Visual Semântico: Os vídeos são segmentados em clipes de 8 segundos e codificados usando o codificador ViCLIP.
• Índice de Legendas: Transcrições de texto são mapeadas para janelas de quadros exatas, permitindo que o agente busque por diálogos falados específicos ou entidades nomeadas que as incorporações visuais podem perder.

2.2 VETL: Evidência Visual via Lógica Temporal

Para resolver o problema da esparsidade de recompensa, os autores propõem o VETL, um pipeline neuro-simbólico que faz a ponte entre a linguagem natural aberta e a verificação visual discreta.

• Geração de Especificação: Consultas complexas de usuários são compiladas em especificações formais de Lógica Temporal (TL). Um gerador de LLM propõe uma fórmula TL $\phi$ sobre um conjunto de primitivas visuais atômicas (ex: "mulher", "derrama água", "adiciona morango"). Um modelo de julgamento verifica esta especificação quanto à cobertura de entidades e fidelidade temporal.
• Desacoplamento de Semântica e Tempo: A especificação TL desacopla os eventos de ancoragem visual (primitivas) de suas dependências temporais. Isso transforma a questão de longo horizonte em um checklist exato de elementos visuais necessários.
• Sinal de Recompensa Denso: Durante o pós-treinamento por RL, o contexto de vídeo recuperado pelo agente é avaliado contra a especificação TL. Um verificador visual determinístico (usando ViCLIP) detecta se primitivas específicas estão presentes nos quadros recuperados. A recompensa $R_{VETL}$ é calculada como a fração de primitivas necessárias observadas com sucesso ao longo de toda a trajetória. Isso fornece feedback denso e passo a passo, incentivando o agente a reunir evidências específicas em vez de apenas adivinhar a resposta final.

2.3 Aprendizado por Reforço

O framework emprega Otimização de Política Relativa de Grupo (GRPO) para o pós-treinamento. A recompensa total é uma combinação ponderada da precisão da resposta final (Correspondência Exata, $R_{EM}$) e da recompensa de evidência VETL ($R_{VETL}$):
$$R = \lambda_1 R_{EM} + \lambda_2 R_{VETL}$$
onde $\lambda_1=0.7$ e $\lambda_2=0.3$. Este objetivo encoraja o modelo a aprender uma política de busca que verifica rigorosamente o contexto antes de responder.

3. Principais Contribuições

O artigo delineia quatro contribuições primárias:

1. Framework VSeek: Um sistema agente que converte LVQA em um processo de descoberta ativo e de múltiplos turnos usando linguagem natural como a interface de busca primária, contornando a necessidade de predição rígida de carimbos de tempo (timestamps).
2. Pipeline VETL: Um método neuro-simbólico que converte questões abertas em especificações de lógica temporal verificáveis, criando efetivamente "testes de unidade visuais" para a construção de contexto.
3. Recompensas de RL Verificadas: Um mecanismo de modelagem de recompensa inovador que pontua a trajetória de coleta de evidências de um agente contra as primitivas visuais extraídas, permitindo feedback verificável e passo a passo além da supervisão baseada apenas no resultado.
4. Validação Empírica: Demonstração de que a otimização para a construção de contexto verificada aumenta significativamente o desempenho do raciocínio de agentes de longo horizonte.

4. Resultados Experimentais

Os autores avaliaram o VSeek em múltiplos benchmarks in-domain (LongVideoBench, MLVU, Video-MME) e out-of-domain (LVBench, CGBench-mini).

• Ganhos de Desempenho: Comparado aos modelos base (Qwen3-VL-4B-Thinking), as variantes do VSeek mostraram melhorias significativas. Especificamente, o VSeek-VETL melhorou os escores Pass@1 em até 8% e os escores Pass@4 em 15% em benchmarks de compreensão de vídeo longo.
• Efetividade da Recompensa: A introdução das recompensas VETL proporcionou uma vantagem distinta sobre modelos treinados apenas com recompensas de Correspondência Exata (VSeek-EM), particularmente em datasets in-domain onde a cobertura de evidências é crítica.
• Robustez em Vídeo Longo: À medida que a duração do vídeo aumentava (ex: >10 minutos), as variantes do VSeek mantiveram maior estabilidade de raciocínio em comparação com baselines como VideoTree e Naive RAG. O VSeek-VETL especificamente aprendeu a produzir palavras-chave de busca altamente específicas, evitando as consultas genéricas que frequentemente levam a clipes irrelevantes.
• Eficiência: As variantes do VSeek alcançaram desempenho de estado da arte processando significativamente menos quadros em média (aproximadamente 30–32 quadros) em comparação com o orçamento fixo de 64 quadros de VLMs padrão e baselines de RAG.
• Robustez Algorítmica: Os benefícios das recompensas verificadas foram consistentes entre os algoritmos GRPO e RLOO, embora uma degradação tenha sido observada com o GSPO.

5. Significância e Alegações

O artigo afirma que o caminho a seguir para o QA de vídeo longo deve espelhar os avanços no raciocínio de LLMs para matemática e programação, onde o progresso é catalisado por recompensas verificáveis.

• Mudança do Passivo para o Ativo: O VSeek move o campo do amostragem passiva e uniforme para a busca ativa e iterativa de evidências, reconhecendo que humanos não dependem de amostragem aleatória de quadros para documentos longos.
• Preenchendo a Lacuna de Verificação: Ao introduzir o VETL, os autores afirmam ter resolvido o gargalo crítico de aplicar RL ao vídeo: a falta de um sinal para verificar a construção do contexto. Isso permite treinar agentes que são incentivados a encontrar a evidência visual "correta", não apenas a resposta final "correta".
• Fundação para Futuros Agentes: Os autores posicionam o VSeek e o VETL como um passo fundamental para agentes de vídeo mais fortes, sugerindo que a otimização explícita para o comportamento de busca de evidência verificável é essencial para escalar a compreensão de vídeos longos.

O artigo conclui que, embora existam desafios (como limitações de busca sequencial e gargalos de recuperadores), a combinação de busca agente e verificação neuro-simbólica oferece um caminho robusto para resolver tarefas complexas de raciocínio de vídeo de longo horizonte.