Resumo Técnico: Decomposição de Consultas em Chamadas de Ferramentas para Recuperação de Quadros-Chave em Vídeos Longos

Definição do Problema

O artigo aborda o desafio da resposta a perguntas (QA) verificável em vídeos longos. Embora sistemas existentes possam gerar respostas, fornecer evidências visuais (quadros-chave) para verificar essas respostas é crítico para uma interação confiável entre humanos e IA. A dificuldade central reside na seleção de quadros-chave: encontrar os quadros específicos dentro de um vídeo longo que contêm as evidências necessárias para responder a uma consulta.

As abordagens existentes sofrem de duas limitações principais:

1. Pontuação de Consulta Única: Métodos que pontuam cada quadro contra uma única consulta concatenada (por exemplo, pergunta + opções) frequentemente falham em capturar consultas complexas que exigem múltiplos elementos visuais distintos.
2. Decomposição de Esquema Fixo: Métodos que decompõem consultas em esquemas fixos (por exemplo, tuplas específicas objeto-relação) carecem de flexibilidade e não conseguem aproveitar eficazmente ferramentas visuais diversas.

Além disso, avaliar a qualidade da recuperação isoladamente é difícil, porque benchmarks padrão (como Video-MME ou LongVideoBench) frequentemente contêm perguntas onde as respostas podem ser adivinhadas sem ver o vídeo, ou onde a evidência é ambígua em múltiplos intervalos de tempo.

Metodologia: ToolMerge

Os autores propõem o ToolMerge, um framework de recuperação baseado em decomposição e fusão. Em vez de pontuar quadros contra uma consulta monolítica, o ToolMerge divide a consulta em sub-consultas independentes, executa-as usando ferramentas visuais especializadas e leves e funde os resultados.

1. Decomposição Baseada em Planejador

Um planejador baseado em LLM (zero-shot ou ajustado por RL) analisa a pergunta de entrada e as opções de resposta. Ele não responde à pergunta, mas gera:

• Chamadas de Ferramenta: Um conjunto de consultas independentes para ferramentas visuais específicas.
• Lógica Booleana: Instruções sobre como combinar os resultados dessas chamadas (usando operadores E ou OU).

2. Ferramentas Visuais

O sistema utiliza modelos de visão leves em vez de legendagem cara por quadro:

• SigLIP-2: Realiza correspondência imagem-texto de quadro inteiro para capturar evidências em nível de cena (ações, configurações, layout espacial).
• T-REN: Realiza correspondência de características de região alinhada ao texto para localizar entidades ou objetos específicos.
• OCR: Executa automaticamente em quadros amostrados para detectar texto na tela, com resultados filtrados por um juiz LLM leve para relevância.

3. Estratégia de Fusão

Como diferentes ferramentas produzem pontuações em escalas diferentes, o ToolMerge funde ranks em vez de pontuações brutas:

• Cada quadro recebe um rank (1 = melhor) dentro da saída de cada ferramenta.
• Operador E: Seleciona o pior (máximo) rank entre as ferramentas. Isso garante que um quadro seja classificado altamente apenas se todos os elementos necessários aparecerem juntos.
• Operador OU: Seleciona o melhor (mínimo) rank. Isso é usado quando diferentes ferramentas podem encontrar evidências válidas alternativas.
• Integração de OCR: Quadros contendo texto relevante são inseridos no rank 1 (prioridade máxima) após verificação, pois carregam menos ambiguidade do que correspondências baseadas em similaridade.

4. Seleção Final

Um algoritmo guloso de Supressão Não Máxima (NMS) seleciona os quadros top-$k$ com base na classificação fundida, impondo um intervalo temporal mínimo ($\tau$) para garantir diversidade. Esses quadros são então passados para um Modelo Visão-Linguagem (VLM) "respondedor" para gerar a resposta final.

Construção de Benchmark: Molmo-2 Moments (M2M)

Para avaliar rigorosamente a recuperação sem o ruído de falhas de raciocínio, os autores introduzem o Molmo-2 Moments (M2M).

• Construção: Derivado do Conjunto de Dados de Legendagem Molmo-2, onde anotadores descrevem clipes específicos de 10 a 20 segundos.
• Ancoragem: Cada pergunta é gerada a partir de uma legenda específica, garantindo que a resposta de verdade esteja ancorada a um intervalo de tempo específico por construção.
• Pipeline de Filtragem: Um pipeline automatizado e verificado por humanos em 8 etapas garante que as perguntas sejam:
  • Inrespondíveis por modelos apenas de texto (filtro cego).
  • Inrespondíveis por amostragem uniforme (filtro de necessidade).
  • Difíceis o suficiente para exigir recuperação direcionada (filtro de dificuldade).
  • Livres de metalinguagem ou dependências apenas de áudio.
• Modos de Avaliação: O M2M suporta Recuperação de Pergunta (HIT@K), Recuperação de Legenda (recuperar quadros para a legenda de origem) e Precisão de QA a jusante.

Contribuições Principais

1. ToolMerge: Um método sem treinamento (ou aprimorável por RL) que decompõe consultas em chamadas de ferramentas e funde classificações usando operadores booleanos, permitindo o uso flexível de diferentes ferramentas visuais.
2. Molmo-2 Moments (M2M): Um benchmark onde cada pergunta está estritamente ancorada a um intervalo de tempo de verdade, isolando o desempenho de recuperação das capacidades de raciocínio.
3. Avaliação Abrangente: Um framework de avaliação em três partes cobrindo QA em vídeos longos, recuperação direta de perguntas e recuperação de legendas, demonstrando que a decomposição é particularmente eficaz para consultas complexas e multi-elemento.

Resultados Experimentais

Os autores avaliaram o ToolMerge contra baselines (Amostragem Uniforme, SigLIP-Q) e selecionadores de quadros-chave de última geração (AKS, BOLT, LIF, WFS) em LongVideoBench, Video-MME e M2M.

• QA em Vídeos Longos: O ToolMerge alcançou a maior precisão em todos os orçamentos de quadros testados (8 e 32 quadros) e modelos respondedores (Qwen3-VL, GPT-4o) tanto no LongVideoBench quanto no Video-MME. Notavelmente, a simples baseline SigLIP-Q (top-k de consulta única) provou ser surpreendentemente competitiva, frequentemente superando métodos de decomposição mais complexos como o LIF.
• Recuperação M2M: No benchmark M2M, ToolMerge e SigLIP-Q foram os melhores desempenhos. O ToolMerge mostrou uma vantagem distinta na Recuperação de Legenda, superando o SigLIP-Q em 5% no HIT@32. Isso sugere que, para consultas descrevendo múltiplos elementos visuais co-ocorrentes (como em legendas), a abordagem de decomposição multi-ferramenta captura evidências que métodos de consulta única perdem.
• Melhoria do Planejador: Aplicar GRPO (Aprendizado por Reforço) ao planejador usando uma recompensa baseada em recall (verificando se os quadros selecionados caem no intervalo de verdade) melhorou ainda mais o desempenho, particularmente em métricas de recuperação.
• Eficiência: O método é significativamente mais eficiente do que abordagens baseadas em legendagem. Processar um vídeo de 10 minutos com ToolMerge levou aproximadamente 3,4x menos tempo do que gerar legendas para todo o vídeo.

Significado e Alegações

O artigo afirma que decomposição e fusão é um framework robusto para recuperação de quadros-chave, especialmente para consultas que exigem a presença simultânea de múltiplos elementos visuais.

• Recuperação vs. Raciocínio: Ao ancorar perguntas a intervalos específicos, o M2M demonstra que a qualidade da recuperação está fortemente correlacionada com a precisão de QA a jusante quando o ônus do raciocínio é minimizado.
• Diversidade de Ferramentas: Os resultados indicam que, embora a similaridade simples de consulta única (SigLIP-Q) seja uma baseline forte, decompor consultas para aproveitar ferramentas especializadas (como T-REN para objetos e SigLIP para cenas) fornece uma vantagem mensurável para consultas complexas e descritivas (legendas).
• Verificabilidade: O sistema fornece um caminho direto para IA verificável, permitindo que os usuários inspecionem os quadros-chave específicos que sustentam uma resposta, em vez de depender de resumos de texto opacos.

Os autores permanecem modestos, notando limitações como o conjunto fixo de ferramentas (excluindo compreensão de áudio) e a dependência das capacidades de raciocínio do respondedor uma vez que os quadros corretos são encontrados. Eles não afirmam resolver o problema geral da compreensão de vídeos longos, mas sim fornecer um mecanismo específico, eficiente e verificável para o componente de recuperação.