Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding

1. O Problema

A aplicação de Modelos Multimodais Grandes (LMMs) à compreensão de vídeos de longa duração enfrenta duas barreiras principais:

1. Limitação de Contexto: Os LMMs possuem um limite de tokens de contexto, tornando impossível processar todos os quadros de um vídeo longo diretamente.
2. Custo Computacional: Processar tokens de vídeo densos é computacionalmente proibitivo.

A abordagem padrão atual é a amostragem uniforme (selecionar quadros em intervalos fixos). Embora eficiente, ela é "agnóstica à consulta" (query-agnostic), frequentemente selecionando quadros redundantes e omitindo momentos cruciais específicos para a pergunta.

Métodos recentes tentaram resolver isso com seleção de quadros consciente da consulta (query-aware), mas esses métodos geralmente exigem mecanismos de busca complexos e caros para todo o vídeo, gerando uma sobrecarga computacional significativa. O artigo questiona se essa complexidade é necessária para todos os tipos de perguntas.

2. Metodologia: O Framework DIG

Os autores propõem o DIG (Divide, then Ground), um framework de seleção de quadros sem treinamento (training-free) que adapta sua estratégia dinamicamente com base no tipo de consulta.

O fluxo de trabalho do DIG é dividido nas seguintes etapas:

A. Identificação do Tipo de Consulta

O sistema utiliza um LLM para classificar a pergunta do usuário em uma de duas categorias:

1. Consulta Global (Global Query - GQ): Requer uma compreensão holística do vídeo (ex: "Qual é o tema deste vídeo?", "Resuma o conteúdo").
2. Consulta Localizada (Localized Query - LQ): Foca em segmentos temporais específicos ou eventos discretos (ex: "Como o personagem X caminha?", "O que acontece após a explosão?").

B. Estratégias de Amostragem Adaptativas

Com base na classificação, o DIG aplica uma das duas rotas:

• Para Consultas Globais:

  • Utiliza amostragem uniforme padrão.
  • Justificativa: Os experimentos mostram que consultas globais se beneficiam de cobertura temporal ampla e a amostragem uniforme é eficiente e suficiente, evitando o custo de busca complexa.

• Para Consultas Localizadas:

  • Ativa um pipeline especializado de múltiplos estágios para extrair quadros relevantes:
    1. Seleção de Quadros Adaptativa ao Conteúdo (CAFS): Utiliza o DINOv2 para extrair características visuais e calcular a dissimilaridade entre quadros consecutivos. Identifica picos de distância (mudanças de cena/semântica) e seleciona quadros representativos ("r-frames") no meio dos segmentos estáveis. Isso cria um conjunto compacto e semanticamente rico.
    2. Atribuição de Recompensa (Reward Assignment): O próprio LMM avalia os "r-frames" selecionados, atribuindo uma pontuação de relevância (0-100) baseada na utilidade direta para a pergunta e no potencial de fornecer contexto adjacente.
    3. Refinamento do Vídeo: Um processo iterativo sem parâmetros fixos seleciona os "r-frames" com recompensas acima da média. Em seguida, combina os segmentos de vídeo ao redor desses quadros (janela temporal) para criar um vídeo refinado e condensado.
    4. Amostragem Final: Quadros são uniformemente amostrados deste vídeo refinado para entrada no LMM.

3. Contribuições Principais

1. Tipologia de Consultas: Identificação e validação de que a eficácia da seleção de quadros depende criticamente da distinção entre consultas globais e localizadas.
2. Framework DIG: Proposta de um método sem treinamento que combina a eficiência da amostragem uniforme (para GQ) com um pipeline de seleção inteligente (para LQ), eliminando a necessidade de busca exaustiva em todo o vídeo para todos os casos.
3. Desempenho Robusto em Escala: Demonstração de que o DIG supera consistentemente as linhas de base (baselines) existentes, mantendo ganhos de performance mesmo quando o número de quadros de entrada é escalado para 256 ou mais.

4. Resultados Experimentais

Os autores avaliaram o DIG em três benchmarks de vídeo de longa duração: MLVU, LongVideoBench e VideoMME, utilizando modelos como Qwen2.5-VL (7B e 32B) e InternVL3.

• Superioridade Geral: O DIG superou consistentemente a amostragem uniforme e métodos competitivos (como AKS e Q-Frame) em todos os benchmarks.
• Escalabilidade: Enquanto métodos existentes frequentemente degradam o desempenho à medida que o número de quadros aumenta (devido ao ruído de quadros irrelevantes), o DIG mantém ganhos de desempenho robustos até 256 quadros.
• Análise por Tipo de Consulta:
  • Para Consultas Globais, a amostragem uniforme performou tão bem quanto o pipeline complexo, confirmando que a busca adicional é desnecessária e ineficiente para esses casos.
  • Para Consultas Localizadas, o pipeline do DIG mostrou ganhos significativos, superando a amostragem uniforme em grande margem ao focar nos segmentos temporais corretos.
• Eficiência: O uso de um módulo de identificação de consulta permite economizar tempo computacional significativo (evitando o pipeline caro para consultas globais), oferecendo um excelente equilíbrio entre custo e precisão.

5. Significado e Impacto

Este trabalho desafia a premissa de que mecanismos de busca complexos são universalmente necessários para a compreensão de vídeo. Ao introduzir uma abordagem híbrida e adaptativa, o DIG demonstra que:

• A eficiência pode ser maximizada sem sacrificar a precisão, desde que a estratégia de amostragem corresponda à natureza da tarefa.
• A distinção entre "visão geral" e "detalhe específico" é fundamental para otimizar o processamento de vídeo em LMMs.
• O framework oferece uma solução prática e plug-and-play para melhorar a capacidade de raciocínio de modelos multimodais em vídeos longos, sendo especialmente eficaz em cenários onde o contexto é vasto e a informação relevante é esparsa.

Em resumo, o DIG representa um avanço na eficiência e eficácia da compreensão de vídeo, provando que "dividir e conquistar" (separar consultas globais de localizadas) é a chave para escalar modelos multimodais para vídeos de longa duração.