HiMu: Hierarchical Multimodal Frame Selection for Long Video Question Answering

Resumo Técnico: HiMu

1. O Problema

A Resposta a Perguntas sobre Vídeo de Longa Duração (Long Video QA) exige raciocínio sobre contextos temporais extensos. No entanto, os Grandes Modelos de Linguagem e Visão (LVLMs) atuais possuem janelas de contexto finitas, tornando inviável processar vídeos inteiros em sua taxa de quadros nativa. Isso cria um gargalo crítico na seleção de quadros: o modelo só pode responder corretamente se receber as evidências visuais relevantes.

As abordagens existentes enfrentam um dilema agudo entre eficiência e profundidade de raciocínio:

• Métodos Baseados em Similaridade: São rápidos e computacionalmente leves, mas colapsam consultas complexas e composicionais em um único vetor denso. Isso resulta na perda da ordem de sub-eventos e de ligações multimodais (ex: correlacionar áudio de uma narração com uma ação visual específica).
• Métodos Baseados em Agentes (Iterativos): Recuperam essa estrutura através de inferências iterativas do LVLM, mas com um custo computacional proibitivo (latências 10-100x maiores), tornando-os impraticáveis para muitas aplicações.

O HiMu propõe preencher essa lacuna, oferecendo seleção de quadros composicional e multimodal com velocidade de "um único tiro" (single-shot).

2. Metodologia

O HiMu é um framework livre de treinamento (training-free) que utiliza raciocínio neuro-simbólico para decompor consultas complexas e selecionar quadros relevantes antes de qualquer chamada ao LVLM de resposta. O pipeline consiste em quatro etapas principais:

1. Decomposição Neuro-Simbólica da Consulta:

   • Um único LLM (apenas texto) recebe a pergunta e a decompõe em uma árvore lógica hierárquica.
   • As folhas da árvore são predicados atômicos (ex: "carro vermelho", "narração sobre reação química").
   • O LLM roteia cada predicado para o especialista multimodal mais adequado:
     • OVD (Detecção de Objetos): Para objetos físicos e pessoas.
     • CLIP: Para ações, cenas e conceitos visuais abstratos.
     • OCR: Para texto na tela.
     • ASR (Reconhecimento de Fala): Para conteúdo falado.
     • CLAP: Para sons ambientais e efeitos sonoros (uma inovação chave, pois a maioria dos seletores ignora áudio explícito na seleção).

2. Extração e Processamento de Sinais de Especialistas:

   • Cada especialista gera um sinal de relevância por quadro ao longo do tempo.
   • Os sinais são normalizados (usando mediana e desvio absoluto mediano) e suavizados temporalmente com kernels Gaussianos específicos para cada modalidade (ex: janelas mais largas para áudio, pois a transcrição é menos precisa temporalmente que o vídeo). Isso alinha as modalidades e resolve assincronias.

3. Composição Lógica Fuzzy (Bottom-Up):

   • A árvore é avaliada de baixo para cima usando operadores de lógica fuzzy contínuos:
     • E (And): Co-ocorrência simultânea.
     • OU (Or): Disjunção.
     • Seq (Sequência): Verifica a ordem cronológica estrita dos eventos.
     • RightAfter (Logo Depois): Detecta proximidade temporal estrita entre causa e efeito.
   • O resultado é uma curva de satisfação contínua $T(t) \in [0, 1]$ para cada quadro, indicando o quão bem a árvore lógica inteira é satisfeita naquele momento.

4. Seleção PASS (Peak-And-Spread Selection):

   • Em vez de apenas pegar os $K$ quadros com maior pontuação (o que concentraria tudo em um único evento), o algoritmo PASS identifica picos locais na curva de satisfação, garante uma distância mínima entre eles para diversidade temporal, e preenche o orçamento restante com os melhores vizinhos de cada pico. Isso garante cobertura de múltiplos eventos e contexto de movimento de curto prazo.

3. Contribuições Principais

• Framework Neuro-Simbólico: Introduz a decomposição de consultas de vídeo em árvores lógicas hierárquicas, roteando predicados para especialistas específicos e compondo sinais via lógica fuzzy para fundamentação temporal precisa.
• Pipeline de Um Único Tiro (Single-Shot): Substitui chamadas iterativas e caras ao LVLM por uma única etapa de planejamento em texto e avaliação de especialistas leves (com cache de características), eliminando a latência de inferência visual iterativa durante a seleção.
• Integração Multimodal de Áudio: Trata o áudio (fala e sons ambientais) como uma modalidade de primeira classe para seleção de quadros, algo subexplorado em pipelines anteriores.
• Nova Fronteira de Pareto: Redefine o equilíbrio entre eficiência e precisão, superando métodos baseados em similaridade e alcançando desempenho comparável a sistemas de agentes complexos com uma fração do custo computacional.

4. Resultados Experimentais

O HiMu foi avaliado em três benchmarks principais: Video-MME, LongVideoBench e HERBench-Lite.

• Precisão vs. Orçamento de Quadros:

  • Com um orçamento restrito de 16 quadros e o modelo Qwen3-VL 8B, o HiMu superou todos os seletores concorrentes (incluindo BOLT, AKS e T*).
  • No Video-MME, alcançou 78,18% de precisão com GPT-4o (16 quadros), superando sistemas de agentes como VSLS (que usou 32 quadros) e VideoChat-A1 (384 quadros).
  • Em LongVideoBench, superou o método T* em +6,70 pontos percentuais, demonstrando superioridade em consultas de referência multimodais complexas.

• Eficiência Computacional:

  • O HiMu opera com aproximadamente 10x menos FLOPs do que os sistemas baseados em agentes que operam com 32 a 512 quadros.
  • A latência amortizada (após o cache de características do vídeo) é extremamente baixa, tornando-o viável para aplicações multi-consulta.

• Análise de Componentes:

  • A ablação mostrou que a estrutura composicional (a árvore lógica) é o maior contribuinte para a precisão, superando a simples agregação de sinais.
  • A remoção do especialista ASR causou a maior degradação individual (-1,99 pp), validando a importância crítica do áudio para a seleção de quadros.

5. Significado e Impacto

O HiMu demonstra que o raciocínio composicional complexo para seleção de quadros não precisa depender de inferências iterativas e caras de LVLMs. Ao fatorar o raciocínio em um passo de planejamento de texto e uma banca de especialistas leves, o método:

1. Desacopla a complexidade do raciocínio da latência de inferência visual.
2. Democratiza o acesso a sistemas de alta precisão, permitindo que modelos menores (como Qwen3-VL 8B) comecem a competir com modelos proprietários massivos (como GPT-4o) quando equipados com uma seleção de quadros inteligente.
3. Oferece interpretabilidade: Diferente de métodos baseados em embeddings opacos, o HiMu fornece um rastro auditável de quais predicados e modalidades levaram à seleção de cada quadro, facilitando a depuração e o refinamento do sistema.

Em suma, o HiMu estabelece um novo padrão de eficiência-precisão para a compreensão de vídeos longos, provando que a seleção inteligente de evidências é mais crucial do que simplesmente aumentar o contexto de entrada do modelo.