Resumo Técnico: AVOC – Melhorando a Compreensão de Áudio e Vídeo em Nível de Hora via Compressão de Tokens Inspirada em Recuperação

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) alcançaram sucesso significativo em tarefas de áudio e vídeo de curta duração. No entanto, estender essas capacidades para a compreensão de áudio e vídeo de longa duração em nível de hora enfrenta dois gargalos primários:

1. Limitações da Janela de Contexto: As sequências massivas de tokens geradas por fluxos de vídeo de longa duração e áudio de alta taxa de amostragem excedem as janelas de contexto dos atuais MLLMs.
2. Redundância de Informação: Fluxos de áudio e vídeo brutos contêm redundância substancial. Estratégias de redução ingênuas (por exemplo, amostragem esparsa uniforme) frequentemente perdem eventos curtos e críticos, enquanto a amostragem densa exaure os orçamentos de contexto, levando à truncamento de sequências e à diluição de pistas essenciais.

Métodos de compressão existentes para Omni-Modal LLMs frequentemente dependem de designs assimétricos e unidirecionais (por exemplo, usando o áudio para podar o vídeo ou vice-versa). Essas abordagens correm o risco de descartar informações críticas se a modalidade "guia" fornecer sinais fracos ou esparsos, falhando em capturar a natureza complexa e interdependente do conteúdo multimodal do mundo real, como filmes ou reuniões.

2. Metodologia: Estrutura AVOC

Os autores propõem o AVOC, um framework que reformula a compressão de tokens multimodais como um problema de recuperação top-K. Dado um orçamento de contexto fixo $K$ e um grande conjunto de tokens candidatos, o objetivo é recuperar um subconjunto compacto que melhor suporte a resposta a uma consulta do usuário. O AVOC integra três critérios clássicos de Recuperação de Informação (IR) em um pipeline de compressão unificado e treinável, posicionado entre os codificadores de modalidade e o backbone do LLM.

2.1 Componentes Principais

O módulo de compressão opera em três estágios para gerar e selecionar tokens:

• Relevância (Pontuação de Cross-Attention Guiada por Texto):

  • Mecanismo: Trata a consulta de texto do usuário como a consulta de busca e os tokens multimodais como o corpus candidato.
  • Implementação: Computa pontuações de cross-attention entre os embeddings de texto e os embeddings de tokens multimodais. A pontuação de relevância de um token é a média do logit de atenção recebido de todos os tokens textuais.
  • Objetivo: Priorizar tokens pertinentes à consulta específica do usuário.

• Importância (Pontuação de Cross-Attention Bidirecional Vídeo-Áudio):

  • Mecanismo: Captura a informatividade intrínseca independente da consulta (agnóstica à consulta), abordando casos onde a consulta é esparsa em relação ao rico conteúdo audiovisual.
  • Implementação: Dentro de cada bloco temporal, computa cross-attention bidirecional entre tokens de vídeo e áudio. Tokens que interagem fortemente com a modalidade oposta recebem pontuações mais altas.
  • Objetivo: Garantir que regiões semanticamente densas (por exemplo, uma cena com diálogos e ação) sejam retidas mesmo que não sejam explicitamente consultadas.

• Diversidade (Maximal Marginal Relevance Temporalmente Atenta - TA-MMR):

  • Mecanismo: Evita a seleção de tokens adjacentes redundantes, preservando eventos semanticamente semelhantes, mas temporalmente distintos.
  • Implementação: Um estágio de reclassificação usando um objetivo MMR modificado. Diferente do MMR padrão, o TA-MMR restringe a penalidade de redundância a uma janela temporal local ($W$). Ele penaliza a similaridade apenas entre tokens dentro de $[\tau_i - W, \tau_i + W]$.
  • Objetivo: Suprimir tokens adjacentes informacionalmente repetitivos (por exemplo, cenas estáticas) sem suprimir eventos recorrentes que ocorrem em diferentes momentos.

2.2 Seleção e Treinamento

• Alocação de Orçamento: O orçamento total de tokens $K$ é dividido em orçamentos específicos por modalidade ($K_{video}, K_{audio}$) para garantir uma representação cross-modal equilibrada. O TA-MMR é aplicado independentemente dentro de cada modalidade.
• Treinamento Diferenciável: Para permitir o treinamento de ponta a ponta, a seleção top-K discreta é aproximada usando Gumbel-Softmax com um Estimador de Passagem Direta (Straight-Through Estimator). O re-ranking TA-MMR é desativado durante o treinamento (devido à sua natureza gulosa e iterativa) e ativado apenas durante a inferência.
• Treinamento em Dois Estágios:
  1. Estágio 1: Fine-tuning do backbone do LLM em dados sem o módulo de compressão para estabelecer um sinal de gradiente estável.
  2. Estágio 2: Treinamento conjunto do módulo de compressão, inicialmente randomizado, e o LLM.

3. Principais Contribuições

1. Perspectiva Inovadora: Reformular a compressão de tokens multimodais como um problema de recuperação top-K, permitindo a adaptação de princípios clássicos de IR (relevância, importância, diversidade) ao domínio áudio-visual.
2. Módulo de Compressão Treinável: O design de um módulo unificado que instancia três critérios de IR via mecanismos personalizados: cross-attention guiada por texto, cross-attention bidirecional e MMR Temporalmente Atenta.
3. Capacidade Omni-Modal: Desenvolvimento de um LLM Omni-Modal (AVOC) capaz de processar fluxos de áudio e vídeo de nível de hora, alcançando tanto compreensão holística quanto recuperação detalhada sob orçamentos de contexto rigorosos.

4. Resultados Experimentais

Os autores avaliaram o AVOC em múltiplos benchmarks de áudio e vídeo de longa duração e em uma tarefa customizada de Agulha no Palheiro (Needle-in-a-Haystack - NIAH).

• Desempenho em Benchmarks:

  • OmniVideoBench: O AVOC alcançou 39,8% de acurácia média no subconjunto de (10, 30] min e 42,3% no total, superando o segundo melhor modelo em 4,9 e 5,5 pontos, respectivamente.
  • LVOmniBench: O AVOC alcançou 41,3% no subset Médio e 35,5% no subset Alto, com uma média geral de 40,3%, superando o segundo melhor por 5,5 pontos.
  • WorldSense: O AVOC alcançou 52,6% de acurácia, uma melhoria de 1,7 ponto sobre o segundo melhor.
  • Observação: Os ganhos de desempenho escalam com a duração do vídeo, indicando que o método é particularmente eficaz para conteúdos ultra-longos onde a redundância é mais alta.

• Agulha no Palheiro de Áudio-Vídeo (AV-NIAH):

  • O AVOC demonstrou capacidades robustas de recuperação para "agulhas" (palavras-chave secretas) escondidas em vídeos de até 3600 segundos (1 hora) de duração.
  • Ao contrário das baselines (ex: OmniZip) que mostraram degradação significativa de acurácia além de 2000–3000 segundos, o AVOC manteve alta acurácia através de toda a grade de profundidade-duração.

• Estudos de Ablação:

  • Remover qualquer componente individual (Relevância, Importância ou Diversidade) resultou em degradação de desempenho, confirmando sua natureza complementar.
  • A proporção ideal de orçamento de modalidade foi encontrada como 2:1 (Vídeo:Áudio), refletindo a maior densidade de informação de pistas visuais nos benchmarks testados.
  • Os hiperparâmetros do TA-MMR ($\lambda=0,15, W=3$) foram críticos; definir o raio da janela como infinito (degenerando para o MMR padrão) causou quedas de desempenho, validando a necessidade de consciência temporal.

• Eficiência:

  • O módulo de compressão adiciona overhead mínimo (aprox. 1,8s para retenção total).
  • A compressão agressiva (razão de retenção $\rho=0,1$) reduziu a latência de prefill em quase 9x (de 4,45s para 0,5s) comparado ao backbone sem compressão.

5. Significância e Alegações

O artigo afirma que o AVOC representa um passo significativo em direção a LLMs Omni-Modais capazes de raciocinar sobre conteúdo multimodal rico de uma hora de duração. Ao ir além de estratégias de compressão rígidas e assimétricas para uma abordagem simétrica inspirada em recuperação, o AVOC aborda o conflito fundamental entre as limitações da janela de contexto e a redundância de informação. Os autores postulam que seu framework permite que os modelos mantenam uma compreensão robusta e capacidades de recuperação detalhadas em cenários do mundo real (ex: filmes, reuniões, tutoriais) que anteriormente eram inacessíveis devido às restrições de comprimento de sequência.