Resumo Técnico: O-MARC: Destilação de Compressão Omni-Aumentada por Memória para Compreensão Eficiente de Vídeo

1. Declaração do Problema

Os modelos de linguagem grandes (LLMs) omnimodais emergiram como uma direção promissora para a unificação da compreensão de áudio, visual e linguagem. No entanto, sua inferência permanece custosa devido à natureza intensiva em tokens de ambas as modalidades de áudio e vídeo. O processamento conjunto de quadros de vídeo e streams de áudio gera longas sequências multimodais, levando a uma sobrecarga substancial de memória e inferência lenta, particularmente para vídeos longos.

Embora a compressão de tokens seja uma solução natural, estendê-la para entradas audiovisuais não é trivial. Diferentemente da compressão apenas visual, a compressão audiovisual deve lidar com duas modalidades com padrões de redundância distintos: tokens de vídeo frequentemente exibem redundância espacial e temporal, enquanto tokens de áudio podem codificar pistas breves, mas decisivas. Crucialmente, a importância de cada modalidade é frequentemente interdependente; um som ganha significado quando ancorado em uma cena visível, e um evento visual pode permanecer ambíguo sem seu áudio correspondente. Métodos de compressão existentes frequentemente comprimem modalidades isoladamente, potencialmente removendo evidências cross-modais necessárias para raciocínio preciso.

Além disso, benchmarks existentes falham em isolar completamente a associação áudio-visual em conteúdo gerado por usuários (UGC) ruidoso. Muitos benchmarks atuais avaliam o raciocínio de vídeos longos, mas dependem predominantemente de modelos baseados em visão que raramente utilizam sinais de áudio, ou não filtram explicitamente perguntas solucionáveis apenas por priores visuais.

2. Metodologia

O artigo propõe uma abordagem de três frentes: um novo benchmark, um método de compressão sem treinamento e um framework de destilação consciente de compressão.

2.1 Benchmark UGC-AVQA

Para abordar a lacuna de avaliação, os autores introduzem o UGC-AVQA, um benchmark público construído a partir de 1.000 vídeos curtos públicos de UGC com 4.816 pares de perguntas e respostas (QA).

• Foco: Associação áudio-visual de alta granularidade através de eventos, cenas e mudanças temporais.
• Construção: Os vídeos são anotados com legendas detalhadas e perguntas de múltipla escolha em quatro categorias: Progressão de Eventos Áudio-Visuais, Transição de Cena/Temporal Áudio-Visual, Alinhamento Cross-Cena e Contraste de Alta Granularidade.
• Filtro de Dificuldade: Para garantir que as perguntas requeiram ambas as modalidades, aplica-se um "teste de remoção de áudio". Uma amostra é mantida no benchmark apenas se um modelo forte (Gemini-3.1-Flash) falhar quando a faixa de áudio for removida. Isso filtra perguntas solucionáveis apenas por priores visuais.
• Divisão: O conjunto de dados é dividido em um conjunto de treinamento (794 vídeos, 3.168 pares QA) e um conjunto de benchmark (206 vídeos, 1.648 pares QA), com revisão humana garantindo a qualidade.

2.2 OMAC (Compressão Omni-Aumentada por Memória)

O OMAC é um método de compressão plug-in sem treinamento, projetado para preservar a memória visual saliente e âncoras de áudio fundamentadas temporalmente, sem modificar o modelo base.

• Memória Visual:
  • Pontuação de Quadros: Quadros são resumidos e pontuados por relevância à consulta. Quadros de alta pontuação são selecionados como quadros-chave.
  • Seleção de Tokens: Dentro dos quadros selecionados, tokens são pontuados por contraste em relação ao centróide do quadro. Tokens distintivos são retidos como memória visual explícita, enquanto um token de memória de quadro compacto é formado via pooling ponderado.
  • Estrutura: Isso cria uma estrutura de memória de dois níveis: resumos de quadros (memória grosseira) e tokens locais distintivos mais um resumo compacto (memória de alta granularidade).
• Memória de Áudio e Ajuste de Orçamento:
  • Âncoras: Tokens de áudio são pontuados por importância. Tokens de alta pontuação tornam-se "âncoras", e tokens descartados próximos são mesclados a eles para formar slots de memória acústica compactos.
  • Orçamento Cross-Modal: O OMAC usa a distribuição de memória visual para ajustar o orçamento de áudio. Se um segmento de tempo retém memória visual significativa, o orçamento de áudio para esse segmento é aumentado. Inversamente, intervalos visualmente leves são comprimidos de forma mais agressiva. Isso garante que a sequência comprimida preserve a estrutura de eventos através das modalidades, em vez de tokens isolados.

2.3 O-MARC (Destilação de Compressão Omni-Aumentada por Memória)

Para tornar modelos compactos robustos a entradas comprimidas, os autores introduzem o O-MARC, um framework de destilação de compressão baseado em Otimização de Política Relativa por Grupo (GRPO).

• Mecanismo: Para cada consulta, a política amostra duas trajetórias: um ramo "professor" usando tokens completos e um ramo "aluno" usando tokens comprimidos pelo OMAC.
• Moldagem de Recompensa: A discrepância entre as recompensas do professor e do aluno ($\Delta_i$) mede a degradação induzida pela compressão. Essa discrepância é usada para remodelar a vantagem do GRPO.
• Objetivo: O objetivo de treinamento é modificado para enviesar a otimização da política em direção a comportamentos que permaneçam robustos sob compressão de memória. Especificamente, amostras que são benéficas sob GRPO, mas fortemente degradadas pela compressão, recebem atualizações positivas maiores. Isso permite que o modelo aprenda a raciocinar efetivamente dentro de um orçamento de tokens reduzido.

3. Contribuições Principais

1. UGC-AVQA: Um novo benchmark público para associação áudio-visual em vídeos de UGC, apresentando uma verificação de dificuldade de remoção de áudio para garantir que as perguntas requeiram genuinamente raciocínio multimodal.
2. OMAC: Um método de compressão plug-in sem treinamento que preserva a memória visual saliente e usa o contexto visual para alocar dinamicamente orçamentos de memória de áudio.
3. O-MARC: Um framework de destilação de compressão que treina modelos omnimodais para raciocinar robustamente sob contextos multimodais comprimidos, superando a poda de tokens padrão e baselines contemporâneas baseadas em treinamento.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos variando de 3B a 30B parâmetros (séries Qwen2.5-Omni e Qwen3-Omni) em quatro benchmarks: DailyOmni, UGC-AVQA, OmniVideo e WorldSense.

• Desempenho do OMAC: O OMAC consistentemente superou a poda direta de tokens (OmniZip) e a inferência com tokens completos em trade-offs entre eficiência e precisão.
  • No Qwen2.5-Omni-3B, o OMAC melhorou a pontuação média para 45,8, superando a inferência com tokens completos (44,1) e o OmniZip (41,0).
  • Reduziu a latência de inferência em 34,6% (aceleração de 1,53×) e o uso de memória em 34,7% em comparação com a inferência com tokens completos.
• Desempenho do O-MARC:
  • Eficiência: No modelo de 3B, o O-MARC (treinado com apenas 3k amostras) alcançou uma pontuação média de 45,8, superando a baseline de tokens completos (44,1) e o OMAC sozinho (42,8).
  • Escalabilidade: Quando escalado para o modelo de 7B com mais de 100k amostras de treinamento, o O-MARC alcançou uma pontuação média de 51,1, superando a baseline contemporânea baseada em treinamento OmniSIFT (48,7) e melhorando significativamente a precisão no UGC-AVQA (64,6 vs. 56,4).
• Estudos de Ablação:
  • Taxa de Compressão: O OMAC manteve alto desempenho mesmo em 70% de compressão, enquanto o desempenho do OmniZip caiu significativamente.
  • Orientação: O design completo do OMAC (ajuste de orçamento Áudio $\to$ Visual) superou variantes onde o áudio guiava a compressão visual ou onde as modalidades eram comprimidas independentemente.

5. Significado e Alegações

O artigo alega que o raciocínio omnimodal eficiente não deve ser visto apenas como uma técnica de aceleração de inferência, mas como uma condição treinável.

• Interdependência: Os resultados demonstram que a compressão de áudio e vídeo não pode ser tratada isoladamente; preservar evidências cross-modais (por exemplo, usar memória visual para guiar o orçamento de áudio) é crítico para manter as capacidades de raciocínio.
• Robustez: Através do O-MARC, os autores mostram que modelos compactos podem ser treinados para raciocinar efetivamente sob orçamentos de tokens reduzidos, frequentemente superando modelos maiores ou inferência com tokens completos em cenários com restrições de eficiência.
• Avaliação: A introdução do UGC-AVQA destaca uma lacuna nos benchmarks atuais, mostrando que QA áudio-visual confiável em UGC requer mais do que reconhecimento visual genérico ou priores unimodais, necessitando avaliação explícita da associação áudio-visual.

Os autores concluem que seu estudo unificado de construção de benchmark, compressão de memória e treinamento consciente de compressão fornece um caminho para o raciocínio omnimodal robusto e eficiente para conteúdo de vídeo real e ruidoso.