OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

Resumo Técnico: OmniFocus

Declaração do Problema
Os Grandes Modelos de Linguagem Omni-modais (OmniLLMs) demonstraram a capacidade de processar conjuntamente áudio e vídeo, permitindo tarefas como compreensão audiovisual, raciocínio empático e legendagem. No entanto, as entradas audiovisuais geram sequências extensas de tokens, levando a custos de inferência substanciais que limitam a aplicabilidade em cenários de longa duração e ambientes com restrições de recursos. Embora a compressão de tokens seja uma solução padrão para reduzir os custos de inferência em modelos unimodais ou de visão-linguagem, a aplicação da compressão em OmniLLMs apresenta desafios únicos: o método deve preservar simultaneamente a evidência de áudio, a evidência visual e o alinhamento entre modalidades.

Os métodos existentes de compressão de tokens audiovisual, como o OmniZip, geralmente dependem de orientação unimodal (por exemplo, usando a atenção de áudio para guiar a compressão de ambas as modalidades). Os autores identificam duas limitações críticas nesta abordagem:

1. Negligência da Localidade Temporal: Métodos guiados por uma única modalidade frequentemente falham em considerar a localidade temporal das evidências relevantes para a consulta (query), assumindo que a densidade de informação é distribuída uniformemente ou alinhada entre as modalidades.
2. Viés de Modalidade: Ao usar uma única modalidade como guia, esses métodos assumem implicitamente que a distribuição de densidade de informação da modalidade guia se aplica à outra. Isso leva ao sobreajuste (overfitting) à modalidade guia, negligenciando evidências potencialmente críticas na outra, o que degrada o desempenho em tarefas que exigem raciocínio audiovisual conjunto ou da modalidade não guiada.

Metodologia: OmniFocus
Os autores propõem o OmniFocus, um método de compressão de tokens guiado por consulta e livre de treinamento, projetado para alcançar uma compressão simétrica de modalidades. Diferente das abordagens anteriores que usam uma modalidade para guiar a outra, o OmniFocus realiza uma estimativa de importância independente para vídeo e áudio com base na consulta textual. O método opera em três estágios antes que os tokens sejam consumidos pelo backbone do LLM:

1. Pontuação de Modalidade Sensível à Consulta (Query-Aware):

   • O método extrai tokens de consulta da camada de embedding do LLM para garantir que compartilhem o mesmo espaço de entrada dos tokens de áudio e vídeo.
   • Para cada bloco temporal (chunk), ele computa uma pontuação de relevância para vídeo e áudio de forma independente, medindo a similaridade de cosseno máxima entre a representação da consulta e os tokens dentro daquele bloco.
   • Essa abordagem de "similaridade máxima" captura evidências esparsas que correspondem à consulta de forma eficaz, reconhecendo que informações relevantes podem estar concentradas em tokens específicos em vez de distribuídas uniformemente.

2. Alocação de Orçamento por Bloco (Chunk-wise):

   • As pontuações de relevância são convertidas em pontuações de compressão (onde maior relevância resulta em menor compressão).
   • Essas pontuações são mapeadas para razões de descarte locais para cada bloco sob restrições globais de orçamento específicas de cada modalidade.
   • Uma etapa de calibração garante que a contagem total de tokens retidos corresponda à razão de retenção global alvo (por exemplo, 25% ou 35%), permitindo que diferentes blocos temporais e modalidades recebam orçamentos locais adaptativos.

3. Seleção de Tokens por Pontuação Dupla:

   • Dentro de cada bloco e modalidade, os tokens são selecionados com base em dois critérios complementares para preservar tanto o alinhamento entre modalidades quanto a saliência específica da modalidade:
     • Associação Intermodal: Os tokens são pontuados pela similaridade com a representação média da outra modalidade no mesmo bloco. Isso preserva a correspondência áudio-visual.
     • Pico Intramodal: Os tokens são pontuados pela sua distintividade em relação à média de sua própria modalidade. Isso preserva evidências que são únicas a uma modalidade específica e que poderiam ser perdidas apenas pelo alinhamento entre modalidades.
   • A seleção final divide os tokens retidos igualmente entre aqueles com as maiores pontuações de associação e aqueles com as maiores pontuações de pico.

Principais Contribuições

1. Identificação do Viés de Modalidade: O artigo valida empiricamente que a compressão guiada por uma única modalidade em OmniLLMs leva ao viés de modalidade, degradando o desempenho em tarefas que exigem a modalidade não guiada ou o raciocínio conjunto.
2. Framework OmniFocus: A introdução de um método de compressão simétrica, guiado por consulta e livre de treinamento. Ele estima a relevância da consulta separadamente para áudio e vídeo, mitigando o viés enquanto preserva as associações intermodais e os picos intramodais.
3. Validação Empírica: Experimentos extensos em quatro benchmarks audiovisuais (DailyOmni, WorldSense, OmniVideoBench, VideoMME) demonstram que o OmniFocus alcança uma relação favorável entre precisão e eficiência.

Resultos
Os experimentos foram conduzidos nas famílias de modelos Qwen2.5-Omni-3B e Qwen2.5-Omni-7B.

• Desempenho: Com uma razão de retenção de 25% de tokens, o OmniFocus superou as linhas de base existentes (OmniZip, DyCoke e Random) em várias pontuações de benchmarks importantes.
  • No DailyOmni (Qwen2.5-Omni-7B), o OmniFocus alcançou 59,40% de precisão, comparado a 57,73% do OmniZip e 54,37% do DyCoke.
  • No WorldSense, o OmniFocus obteve os melhores resultados de compressão em todas as configurações de orçamento de modelo, superando o OmniZip em até 1,04 ponto no modelo 3B.
  • No VideoMME, alcançou as melhores pontuações médias comprimidas em todas as quatro configurações.
• Eficiência: O OmniFocus entregou acelerações significativas. No DailyOmni com o modelo 7B a 25% de retenção, proporcionou um ganho de velocidade de prefill de 1,38× e um ganho de velocidade end-to-end de 1,32× em relação à linha de base de tokens totais, mantendo uma precisão superior aos outros métodos de compressão.
• Estudos de Ablação: Os autores confirmaram que:
  • A pontuação de similaridade máxima supera a similaridade média.
  • A alocação adaptativa baseada em pontuação é superior à alocação aleatória ou uniforme.
  • A estratégia híbrida de seleção de tokens intermodal e intramodal é crítica; depender de apenas uma delas leva a quedas de desempenho.
  • A pontuação balanceada por modalidade (considerando tanto áudio quanto vídeo) é mais robusta do que a pontuação de modalidade única.

Significância e Alegações
O artigo afirma que a compressão simétrica de modalidades guiada por consulta é uma escolha de design mais confiável para a compreensão audiovisual de longa duração do que o orçamento de tokens guiado por uma única modalidade. A significância do OmniFocus reside em sua capacidade de mitigar o viés de modalidade inerente às estratégias de compressão assimétricas anteriores sem exigir o retreinamento do modelo. Ao preservar tanto a correspondência entre modalidades quanto as evidências salientes específicas de cada modalidade, o OmniFocus permite que os OmniLLMs operem eficientemente em ambientes com restrições de recursos, mantendo alta fidelidade em tarefas de raciocínio audiovisual. Os autores observam que, embora o método seja eficaz, sua dependência de embeddings de entrada congelados significa que pode ser menos preciso para eventos de detalhamento fino onde os embeddings iniciais de tokens não capturam totalmente a intenção da consulta, e que sua generalização para arquiteturas além da família Qwen2.5-Omni requer mais avaliação.