Resumo Técnico: OmniSelect

Declaração do Problema

Os Modelos de Linguagem Grandes Omnimodais (OmniLLMs) surgiram para unificar a compreensão de áudio, vídeo e texto dentro de uma única arquitetura autoregressiva. No entanto, o processamento de streams de vídeo e áudio de alta fidelidade gera um número excessivo de tokens, levando a uma complexidade quadrática nos mecanismos de atenção e criando gargalos significativos de computação e memória durante a inferência.

Embora a compressão de tokens tenha sido explorada para tarefas unimodais (imagens, vídeo, áudio), as soluções existentes para OmniLLMs dependem de guias fixos e específicos por modalidade. Por exemplo, métodos como o OmniZip usam âncoras de áudio para guiar a poda de vídeo, enquanto outros dependem exclusivamente de pistas visuais. Os autores argumentam que essas estratégias "tamanho único" são inadequadas porque a importância relativa das informações visuais e auditivas varia significativamente entre diferentes consultas. Como ilustrado no artigo, algumas perguntas dependem fortemente da visão, outras do áudio, e algumas exigem uma integração equilibrada. Usar uma modalidade inadequada para guiar a compressão pode levar à remoção de informações críticas e a respostas errôneas do modelo.

Metodologia: OmniSelect

Para abordar essas limitações, os autores propõem o OmniSelect, um framework de poda de tokens adaptativo à modalidade e sem treinamento. O método seleciona dinamicamente a estratégia de compressão apropriada para entradas multimodais com base na consulta específica, evitando mecanismos de guia fixos. O framework opera por meio de uma estratégia de duas etapas:

1. Alocação Dinâmica de Proporção Consciente da Modalidade

A primeira etapa determina a estratégia global de poda e aloca proporções de poda para cada grupo temporal.

• Estimativa de Relevância: O sistema emprega um modelo AudioCLIP leve para estimar a relevância cruzada entre modalidades. Ele calcula pontuações de similaridade entre a consulta textual e os embeddings visuais e de áudio. Para reduzir o custo computacional, os quadros de vídeo são subamostrados temporalmente e o texto é filtrado para reter apenas substantivos e adjetivos.
• Classificação de Estratégia: Com base nas pontuações de similaridade média ($\bar{s}^{(v)}$ para vídeo, $\bar{s}^{(a)}$ para áudio) e em um limiar $\theta$, o sistema categoriza a entrada em um dos três regimes de poda:
  • Poda Uniforme: Se $|\bar{s}^{(v)} - \bar{s}^{(a)}| \leq \theta$, ambas as modalidades são tratadas como igualmente importantes.
  • Poda Centrada em Vídeo: Se $\bar{s}^{(v)} > \bar{s}^{(a)}$, a estratégia prioriza tokens de vídeo.
  • Poda Centrada em Áudio: Se $\bar{s}^{(a)} > \bar{s}^{(v)}$, a estratégia prioriza tokens de áudio.
• Alocação Adaptativa: Dentro do regime escolhido, o sistema aloca dinamicamente proporções de poda ($\rho$) para cada grupo temporal. Ele usa um mapeamento sigmoide baseado no desvio das pontuações de similaridade em relação à média, garantindo que grupos com maior relevância para a consulta retenham mais tokens, ao mesmo tempo que satisfazem um orçamento global de poda.

2. Pipeline de Poda de Grupo Temporal (TGP2)

Uma vez que a estratégia e as proporções são determinadas, o sistema realiza a poda de tokens de granularidade fina dentro de cada grupo temporal:

• Poda de Áudio: Tokens de áudio salientes são selecionados usando seleção Top-K baseada na matriz de atenção derivada da última camada do codificador de áudio.
• Poda de Vídeo: Tokens de vídeo salientes são selecionados usando seleção Bottom-K baseada na matriz de similaridade cosseno dos embeddings de visão. Os autores escolhem Bottom-K (selecionando tokens com a menor similaridade com outros) em vez de métodos baseados em atenção para evitar o viés de "attention sink" e reduzir a sobrecarga computacional, argumentando que isso remove efetivamente conteúdo redundante e altamente correlacionado, preservando pistas visuais distintas.

Principais Contribuições

O artigo delineia três contribuições primárias:

1. Análise das Limitações do Guia Fixo: Os autores demonstram que os métodos existentes que dependem de guias estáticos específicos por modalidade falham em levar em conta a importância variável das modalidades entre diferentes consultas, levando a uma compressão subótima.
2. Framework OmniSelect: Eles propõem um framework adaptativo à modalidade e sem treinamento que seleciona dinamicamente entre estratégias de poda Uniforme, Centrada em Vídeo e Centrada em Áudio. Ele realiza ainda a poda de tokens de granularidade fina dentro de grupos temporais, alocando proporções adaptativamente para preservar tokens informativos.
3. Validação Empírica: Experimentos extensivos em benchmarks de áudio e vídeo mostram que o OmniSelect acelera a inferência e reduz a sobrecarga de memória da GPU, mantendo alto desempenho, alcançando resultados competitivos entre métodos de compressão de tokens sem treinamento.

Resultados Experimentais

Os autores avaliaram o OmniSelect em modelos Qwen2.5-Omni (3B e 7B parâmetros) em quatro benchmarks: WorldSense, DailyOmni, VideoMME e OmniVideoBench.

• Retenção de Desempenho: O OmniSelect retém 94% a 99% da precisão original de tokens completos. Em vários casos (por exemplo, configurações específicas no OmniVideoBench e VideoMME), o método até superou o desempenho da inferência de tokens completos, sugerindo que a remoção de tokens redundantes pode melhorar a qualidade da previsão.
• Ganhos de Eficiência:
  • Aceleração de Inferência: Alcançou uma aceleração de 1,19× a 1,33×.
  • Redução de Memória: Reduziu o consumo de memória da GPU em 2,58GB a 2,77GB.
  • Tempo de Preenchimento (Prefilling): Reduziu o tempo de preenchimento em 3,53× a 3,62× sob 70% de compressão de tokens.
• Comparação: O OmniSelect superou consistentemente as linhas de base como OmniZip (guiado por áudio) e DyCoke (mesclagem temporal) em vários orçamentos de quadros e proporções de compressão. A vantagem foi particularmente pronunciada em cenários de vídeos longos e no modelo 3B, que mostrou um trade-off eficiência-desempenho mais favorável.
• Estudos de Ablação: Experimentos confirmaram que a seleção dinâmica de estratégias de poda (alternando entre Centrada em Vídeo, Centrada em Áudio e Uniforme) é superior a depender de qualquer estratégia fixa única.

Significado e Alegações

O artigo posiciona o OmniSelect como uma evolução necessária na otimização de OmniLLMs. Os autores afirmam que o principal significado de seu trabalho reside na mudança de guias estáticos e específicos por modalidade para seleção dinâmica de estratégias conscientes da consulta. Ao modelar explicitamente a preferência de modalidade e permitir que o modelo adapte sua estratégia de compressão às necessidades semânticas específicas de uma consulta, o OmniSelect evita efetivamente as armadilhas da compressão uniforme.

Os autores enfatizam que seu método é sem treinamento, tornando-o imediatamente aplicável a OmniLLMs existentes sem a necessidade de re-treinamento ou ajuste fino. Eles concluem que, embora seu mecanismo de seleção baseado em limiar atual seja eficaz, a estratégia ótima muitas vezes existe dentro de sua taxonomia proposta, e a principal limitação reside na precisão da seleção da estratégia, e não na capacidade de representação da própria poda. Sugere-se trabalho futuro para explorar modelos mais robustos para estimativa de importância de modalidade.