Resumo Técnico: OmniDrop

Declaração do Problema

Os Modelos de Linguagem de Grande Escala Omnimodais (Omni-LLMs) demonstraram potencial significativo na compreensão multimodal holística, integrando texto, áudio e vídeo. No entanto, um gargalo crítico para aplicações em tempo real e raciocínio de longa duração é a "explosão de tokens" causada por dados temporais de alta resolução. Sinais de áudio e vídeo geram significativamente mais tokens do que texto (por exemplo, um clipe de vídeo de um minuto pode projetar mais de 10.000 tokens), levando a um crescimento quadrático nos custos computacionais e de memória.

Os métodos existentes de compressão de tokens para Omni-LLMs geralmente realizam a poda no nível de incorporação de entrada. Essas abordagens baseiam-se na suposição de que os tokens de áudio-vídeo estão semanticamente alinhados através de espaços de representação compartilhados ou co-ocorrência temporal. Os autores argumentam que essas suposições são pouco confiáveis por duas razões principais:

1. Alinhamento Pré-LLM Fraco: As incorporações de áudio e vídeo ocupam subespaços distintos dentro do espaço de incorporação do LLM antes do processamento, resultando em baixa similaridade cosseno cruzada que falha em identificar relações semânticas significativas.
2. Co-ocorrência Temporal Não Confiável: Eventos de áudio e visual simultâneos não implicam necessariamente correspondência semântica (por exemplo, música de fundo ou narração fora de tela podem não estar alinhados com o conteúdo visível).

Consequentemente, a poda no nível de entrada baseada em distância de incorporação ou co-ocorrência frequentemente descarta evidências importantes específicas de cada modalidade, levando a uma seleção de tokens subótima.

Metodologia: OmniDrop

Para abordar essas limitações, os autores propõem o OmniDrop, um framework de poda de tokens livre de treinamento e por camadas. Diferentemente de métodos anteriores, o OmniDrop poda progressivamente os tokens dentro das camadas decodificadoras do LLM, em vez de na etapa de entrada, utilizando três mecanismos principais:

1. Poda Progressiva de Tokens por Camada (PLP)

Motivado pela observação de que a fusão de informações omnimodais ocorre progressivamente através das camadas decodificadoras, o OmniDrop adota um cronograma de poda dinâmico.

• Camadas Iniciais: A poda é conservadora (baixa proporção) para permitir fusão e integração suficientes de informações omnimodais entre os fluxos de áudio e vídeo.
• Camadas Profundas: A poda torna-se agressiva (alta proporção) uma vez que o modelo formou preferências claras de tokens relevantes para a consulta.
• Implementação: A proporção de poda $p_l$ para a camada $l$ segue uma função sigmoide:
  $$p_l = p_{init} + (p_{final} - p_{init}) \cdot \sigma(l, t_{mid}, \beta)$$
  Isso garante que os tokens sejam preservados nas camadas rasas para integração e removidos nas camadas mais profundas, onde os tokens informativos são mais distinguíveis.

2. Importância de Tokens Guiada pela Consulta

Em vez de comparar diretamente tokens de áudio e vídeo, o OmniDrop usa a consulta de texto como mediador semântico.

• Mecanismo: A pontuação de importância $S$ para tokens de áudio e vídeo é calculada com base nas pontuações de atenção médias dos tokens de texto para os tokens de áudio-vídeo:
  $$S = \frac{1}{n_T} \sum_{q} \text{Attn}_{q \to \{V,A\}}$$
• Adaptabilidade: Isso permite que o modelo aloque dinamicamente orçamentos de tokens com base nas exigências da tarefa. Para tarefas centradas em áudio, mais tokens de áudio são retidos; para tarefas centradas em vídeo, mais tokens de vídeo são mantidos. Isso garante perda mínima de informações para a consulta específica.

3. Pontuação de Diversidade Temporal (TDS)

Para evitar a poda excessiva de tokens que estão temporalmente distantes do pico de atenção principal (o que poderia levar à perda de contexto global), o OmniDrop introduz uma métrica de diversidade.

• Processo:
  1. Identificar o "bloco chave" ($c_{max}$) contendo o token com a maior pontuação de importância.
  2. Selecionar um buffer de candidatos dos tokens com menor pontuação.
  3. Calcular uma distância temporal normalizada $D$ a partir de $c_{max}$.
  4. Aumentar a pontuação final: $S_{TDS} = S + \lambda_{div} \cdot D$.
• Efeito: Tokens temporalmente distantes do pico de atenção principal recebem um aumento de pontuação, incentivando a sobrevivência equilibrada de tokens ao longo da sequência e preservando o contexto temporal global.

4. Poda Intra-Modalidade

Antes de alimentar os tokens no LLM, o OmniDrop realiza poda intra-modalidade independente para remover redundância:

• Áudio: Retém tokens com as maiores pontuações de atenção da última camada do codificador de áudio.
• Vídeo: Usa Mesclagem de Tokens Temporais (TTM) para filtrar tokens visuais redundantes consecutivos com base na similaridade cosseno.
• Resultado: Esse pré-processamento reduz a contagem inicial de tokens para ~45% antes que a poda por camadas comece.

Principais Contribuições

1. Análise das Limitações no Nível de Entrada: O artigo demonstra que a similaridade áudio-vídeo no nível de entrada fornece um sinal fraco para poda de tokens devido ao alinhamento insuficiente nas incorporações pré-LLM e à não confiabilidade da co-ocorrência temporal como proxy para relevância semântica.
2. Framework OmniDrop: Um framework inovador, livre de treinamento e por camadas, que aproveita consultas de texto para seleção de tokens agnóstica à modalidade e adaptativa à tarefa. Emprega um cronograma de poda progressiva e uma pontuação de diversidade temporal para equilibrar eficiência e preservação de contexto.
3. Validação Empírica: Extensos experimentos em benchmarks diversos (VideoMME, WorldSense, AVUT) mostram que o OmniDrop supera os métodos existentes sem treinamento (OmniZip, DASH) enquanto reduz significativamente a latência e o uso de memória.

Resultados Experimentais

Avaliado no Qwen2.5-Omni (modelos de 7B e 3B), o OmniDrop alcançou o seguinte:

• Ganhos de Desempenho: Superou todas as linhas de base em até 3,58 pontos (especificamente no benchmark AVUT com o modelo de 7B). Notavelmente, com 30% de retenção de tokens, o OmniDrop superou a linha de base de 100% de tokens completos no VideoMME.
• Robustez: Sob compressão extrema (20% de retenção), o OmniDrop mostrou degradação mínima de desempenho (queda média de 0,18–0,47 pontos) em comparação com as linhas de base, que caíram mais de 1,0 ponto.
• Eficiência: Reduziu a latência de preenchimento inicial em até 40% e o uso de memória da GPU em até 14,7% em comparação com a inferência de tokens completos, mantendo desempenho competitivo.
• Adaptabilidade à Tarefa: A análise confirmou que o mecanismo guiado por consulta adapta com sucesso as proporções de retenção de tokens às necessidades específicas da tarefa (por exemplo, reter mais áudio para tarefas de reconhecimento de áudio e mais vídeo para reconhecimento de cenas).

Significado e Alegações

O artigo alega que o OmniDrop oferece uma solução prática para Omni-LLMs escaláveis e responsivos, deslocando fundamentalmente a poda de tokens do nível de entrada para as camadas decodificadoras. Ao aproveitar consultas de texto como sinal de orientação e reconhecer a natureza progressiva da fusão omnimodal, o método alcança trade-offs superiores entre eficiência e desempenho sem exigir re-treinamento do modelo ou modificações arquitetônicas.

Os autores reconhecem limitações, observando que o método atualmente depende de prompts de texto para seleção de tokens, restringindo seu uso em cenários com apenas entradas de áudio/vídeo. Além disso, como um framework livre de treinamento, os hiperparâmetros (como cronogramas de poda) são determinados empiricamente e não aprendidos. Trabalhos futuros visam explorar métodos para capturar relações semânticas sem orientação textual e otimizar decisões de poda via dados de calibração.