💻 computer science

OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models

O OmniPack é um framework livre de treinamento que aumenta a eficiência de Grandes Modelos de Linguagem Omni-modais ao combinar a remoção de redundância estrutural pré-LLM com o refinamento semântico pós-interação, alcançando trocas superiores entre desempenho e eficiência em múltiplos benchmarks enquanto reduz significativamente os custos computacionais.

Autores originais: Wanshun Su, Yang Shi, Feihu Liu, Ziwen Yu, Yan Min, Zhuoran Zhang, Qixun Wang, Haotian Wang, Shixuan Liu, Yuanxing Zhang, Peng Wu, Chengfu Huo, Liang Ding

Publicado 2026-08-05

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Wanshun Su, Yang Shi, Feihu Liu, Ziwen Yu, Yan Min, Zhuoran Zhang, Qixun Wang, Haotian Wang, Shixuan Liu, Yuanxing Zhang, Peng Wu, Chengfu Huo, Liang Ding

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a entender o mundo. Você não apenas lhe dá um livro para ler; você mostra um filme e toca uma trilha sonora ao mesmo tempo. Este é o emocionante mundo da IA "Omni-modal", onde os computadores aprendem a ver, ouvir e ler tudo de uma só vez. Mas aqui está o problema: filmes e trilhas sonoras são enormes. Um único segundo de vídeo ou áudio pode ser decomposto em milhares de pequenos "tijolos" digitais chamados tokens. Se você tentar alimentar o robô com um filme inteiro, ele ficará sobrecarregado, como um aluno tentando ler uma biblioteca inteira em um minuto. Leva uma eternidade para processar, custa uma fortuna em eletricidade e frequentemente o deixa confuso pelo volume colossal de informações. Os cientistas têm tentado resolver isso jogando fora os tijolos "tediosos" antes mesmo de o robô começar a ler, esperando manter apenas os importantes. No entanto, as formas antigas de jogar coisas fora eram um pouco desajeitadas — elas às vezes descartavam pistas cruciais apenas porque pareciam diferentes de seus vizinhos, ou tentavam adivinhar o que era importante antes que o robô tivesse a chance de realmente entender a história.

Apresentamos o OmniPack, uma nova e inteligente estratégia projetada para ajudar esses robôs que veem e ouvem tudo a trabalharem mais rápido sem perderem a sanidade. Pense no OmniPack como um processo de edição em duas etapas para um roteiro de filme caótico. Primeiro, antes mesmo de o robô ler o roteiro, o OmniPack atua como um editor rigoroso que escaneia as filmagens brutas. Ele não apenas deleta as partes silenciosas; ele procura pelos momentos "altos" (como um estrondo repentino ou um flash brilhante) e também garante que não pule por cima daquela paisagem de fundo importante e silenciosa que acontece longe no tempo. Ele agrupa tijolos semelhantes para que não ocupem espaço extra, criando um "rolo de melhores momentos" que mantém a estrutura da história intacta.

Mas a mágica realmente acontece na segunda etapa. Uma vez que o robô começou a ler o roteiro e a conversar consigo mesmo, o OmniPack intervém novamente. Desta vez, ele ouve as perguntas do robô. Se o robô estiver perguntando: "Qual era a cor do carro?", o OmniPack sabe que deve manter os tokens relacionados ao carro e à cor, mesmo que eles fossem silenciosos ou pequenos. Ele usa a própria curiosidade do robô para refinar a informação, fundindo os detalhes mais úteis. O resultado é uma redução massiva no trabalho que o robô precisa fazer. Em um modelo específico chamado Qwen2.5-Omni-7B, o OmniPack conseguiu reduzir o trabalho necessário para apenas 16,7% do valor original, mantendo ainda 98,0% da inteligência original do robô. Mesmo quando levaram o método ao limite e reduziram o trabalho para um ínfimo 6,8%, o robô ainda lembrava 92,9% do que deveria saber. É como encolher uma enciclopédia massiva para um único panfleto, mas, de alguma forma, o panfleto ainda contém todas as respostas de que você precisa.

Os pesquisadores descobriram que os métodos antigos frequentemente falhavam porque tentavam comprimir tudo cedo demais ou de forma muito simples. Eles argumentaram que jogar fora tokens baseando-se apenas no quão "alto" ou "semelhante" eles eram frequentemente perdia pistas importantes e espalhadas. Eles também mostraram que tentar usar o áudio para comprimir o vídeo (ou vice-versa) antes que o robô tivesse a chance de misturar os dois sentidos não funcionava bem. Em vez disso, o OmniPack sugere uma abordagem "especializada por estágio": primeiro, limpa a estrutura com base no tipo específico de mídia (vídeo ou áudio) e, depois, após o robô ter tido a chance de misturá-los, utiliza a tarefa ou pergunta específica para fazer a compressão final e inteligente.

Em seus testes através de cinco conjuntos de desafios, o OmniPack superou consistentemente todos os outros métodos com os quais foi comparado. Quer estivessem testando clipes curtos ou vídeos longos, o novo método sempre ofereceu o melhor equilíbrio entre velocidade e inteligência. Os autores sugerem que, ao coordenar essas duas etapas — a limpeza estrutural primeiro, seguida pelo refinamento inteligente e consciente da pergunta — eles podem tornar esses poderosos modelos de IA muito mais eficientes sem a necessidade de treiná-los do zero. É uma maneira de tornar os robôs superinteligentes mais rápidos e baratos de operar, mantendo-os afiados mesmo quando as comportas de informação estão amplamente abertas.

Resumo Técnico: OmniPack

Declaração do Problema
Os Modelos de Linguagem de Grande Escala Omni-modais (Omni-LLMs) alcançaram um sucesso significativo na compreensão audiovisual unificada ao modelar conjuntamente texto, imagens, vídeos e áudio. No entanto, a tokenização densa exigida para entradas visuais e de áudio resulta em sequências substancialmente mais longas que o texto, criando um overhead computacional e de memória proibitivo durante a inferência. Embora a compressão de tokens seja necessária para uma implantação eficiente, os métodos existentes enfrentam limitações críticas sob orçamentos de tokens agressivos:

Modelagem Estrutural Inadequada: Métodos de compressão pré-LLM frequentemente dependem de importância ou similaridade local, falhando em capturar estruturas espaço-temporais de longo alcance. Isso leva à perda de evidências distribuídas globalmente, como eventos esparsos em vídeos longos ou pistas acústicas transientes.
Colaboração Cross-Modal Insuficiente: As abordagens existentes ou comprimem antes do LLM (onde as representações de áudio e visual têm interação semântica limitada) ou comprimem dentro do LLM (baseando-se principalmente em orientação textual sem modelar explicitamente a colaboração áudio-visual). Consequentemente, elas falham em explorar totalmente a evidência cross-modal relevante para a tarefa.

Metodologia: OmniPack
Os autores propõem o OmniPack, um framework progressivo de dois estágios, livre de treinamento (training-free), projetado para coordenar a compressão estrutural antes do LLM com o refinamento semântico dentro do LLM.

1. Compressão Específica de Modalidade Pré-LLM
Operando antes do LLM, este estágio remove a redundância estrutural enquanto preserva evidências salientes e cobertura global. Ele emprega três mecanismos distintos:

Seleção de Importância: Identifica tokens dominantes usando estatísticas de atenção do codificador e pistas estruturais específicas da modalidade. Para vídeo, isso inclui variação de quadros adjacentes e distintividade espacial; para áudio, inclui variação de tokens adjacentes para detectar fronteiras acústicas.
Seleção de Cobertura: Para evitar a concentração excessiva em regiões salientes, este passo seleciona tokens representativos adicionais usando uma métrica de distância conjunta que combina similaridade de características e distância temporal/espaço-temporal normalizada. Utiliza DPC-KNN para garantir ampla cobertura espaço-temporal.
Fusão de Tokens Sensível à Similaridade: Em vez de descartar os tokens não selecionados, suas informações são agregadas em representantes retidos. Os tokens não selecionados são atribuídos ao token retido mais similar com base na similaridade de características, proximidade posicional e na importância do token alvo, transferindo efetivamente a informação redundante para o conjunto mantido.

2. Compressão Interna ao LLM Condicionada por Query
Após a ocorrência de interação multimodal suficiente dentro dos primeiros $\ell$ blocos Transformer, um segundo estágio de compressão refina as representações retidas. Este estágio aproveita:

Orientação Textual: Uma representação de query global derivada dos estados ocultos do texto guia a seleção de tokens relevantes para a tarefa.
Colaboração Áudio-Visual: A pontuação de relevância de um token é computada considerando sua similaridade com a query de texto, sua similaridade com o protótipo da outra modalidade (ex: tokens visuais considerando o contexto de áudio) e sua representatividade dentro da própria modalidade.
Seleção Sensível à Diversidade: Os tokens são selecionados iterativamente para equilibrar relevância com diversidade semântica, garantindo que o conjunto retido cubra o espectro de informação necessário.
Fusão Modulada por Relevância: Os estados ocultos não selecionados são incorporados aos representantes retidos via média ponderada por similaridade, modulada por pontuações de relevância.

Principais Contribuições

Identificação de Limitações: O artigo destaca que a compressão de Omni-LLMs existente falha sob orçamentos agressivos devido à modelagem inadequada de estrutura de longo alcance e exploração insuficiente de evidência cross-modal condicionada por query.
Framework Unificado: O OmniPack introduz uma estratégia progressiva livre de treinamento que combina compressão específica de modalidade pré-LLM (estrutural) com compressão interna ao LLM condicionada por query (semântica), fundindo a informação removida em representantes retidos para minimizar a perda de informação.
Compromisso Performance-Eficiência: O framework é projetado para permitir compressão agressiva de tokens enquanto mantém alta performance de compreensão multimodal.

Resultados Experimentais
Experimentos extensos foram conduzidos em cinco benchmarks (AVUT, WorldSense, DailyOmni, VideoMME, LVOmniBench) usando três backbones de Omni-LLM (Qwen2.5-Omni-3B/7B e MiniCPM-o-2.6).

Performance: No Qwen2.5-Omni-7B, o OmniPack preserva 98,0% da performance original enquanto reduz os FLOPs para 16,7%. Sob compressão extrema (retendo apenas 6,8% dos FLOPs originais), ele retém 92,9% da performance original.
Comparação: O OmniPack supera consistentemente os baselines state-of-the-art livres de treinamento (incluindo variantes de FastV-om, VisionZip-om, OmniZip, OmniSIFT e SEATS) através de diversas razões de retenção.
Eficiência: Em uma razão de retenção de 15%/7,5% (pré-LLM/final), o OmniPack alcança uma redução de 10,0× nos FLOPs e um aceleração de prefill de 4,5×, preservando 95,6% da performance original.
Ablação: Estudos confirmam que a combinação de seleção de importância, seleção de cobertura e fusão de tokens produz os melhores resultados pré-LLM. Além disso, a compressão interna ao LLM beneficia-se significativamente da colaboração áudio-visual e da orientação consciente do texto em comparação com estratégias independentes ou genéricas.

Significância
O artigo afirma que o OmniPack aborda o gargalo crítico de overhead computacional em Omni-LLMs sem exigir retreinamento do modelo. Ao deslocar a compressão de pistas puramente estruturais para semânticas condicionadas à tarefa através de um processo coordenado de dois estágios, o framework permite a implantação prática de Omni-LLMs em dispositivos com recursos limitados. Os resultados demonstram que a compressão agressiva de tokens pode ser alcançada sem sacrificar a capacidade do modelo de compreender cenários do mundo real complexos, dinâmicos e temporalmente evolutivos, estabelecendo um novo estado da arte no compromisso entre performance e eficiência no campo.

Mais como este