Resumo Técnico: Um Levantamento sobre Compressão de Tokens para Modelos de Linguagem de Grande Escala Multimodais Eficientes

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) alcançaram um desempenho notável ao processar contextos complexos, incluindo imagens de alta resolução, sequências de vídeo estendidas e entradas de áudio longas. No entanto, essa capacidade introduz um gargalo computacional significativo: a complexidade quadrática ($O(N^2)$) dos mecanismos de autoatenção em relação ao número de tokens de entrada ($N$).

Ao contrário do texto, onde as contagens de tokens são gerenciáveis, os dados visuais e auditivos geram sequências ordens de magnitude mais longas. Por exemplo, um vídeo de 90 minutos pode produzir aproximadamente 54 milhões de tokens, enquanto uma única imagem de alta resolução ou um arquivo de áudio de 2 horas gera de dezenas de milhares a milhões de tokens. Essa disparidade causa severa latência de inferência e consumo de memória, dificultando a implantação prática de MLLMs. Além disso, os dados multimodais contêm redundância substancial (espacial em imagens, espaço-temporal em vídeo e temporal/espectral em áudio), com estudos indicando que mais de 50% dos tokens em sequências típicas de MLLM recebem atenção mínima durante a inferência.

2. Metodologia e Taxonomia

Este artigo apresenta o primeiro levantamento sistemático e síntese de técnicas de compressão de tokens especificamente para MLLMs. Os autores definem compressão de tokens estritamente como métodos que reduzem explicitamente o número de tokens passados para camadas subsequentes ($M < N$), distinguindo-a da amostragem no nível de entrada (ex: extração de frames) e dos mecanismos de esparsidade de atenção que mantêm o comprimento da sequência, mas reduzem os caminhos computacionais.

O levantamento categoriza as abordagens existentes através de duas lentes primárias:

A. Categorização Centrada na Modalidade

Reconhecendo que os padrões de redundância diferem entre as modalidades, os métodos são agrupados por seu foco principal de dados:

1. Compressão Centrada na Imagem: Aborda a redundância espacial em dados visuais estáticos. Patches vizinhos frequentemente representam texturas ou cores semelhantes.
2. Compressão Centrada no Vídeo: Visa a redundância espaço-temporal em sequências dinâmicas, onde quadros consecutivos compartilham elementos de fundo extensos e movimento limitado.
3. Compressão Centrada no Áudio: Lida com a redundância temporal e espectral em sinais acústicos, onde informações salientes costumam estar concentradas em segmentos esparsos em meio a silêncio ou ruído.

B. Categorização Centrada no Mecanismo

Além da modalidade, o artigo disseca os métodos com base em seus princípios algorítmicos subjacentes, que frequentemente transcendem tipos de dados específicos:

1. Baseada em Transformação: Transforma diretamente a informação cross-modalidade para comprimir tokens alterando a escala ou representação (ex: Pixel Unshuffle, Pooling Espacial/Temporal, Convolução). Esses métodos frequentemente preservam a representação estrutural, mas oferecem flexibilidade limitada nas taxas de compressão.
2. Baseada em Similaridade: Identifica e funde tokens com base na distância ou similaridade em um espaço implícito (ex: K-Nearest Neighbors, clustering). Embora eficaz, correm o risco de perder informações espaciais ou temporais refinadas se os tokens forem excessivamente generalizados.
3. Baseada em Atenção: Explora a esparsidade dos mecanismos de atenção para podar tokens com baixos escores de atenção. Estes podem ser aplicados no Encoder (encoders de visão/áudio) ou no Decoder (backbone do LLM). Embora poderosos, enfrentam desafios de implantação devido à incompatibilidade com bibliotecas de aceleração otimizadas (ex: FlashAttention) que computam a atenção implicitamente.
4. Baseada em Query: Utiliza queries externas (prompts) para guiar a compressão, seja através de Destilação de Tokens (aprender a representar informações visuais/auditivas com menos tokens) ou Seleção Cross-Modal (filtrar tokens com base na relevância para o texto). Estes são altamente relevantes para a tarefa, mas podem ter dificuldades em conversas de múltiplos turnos onde as queries mudam.

3. Principais Contribuições

• Primeiro Levantamento Estruturado: Este trabalho fornece a primeira taxonomia abrangente de compressão de tokens especificamente para MLLMs, preenchendo a lacuna entre a compressão de prompts centrada em texto e as técnicas específicas de visão/áudio.
• Framework Unificado: Demonstra que, apesar das redundâncias específicas de cada modalidade, os princípios algorítmicos fundamentais (identificação de importância, quantificação de redundância e fusão/poda de tokens) são consistentes nos domínios visual, temporal e auditivo.
• Análise Crítica de Trade-offs: O artigo detalha os prós e contras de cada mecanismo, como a natureza livre de parâmetros do pooling versus a abstração aprendível da convolução, e a eficiência da poda baseada em atenção versus sua incompatibilidade com aceleradores de hardware atuais.
• Identificação de Desafios: O levantamento destaca obstáculos críticos, incluindo a degradação de desempenho em altas taxas de compressão (especialmente em modelos maiores), a perda de detalhes finos necessários para tarefas como OCR ou localização temporal, e a dificuldade de integrar a poda dinâmica em sistemas de conversação de múltiplos turnos.

4. Resultados e Observações

O artigo sintetiza descobertas de inúmeros modelos e métodos de última geração (ex: InternVL, Qwen2-VL, FastV, ToMe, HoliTom, SpeechPrune):

• Eficiência vs. Desempenho: Uma redução significativa de tokens é alcançável com perda mínima de desempenho. Por exemplo, reter apenas 10-25% dos tokens visuais muitas vezes mantém um desempenho competitivo em benchmarks como VQA2 e VideoMME. No entanto, a compressão agressiva leva a declínios acentuados de desempenho, particularmente em modelos com maiores capacidades de representação (ex: Qwen2.5-VL, LLaVA-OV-72B).
• Sensibilidade à Tarefa: Estratégias de compressão não são universalmente aplicáveis. Tarefas que exigem alta densidade de informação (ex: Reconhecimento Óptico de Caracteres - OCR) ou raciocínio temporal preciso sofrem mais com a fusão ou poda de tokens do que o questionamento visual geral.
• Lacunas de Implantação: Muitos métodos baseados em atenção, embora teoricamente eficientes, são difíceis de implantar em cenários reais devido à dependência de escores de atenção explícitos, que são inacessíveis em pipelines de inferência fundidos e otimizados.

5. Significância e Direções Futuras

O artigo afirma que a compressão de tokens não é meramente uma técnica de pós-otimização, mas um habilitador crítico para a escalabilidade dos MLLMs. Sua significância reside em:

• Compreensão de Contexto Longo em One-Shot: Ao condensar informações em tokens densos, os MLLMs podem processar repositórios de código inteiros ou vídeos longos em uma única passagem sem exigir reformulações arquitetônicas como o RingAttention.
• Melhoria do Alinhamento de Modalidades: Métodos de compressão, particularmente a destilação baseada em query, podem melhorar o alinhamento entre entradas multimodais e representações de linguagem ao filtrar informações de baixa densidade ou irrelevantes.
• Sinergia Ortogonal: O artigo observa que a compressão de tokens (reduzindo o comprimento da sequência $N$) é estruturalmente ortogonal à compressão de pesos (reduzindo a dimensão do modelo $D$), sugerindo que combinar essas abordagens (ex: quantização + poda de tokens) pode gerar ganhos de eficiência compostos.

Direções Futuras Identificadas:

• Compressão Multimodal Conjunta: Ir além das estratégias unimodais para frameworks que exploram a sinergia cross-modal (ex: usar pistas de áudio para podar tokens de vídeo) para Omni-LLMs.
• Design de Arquitetura: Mudar da compressão remediadora para o design de modelos que intrinsecamente consideram a redundância de dados durante a abstração de características.
• Padrões de Avaliação: O artigo clama por novos benchmarks especificamente desenhados para avaliar a eficácia da compressão de tokens, indo além das métricas gerais de VQA para tarefas que exigem localização temporal fina e retenção de detalhes de alta fidelidade.

Em conclusão, este levantamento estabelece um recurso fundamental para pesquisadores e desenvolvedores, consolidando o progresso atual e delineando o caminho para Modelos de Linguagem de Grande Escala Multimodais eficientes, escaláveis e robustos.