Resumo Técnico: Evolução Espectral para Guia de Poda de Tokens em Modelos de Linguagem de Grande Escala Multimodais

1. Definição do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) alcançaram progressos significativos no raciocínio visual e no diálogo, mas sofrem com altos custos computacionais devido ao processamento de centenas a milhares de tokens visuais por amostra. Essa ineficiência é particularmente aguda em cenários de imagem e vídeo de alta resolução.

Métodos de poda de tokens existentes tentam mitigar isso reduzindo a redundância dos tokens visuais. No entanto, as abordagens atuais dependem tipicamente de sinais de camada única, como escores de atenção, magnitudes de características ou métricas de similaridade computadas dentro de uma camada específica do Transformer. Os autores identificam duas limitações críticas nesses métodos:

1. Viés Posicional: Os escores de atenção frequentemente exibem um viés em direção aos tokens que aparecem mais tarde na sequência achatada devido aos efeitos de codificação posicional, em vez de refletir a verdadeira importância semântica.
2. Representação Estática: Sinais de camada única negligenciam a transformação entre camadas das representações visuais. Nos MLLMs, os tokens visuais passam por uma evolução estruturada de detalhes espaciais de baixo nível para abstrações semânticas de alto nível à medida que passam pelas camadas do decodificador LLM. Sinais instantâneos falham em capturar essa transição dinâmica, levando à potencial poda de tokens semanticamente ativos ou à retenção de tokens de fundo redundantes.

2. Metodologia: Evolução Espectral Entre Camadas (CLSE)

Para abordar essas limitações, os autores propõem o Cross-Layer Spectral Evolution (CLSE), um framework de poda de tokens livre de treinamento (training-free). Em vez de medir a importância do token com base na magnitude da característica ou intensidade da atenção em um único ponto, o CLSE quantifica como as representações dos tokens evoluem através das camadas do Transformer no domínio da frequência.

Mecanismo Central

O método opera sobre a observação de que tokens semanticamente ativos passam por uma redistribuição espectral significativa (transicionando de detalhes estruturais de alta frequência para abstrações semânticas de baixa frequência) através das camadas, enquanto tokens de fundo redundantes permanecem relativamente estacionários no domínio da frequência.

O pipeline CLSE envolve as seguintes etapas:

1. Projeção de Frequência: Tokens visuais em uma camada específica $\ell$ são remodelados em mapas de características espaciais 2D e transformados para o domínio da frequência usando a Transformada Rápida de Fourier (FFT).
2. Filtragem Passa-Alta: Um filtro passa-alta Gaussiano é aplicado ao espectro para suprimir padrões globais de baixa frequência e isolar a energia estrutural de alta frequência. Isso isola a informação estrutural "residual".
3. Cálculo da Evolução Espectral: O método computa a diferença normalizada entre as distribuições de energia de alta frequência de camadas adjacentes ($\ell$ e $\ell+1$).
   • Seja $\mathbf{S}_\ell$ a distribuição espacial da energia de alta frequência na camada $\ell$.
   • A intensidade da evolução $\mathcal{I}^{(\ell)}$ é calculada como:
     $$\mathcal{I}^{(\ell)} = \text{clip}\left( \frac{|\mathbf{S}_{\ell+1} - \mathbf{S}_{\ell}|}{\mathbf{S}_{\ell} + \overline{\mathbf{S}}_{\ell} + \epsilon}, 0, \tau_{\max} \right)$$
   • Aqui, $\overline{\mathbf{S}}_{\ell}$ é a energia média entre os tokens, atuando como um regularizador para suprimir flutuações menores em regiões inativas.
4. Seleção de Tokens: Tokens com escores de intensidade de evolução mais altos são considerados semanticamente ativos e preservados. Tokens com escores baixos (indicando representações estáticas e redundantes) são podados.

Integração

O CLSE é integrado nas camadas iniciais do decodificador LLM (especificamente entre os embeddings de entrada e a saída da primeira camada do decodificador). Ele serve como um módulo plug-and-play que guia a seleção de tokens antes que as camadas subsequentes processem a sequência reduzida. O framework é ortogonal às estratégias de fusão de tokens (token merging) e pode ser combinado com elas (ex: CLSE-M).

3. Principais Contribuições

O artigo descreve três contribuições primárias:

1. Framework de Evolução Espectral Entre Camadas (CLSE): Um princípio inovador para estimativa de importância de tokens que caracteriza a evolução das representações visuais de detalhes estruturais para abstrações semânticas através das camadas do LLM, indo além de estatísticas de camada única.
2. Estratégia de Poda Livre de Treinamento: Uma implementação prática que identifica e remove tokens redundantes durante a inferência sem exigir retreinamento do modelo ou modificação de pesos. Ele aproveita a dinâmica espectral para preservar tokens que passam por mudanças representacionais significativas.
3. Validação Empírica: Experimentos extensos em diversos benchmarks de imagem e vídeo demonstrando que o CLSE alcança um equilíbrio superior entre eficiência e precisão, particularmente sob taxas agressivas de redução de tokens.

4. Resultados Experimentais

Os autores avaliaram o CLSE em múltiplos MLLMs (LLaVA-1.5, LLaVA-Next, Qwen2-VL) e benchmarks (GQA, MMB, POPE, SQA, VQAText, etc.).

Compreensão de Imagem

• Desempenho: No LLaVA-1.5-7B, o CLSE alcançou uma precisão média de 99,4% em relação ao modelo de tokens completos ao reter apenas 192 tokens (redução de 66,7%), superando métodos de estado da arte como FastV (92,1%) e PDrop (96,9%).
• Redução Agressiva: Mesmo com 88,9% de redução (64 tokens), o CLSE manteve 94,8% de desempenho, superando significativamente os competidores que sofreram maior degradação.
• Generalização: O método demonstrou melhorias consistentes em diferentes arquiteturas de modelos (LLaVA-Next-7B, Qwen2-VL-7B/72B), mantendo alta precisão onde métodos baseados em atenção falharam.

Compreensão de Vídeo

• Compressão Extrema: No Video-LLaVA, comprimindo tokens de 2048 para 194 (>90% de redução), o CLSE alcançou 35,7% de precisão média (usando avaliação GPT-4o-mini), comparado a 26,1% para o FastV.
• Variante de Fusão de Tokens (CLSE-M): Ao recuperar os tokens podados e agrupá-los com base nos escores espectrais, o CLSE-M igualou o desempenho do modelo original (38,7% de precisão) enquanto reduzia os FLOPs em ~90%.

Eficiência

• Custo Computacional: O CLSE reduz significativamente os FLOPs e a memória do cache KV. No LLaVA-1.5-7B, alcançou um aceleração de 1,50× no tempo de preenchimento (prefilling) com os menores FLOPs (43,9%) entre os métodos comparados.
• Escalabilidade: Diferente da poda baseada em atenção, que exige o cálculo de atenção "Eager" (complexidade quadrática $O(N^2)$) para extrair pesos, o CLSE depende da FFT, mantendo uma complexidade quase linear $O(N \log N)$. Isso garante que o overhead do próprio mecanismo de poda permaneça baixo mesmo para sequências longas.

5. Significância e Alegações

O artigo afirma que a Evolução Espectral Entre Camadas fornece um sinal mais confiável para a importância do token do que métricas instantâneas de atenção ou de magnitude.

• Mitigação de Viés: Ao analisar a mudança na representação entre as camadas em vez do estado em uma única camada, o CLSE mitiga o viés posicional inerente aos escores de atenção.
• Fidelidade Semântica: O método alinha-se ao entendimento teórico de que o decodificação de MLLM envolve uma transição de detalhes espaciais para abstrações semânticas. Tokens que participam ativamente dessa transição (exibindo evolução espectral) são preservados, enquanto tokens de fundo estáticos são removidos.
• Robustez: A abordagem é robusta em diferentes níveis de compressão e escalas de modelos, oferecendo um caminho estável para acelerar MLLMs sem necessidade de retreinamento.

Os autores concluem que modelar a dinâmica de representação no domínio da frequência oferece uma direção promissora para o raciocínio multimodal eficiente, incentivando a exploração adicional de representações espectrais em MLLMs.