Resumo Técnico: CAPA – Poda Consciente de Contribuição e Aproximação de FFN para Modelos de Visão-Linguagem de Grande Escala Eficientes

1. Declaração do Problema

Os Modelos de Visão-Linguagem de Grande Escala (LVLMs) enfrentam gargalos computacionais significativos devido ao alto custo de processar milhares de tokens visuais, particularmente ao lidar com imagens de alta resolução. Embora a poda de tokens visuais tenha surgido como uma estratégia de aceleração primária, os métodos existentes dependem fortemente de escores de atenção brutos ou métricas heurísticas derivadas deles para identificar tokens não importantes. Os autores argumentam que os escores de atenção são um substituto imperfeito para a importância real do token porque ignoram a magnitude dos vetores de valor associados.

Além disso, as abordagens atuais frequentemente tratam tokens visuais e de texto de forma uniforme. No entanto, evidências recentes sugerem que os backbones de LVLM processam essas modalidades de forma diferente. Especificamente, a redundância em Redes de Alimentação Direta (FFNs) em relação aos tokens visuais permanece amplamente inexplorada. Trabalhos anteriores no domínio de LLMs exploraram a aproximação de FFN (ex: aproximação esparsa, MoE), mas essas técnicas não foram estendidas aos padrões específicos de redundância de tokens visuais em LVLMs.

2. Análise Empírica e Observações Chave

Os autores conduziram análises empíricas em LVLMs (LLaVA-1.5, Qwen2.5-VL, InternVL3) para desconstruir os comportamentos dos tokens visuais, levando a duas observações críticas:

1. Heterogeneidade de Sumidouros de Atenção (Attention Sinks):

   • Os tradicionais "sumidouros de atenção" (tokens com massa de atenção desproporcionalmente alta) não são funcionalmente uniformes.
   • Utilizando uma nova métrica, a Contribuição de Atenção, os autores distinguem dois tipos de sumidouros:
     • Tipo I (Dumps de Probabilidade): Tokens com altos pesos de atenção, mas baixas magnitudes de vetores de valor. Eles atuam como receptáculos passivos para o excesso de massa de probabilidade e contribuem de forma insignificante para o fluxo residual. São seguros para poda.
     • Tipo II (Âncoras Estruturais): Tokens com altos pesos de atenção e magnitudes de vetores de valor massivas. Estes são críticos para manter o desempenho do modelo; sua remoção causa colapso representacional.
   • Conclusão: Depender apenas de escores de atenção falha em distinguir entre esses dois tipos, levando à poda acidental de tokens essenciais.

2. Redundância Dependente de Modalidade:

   • Os autores mediram a linearidade das transformações de FFN calculando a similaridade de cosseno entre o estado oculto de entrada $x$ e a saída residual $x + \text{FFN}(x)$.
   • Descobertas: Os tokens de imagem exibem um mapeamento quase identidade (similaridade > 0,96) na maioria das camadas intermediárias, indicando que as transformações de FFN são efetivamente lineares e redundantes para dados visuais. Em contraste, os tokens de texto mostram significativa não-linearidade nas camadas iniciais e médias.
   • Conclusão: As custosas computações de FFN $O(d^2)$ para tokens visuais em camadas intermediárias podem ser substituídas por aproximações lineares leves sem comprometer a integridade representacional.

3. Metodologia: Estrutura CAPA

Com base nessas descobertas, os autores propõem o CAPA (Contribution-Aware Pruning and FFN Approximation), uma estrutura de estratégia dupla:

A. Poda Consciente de Contribuição

Em vez de usar escores de atenção brutos, o CAPA calcula um Escore de Contribuição de Atenção ($C_i$) para cada token visual $i$. Este escore pondera a probabilidade de atenção pela magnitude do vetor de valor projetado pela matriz de saída.

• Fórmula: $C_i = \left\| \sum_{h=1}^{H} A_{i,h} (x_i W_{V,h}) W_{O,h} \right\|_2$
• Mecanismo: Durante a geração, o sistema seleciona dinamicamente os top-$k$ tokens visuais com os maiores escores de contribuição para manter no cache de chave-valor (key-value cache), podando aqueles com contribuição negligenciável. Isso garante que as "Âncoras Estruturais" sejam preservadas enquanto os "Dumps de Probabilidade" são removidos.

B. Identificação de Redundância e Aproximação de FFN

Para camadas identificadas como tendo alta redundância (onde a similaridade de cosseno entrada-saída excede um limiar $\eta$), o CAPA substitui a FFN densa padrão por um produto de Hadamard leve.

• Aproximação: O bloco residual $y^{(l)} = x^{(l)} + \text{FFN}(x^{(l)})$ é aproximado como $\hat{y}^{(l)} = x^{(l)} \odot \alpha$, onde $\alpha$ é um vetor de escalonamento elemento a elemento aprendido.
• Redução de Complexidade: Isso reduz a complexidade computacional da camada de $O(d^2)$ para $O(d)$.
• Otimização: O vetor de escalonamento $\alpha$ ideal é derivado analiticamente usando uma solução de Mínimos Quadrados Ordinários (OLS) em um conjunto de calibração, evitando o gradiente descendente iterativo.

4. Resultados Experimentais

A estrutura foi avaliada em três backbones de LVLM (LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B) através de seis benchmarks (VQAv2, MMBench, MMVet, TextVQA, SEED-Bench, MMMU).

• Desempenho vs. Baselines: O CAPA consistentemente superou as baselines de poda existentes (FastV, Feather, Poda Uniforme) em todos os benchmarks. Notavelmente, em "camadas de transição" críticas onde a poda é mais sensível, o CAPA manteve o desempenho próximo ao modelo Vanilla não podado, enquanto as baselines sofreram degradação significativa.
• Robustez: O CAPA demonstrou robustez superior em níveis de esparsidade elevados. Enquanto as baselines experimentaram quedas abruptas de desempenho além de 50% de poda, o CAPA manteve precisão próxima à do modelo original mesmo com 75% de poda.
• Ganhos de Eficiência:
  • Poda de Tokens: Reduziu o custo quadrático associado ao comprimento da sequência.
  • Aproximação de FFN: Eliminou o custo dominante de $O(d^2)$ em camadas redundantes.
  • Impacto Total: A abordagem combinada alcançou uma redução de 78% nos FLOPs totais enquanto preservava o desempenho da tarefa.
• Estudos de Ablação:
  • Divergência de Logit: A poda baseada na Contribuição de Atenção resultou em menores distâncias de Hellinger (mais próximas da distribuição de saída do modelo vanilla) em comparação com a poda baseada em escore de atenção, especialmente em geração de longo formato.
  • Substituição de FFN: Simplesmente pular as camadas de FFN causou quedas de desempenho, mas substituir as mesmas pelo produto de Hadamard recuperou com sucesso a maior parte do desempenho perdido, validando a hipótese de linearidade.

5. Significância e Alegações

O artigo afirma que o CAPA aborda uma lacuna crítica na otimização de LVLMs ao reconhecer que os tokens visuais se comportam de forma diferente dos tokens de texto tanto nos mecanismos de atenção quanto no processamento de FFN.

• Mudança no Paradigma de Poda: Os autores argumentam que os escores de atenção são insuficientes para a seleção de tokens. Ao introduzir a Contribuição de Atenção, eles fornecem um sinal mais fiel para identificar quais tokens visuais são funcionalmente necessários.
• Otimização Específica de Modalidade: O trabalho destaca que os ganhos de eficiência em LVLMs requerem estratégias distintas para modalidades visuais e de texto. Especificamente, a identificação da redundância linear nos FFNs visuais permite uma simplificação arquitetônica que não é aplicável ao processamento de texto.
• Compromisso Eficiência-Desempenho: O CAPA alcança um compromisso favorável, entregando aceleração substancial de inferência (redução de 78% nos FLOPs) sem comprometer a robustez do modelo ou o desempenho da tarefa, superando as baselines de apenas poda de tokens.

6. Limitações

Os autores reconhecem que o CAPA é uma estratégia post-hoc que opera sobre backbones pré-treinados fixos. Consequentemente, ele não pode explorar totalmente os benefícios da seleção de tokens e computação do modelo aprendidas conjuntamente. O trabalho futuro é sugerido na direção de:

• Projetar controladores aprendidos para retenção adaptativa de tokens.
• Desenvolver backbones de visão-linguagem com módulos FFN nativos e eficientes adaptados para tokens visuais.
• Avaliar essas estratégias através de diversas mudanças de distribuição e investigar a interpretabilidade das políticas aprendidas.