Resumo Técnico: Poda de Tokens Visuais Densos Consciente de Entropia (EADP)

Declaração do Problema

Os Modelos de Linguagem-Visão (VLMs) enfrentam gargalos computacionais significativos devido aos custos de autoatenção quadrática associados ao processamento de grades densas de tokens de patches visuais. Embora a poda de tokens visuais seja uma estratégia padrão para mitigar isso, retendo apenas um subconjunto de tokens informativos, os métodos existentes frequentemente falham sob restrições rigorosas de implantação. Os autores identificam dois modos de falha críticos nos paradigmas atuais:

1. Dispersão de Ruído Textual: Estratégias de orientação densa padrão, que computam a similaridade cross-modal entre cada token de texto e o token visual, são corrompidas por palavras funcionais e pontuação. Esses elementos produzem respostas de similaridade amplamente dispersas e quase uniformes, que criam um "piso de ruído" indiscriminado, abafando os picos localizados de entidades semânticas significativas.
2. Fragmentação de Características e Redundância: As estratégias de seleção Top-K padrão tendem a se concentrar excessivamente em algumas poucas regiões locais altamente discriminativas (por exemplo, amostrando repetidamente a cabeça de um objeto), enquanto ignoram partes semânticas integrais. Isso leva à fragmentação de características e a um desperdício do orçamento limitado de tokens em máximos locais redundantes, falhando em fornecer uma representação visual holística.

Metodologia: Poda de Tokens Densos Consciente de Entropia (EADP)

O EADP reformula a poda de tokens visuais como um problema de compressão estruturada consistindo em duas etapas principais: pontuação de relevância de instrução robusta e seleção de tokens não redundantes.

1. Pontuação Densa Consciente de Dispersão

Para abordar o ruído textual, o EADP introduz um mecanismo de denoising (redução de ruído) guiado por entropia para a pontuação de relevância da instrução:

• Cálculo de Similaridade Densa: Ele computa similaridades de cosseno cross-modais entre tokens de texto CLIP não-EOS e tokens visuais projetados.
• Filtragem Guiada por Entropia: A distribuição de similaridade espacial de cada token de texto é convertida em uma distribuição de probabilidade. A Entropia de Informação desta distribuição é calculada para quantificar a dispersão. Tokens de alta entropia (que indicam atenção dispersa, típica de palavras funcionais) são filtrados, enquanto tokens de baixa entropia (que indicam atenção concentrada em entidades específicas) são retidos.
• Agregação Ponderada: Os tokens de texto retidos são ponderados com base em sua entropia (entropia menor recebe maior peso) e agregados para formar uma pontuação de orientação densa ($S_D$).
• Fusão de Pontuação: Esta pontuação densa é fundida com uma pontuação de orientação global ($S_G$) derivada do token EOS do CLIP para equilibrar detalhes finos com o contexto semântico macroscópico, resultando em uma pontuação de relevância de instrução robusta ($S_I$).

2. Suavização Espacial e Seleção Submodular

Para abordar a fragmentação de características e a redundância, o EADP substitui a seleção Top-K ingênua por uma abordagem estruturada:

• Continuidade Espacial e Polarização: O mapa de pontuação de relevância é remodelado em 2D e suavizado usando um kernel Gaussiano para propagar ativações para partes estruturais adjacentes. Uma etapa de polarização de pontuação não linear (afiação exponencial) é então aplicada para reamplificar regiões salientes e suprimir o ruído de fundo suavizado.
• Maximização Submodular: A seleção de tokens é formulada como um problema de Maximização Submodular de Localização de Instalações (Facility Location). A função objetivo maximiza a soma das similaridades ponderadas, garantindo que cada token na imagem original seja bem representado por seu correspondente mais similar no subconjunto selecionado.
• Otimização Gananciosa (Greedy): Este objetivo é submodular, permitindo um algoritmo ganancioso eficiente com uma garantia de aproximação teórica de $(1 - 1/e)$. Isso garante que o subconjunto selecionado cubra todas as partes semânticas da imagem enquanto penaliza a redundância local.

Principais Contribuições

1. Identificação de Gargalos de Poda: O artigo analisa e identifica sistematicamente a dispersão do ruído textual na orientação densa e a fragmentação de características inerente à seleção Top-K padrão como causas primárias de degradação de desempenho nos métodos de poda existentes.
2. Pontuação Densa Consciente de Entropia: Um novo mecanismo é proposto para quantificar e filtrar o ruído textual usando entropia estatística sem depender de parsers de PLN externos. Isso resulta em uma pontuação de relevância de instrução de granularidade fina e robusta ao ruído.
3. Seleção de Tokens Submodular com Priores Espaciais: Os autores reformulam a seleção de tokens como um problema de maximização submodular de localização de instalações. Acoplado à suavização espacial e polarização de pontuação, isso garante representatividade de características holística e penaliza explicitamente a redundância, superando as limitações da busca gananciosa por picos (greedy peak-chasing).

Resultados Experimentais

O EADP foi avaliado em múltiplas arquiteturas de VLM (LLaVA-1.5, LLaVA-NeXT, LLaVA-Video, Qwen2.5-VL e Qwen3-VL) e diversos benchmarks (VQAv2, GQA, MME, MMBench, MM-Vet, DocVQA, etc.).

• Desempenho: O EADP atinge consistentemente o desempenho de Estado da Arte (SoTA) em todos os orçamentos de tokens testados. Por exemplo, no LLaVA-1.5-7B com 128 tokens retidos (77,8% de poda), o EADP alcança uma precisão média de 63,5, superando baselines fortes como CDPruner (63,2) e DivPrune (62,5).
• Robustez: O método demonstra robustez superior sob compressão extrema (por exemplo, retendo apenas 32 tokens) e entradas de alta resolução (LLaVA-NeXT com 2880 tokens), onde mantém um desempenho quase sem perdas em comparação com baselines de tokens totais.
• Eficiência: Embora o EADP introduza um overhead computacional marginal devido à pontuação densa e otimização submodular, ele entrega aceleração significativa na latência de inferência end-to-end (por exemplo, 1,5x–2,0x de aceleração) e reduz os FLOPs em até 66% em comparação com modelos não podados.
• Generalização: A abordagem generaliza efetivamente através de diferentes escalas de modelo (de 3B a 13B parâmetros) e modalidades (imagens estáticas e vídeo), destacando-se particularmente em tarefas que exigem raciocínio de granularidade fina e compreensão de documentos.

Significância e Alegações

O artigo afirma que a poda de tokens visuais não é meramente uma tarefa de pontuação, mas um problema de compressão estruturada que requer tanto saliência robusta ao ruído quanto cobertura visual holística. Ao abordar os gargalos específicos da dispersão de ruído textual e da fragmentação de características, o EADP avança significativamente o equilíbrio entre precisão e eficiência para VLMs. Os autores afirmam que seu framework fornece uma solução matematicamente fundamentada que preserva robustamente pistas visuais de granularidade fina sob orçamentos estritos de tokens, tornando-o altamente adequado para aplicações multimodais em tempo real e com recursos limitados. O trabalho sugere que futuras estratégias de poda devem ir além das heurísticas simples de Top-K para incorporar priores estruturais e mecanismos de pontuação conscientes de ruído.