Resumo Técnico: Similaridade Desacoplada para Poda de Tokens Consciente de Tarefa em Grandes Modelos Visuais-Linguísticos

1. Declaração do Problema

Grandes Modelos Visuais-Linguísticos (LVLMs) alcançaram progressos significativos na ponte entre as modalidades visual e linguística, mas sofrem com uma sobrecarga computacional substancial. Essa ineficiência decorre principalmente do processamento de um grande número de tokens visuais, que frequentemente excedem em muito os tokens de texto, especialmente em imagens de alta resolução e vídeos de múltiplos quadros.

Os métodos atuais de poda de tokens sem treinamento visam mitigar isso descartando tokens menos informativos. No entanto, as abordagens atuais geralmente recaem em dois paradigmas que sofrem de limitações inerentes:

• Poda Centrada no Visual: Baseia-se em sinais de atenção do codificador visual (ex: atenção [CLS]). Esses métodos tendem a focar em semânticas globais e regiões salientes, muitas vezes negligenciando detalhes locais finos e falhando em alinhar-se com requisitos de tarefas específicas.
• Poda Centrada na Tarefa: Baseia-se na atenção cross-modal do decodificador LLM. Esses métodos frequentemente introduzem a orientação da tarefa tarde demais (durante a fase de prefill) e exibem vieses espaciais (ex: favorecendo regiões inferiores da imagem devido à ordenação da sequência) ou vieses semânticos globais que não refletem fielmente a importância do token.

O problema central identificado é que os métodos existentes dependem de fontes de atenção individuais que são enviesadas e incompletas, levando a decisões de poda subótimas que ou perdem detalhes visuais críticos ou falham em preservar informações relevantes para a tarefa sob razões de poda agressivas.

2. Metodologia: DeSAP

Os autores propõem o DeSAP (Decoupled Similarity-Aware Pruning - Poda Consciente de Similaridade Desacoplada), um novo método projetado para realizar uma poda de tokens visuais precisa e consciente da tarefa antes da decodificação do LLM. A metodologia é construída sobre três componentes principais:

A. Análise Empírica e Decomposição

Através de um estudo empírico, os autores observam que:

1. O viés semântico global nos codificadores visuais corrompe a estimativa de similaridade por token convencional, levando a um desalinhamento entre os tokens visuais e de texto.
2. A decomposição do estado oculto do codificador visual em componentes residual e de atenção revela que o componente de atenção desacoplado preserva melhor os detalhes locais e a semântica fina do que o componente residual (global).

Com base nisso, o DeSAP decompõe o estado oculto visual da última camada ($S^l_v$) em:

• Resíduo Desacoplado ($S^d$): Captura padrões semânticos globais.
• Atenção Desacoplada ($A^d$): Captura detalhes semânticos localizados e finos.

B. Alinhamento Cross-Modal de Grão Fino

Em vez de usar a similaridade de cosseno padrão entre estados ocultos e embeddings de texto (que herda o viés global), o DeSAP calcula uma Similaridade Desacoplada. Isso envolve o cálculo da similaridade de cosseno entre o componente de atenção desacoplado ($A^d$) e os embeddings de texto ($S_q$).
Para refinar ainda mais, o método emprega uma estratégia de Alinhamento Cross-Modal de Grão Fino (FCMA). Ele pondera as similaridades de pares de tokens com base na relevância de cada token para a representação global da modalidade complementar (usando [EOS] para texto e tokens visuais globais para visão). Isso cria um mapa de atenção confiável e relevante para a tarefa ($A_t$) que destaca regiões específicas alinhadas com a consulta textual.

C. Poda de Tokens Guiada por Dupla Fonte

O DeSAP integra duas fontes de informação para avaliar a importância do token:

1. Atenção Relevante à Tarefa ($A_t$): Derivada da similaridade desacoplada, guiando a seleção de tokens relevantes para a consulta específica.
2. Atenção Semântica Saliente ($A_s$): Derivada da autoatenção do codificador visual (ex: atenção [CLS]), fornecendo pistas visuais holísticas.

O processo de poda segue uma estratégia de Rank & Prune (Classificar e Podar):

• Seleciona os top $k_1$ tokens baseados em $A_t$ (relevância da tarefa).
• Seleciona os top $k_2$ tokens baseados em $A_s$ (saliência visual) a partir do conjunto restante.
• O conjunto final combina pistas visuais globais e específicas da tarefa.
• Fusão de Tokens (Token Merging): Os tokens descartados são fundidos aos tokens retidos mais similares via agrupamento (clustering) para mitigar a perda de informação sem aumentar a contagem de tokens.

3. Principais Contribuições

• Análise Empírica: O artigo fornece uma análise aprofundada dos paradigmas de poda existentes, revelando que a atenção do codificador visual é enviesada para a semântica global e que a similaridade convencional é insuficiente para o alinhamento de grão fino. Introduz a perspectiva de decompor características visuais em componentes residual e de atenção para preservar detalhes locais.
• Framework DeSAP: A proposta de um novo método de poda que utiliza a atenção desacoplada para derivar pistas de tarefas precisas via alinhamento cross-modal de grão fino. Ele integra unicamente essas pistas de tarefa com sinais de saliência visual para permitir uma poda robusta antes da decodificação do LLM.
• Desempenho: Experimentos extensos demonstram que o DeSAP supera consistentemente os métodos de estado da arte (SOTA) em diversos benchmarks e arquiteturas de modelos.

4. Resultados Experimentais

Os autores avaliaram o DeSAP em três LVLMs (LLaVA-1.5-7B, LLaVA-NeXT-7B e Qwen2.5-VL-7B) através de oito benchmarks (incluindo GQA, MME, POPE, VQAv2, etc.).

• Acurácia: No LLaVA-1.5-7B com uma razão de poda agressiva de 88,9% (retendo apenas 11,1% dos tokens, ou seja, 64 tokens), o DeSAP alcançou 98,1% do desempenho do modelo original. Notavelmente, com um orçamento de 192 tokens, ele superou ligeiramente o desempenho do modelo completo em 0,3%.
• Comparação: O DeSAP superou métodos SOTA como HoloV, FlowCut e VisionZip. Na razão de poda de 88,9%, superou o segundo melhor método (HoloV) em uma média de 2,3% no LLaVA-1.5-7B.
• Eficiência: No benchmark POPE, o DeSAP alcançou uma redução de 9,1× em FLOPs e um aceleração de 2,3× no prefill em comparação com o modelo completo, com apenas uma queda de 0,1% na acurácia. Também demonstrou trocas de eficiência-acurácia superiores em comparação ao SparseVLM e HoloV sob FLOPs equivalentes.
• Generalização: O método manteve um desempenho robusto no LLaVA-NeXT-7B (alta resolução) e Qwen2.5-VL-7B, superando consistentemente os baselines em várias razões de poda.

5. Significância e Alegações

O artigo afirma que o DeSAP aborda a limitação crítica dos métodos de poda existentes ao introduzir a consciência da tarefa mais cedo no pipeline (no lado do codificador) sem depender de distribuições de atenção enviesadas. Ao desacoplar as características visuais e utilizar o alinhamento cross-modal de grão fino, o DeSAP mitiga o colapso representacional tanto das perspectivas visuais quanto de tarefas.

Os autores asseguram que sua abordagem guiada por dupla fonte permite uma poda de tokens robusta mesmo sob razões agressivas, preservando informações cruciais que outros métodos descartam. O trabalho demonstra que integrar a orientação da tarefa com a saliência visual é mais eficaz do que depender da correção de viés dentro de uma única fonte de atenção, oferecendo um passo significativo para a eficiência e escalabilidade dos LVLMs para aplicações práticas.