ASAP: Attention-Shift-Aware Pruning for Efficient LVLM Inference

Título: ASAP: Poda Consciente de Deslocamento de Atenção para Inferência Eficiente de LVLMs

1. O Problema

Os Modelos de Linguagem e Visão Grandes (LVLMs) têm demonstrado capacidades excepcionais em tarefas multimodais. No entanto, a adoção prática desses modelos é limitada por um gargalo computacional crítico: o custo quadrático do processamento de tokens visuais de alta resolução.

• Explosão de Tokens: Enquanto modelos anteriores (como LLaVA-1.5) convertiam uma imagem em ~576 tokens, modelos modernos de alta resolução (como LLaVA-NeXT) dividem a imagem em "tiles", gerando até ~2.304 tokens ou mais.
• Limitação da Poda Existente: As estratégias atuais de poda de tokens (token pruning) falham em dois aspectos principais:
  1. Ignorância do Contexto: Métodos que podam no codificador de visão (antes do LLM) não consideram a consulta do usuário (texto), levando à perda de informações relevantes para a tarefa.
  2. Fenômeno de "Deslocamento de Atenção" (Attention Shift): Métodos que usam os valores de atenção do LLM para selecionar tokens sofrem de um viés estrutural. Devido ao uso de Posicionamento Rotatório (RoPE), tokens visuais que aparecem mais tarde na sequência (geralmente na parte inferior da imagem devido à serialização 1D) recebem pontuações de atenção artificialmente altas, independentemente do seu conteúdo semântico. Isso faz com que a poda baseada em atenção retenha regiões irrelevantes (como o céu ou fundo) e descarte detalhes críticos (como objetos distantes).

2. Metodologia (ASAP)

O ASAP (Attention-Shift-Aware Pruning) é uma receita de poda sem treinamento (training-free) e compatível com cache KV, projetada para mitigar o deslocamento de atenção e eliminar redundância semântica. O framework opera em três etapas principais dentro do backbone do LLM:

A. Poda Consciente de Deslocamento (Salience-Guided Bidirectional Attention)

Para corrigir o viés do RoPE, o ASAP relaxa a restrição causal estrita (unidirecional) para tokens visuais.

• Máscara Bidirecional Suave (SG-BiMask): Em vez de bloquear totalmente a atenção para tokens futuros (como na atenção causal padrão), o método introduz uma penalidade aditiva baseada na "saliência" estrutural do token.
• Mecanismo: Calcula-se a massa de atenção bruta de cada token. Tokens estruturalmente importantes recebem uma penalidade menor, permitindo que tokens iniciais da imagem "olhem" para tokens posteriores e vice-versa. Isso restaura o campo receptivo global necessário para a compreensão de cenas 2D, mitigando o viés de posição imposto pelo RoPE.

B. Consolidação Ponderada por Saliência (Salience-Weighted Consolidation)

Após a seleção inicial, o método identifica e funde tokens semanticamente redundantes (ex.: patches de fundo uniforme).

• Fusão Ponderada: Diferente de uma média simples, o ASAP funde tokens similares utilizando uma combinação convexa ponderada pelas pontuações de saliência (calculadas na etapa anterior).
• Direcionalidade: A fusão ocorre de tokens menos importantes para os mais importantes (âncoras estruturais), garantindo que a representação latente resultante preserve as características mais críticas e evite a diluição de recursos.

C. Realocação de Orçamento (Budget Reallocation)

A fusão de tokens libera espaços no orçamento de tokens fixo.

• Recuperação de Tokens: O sistema recupera os tokens mais salientes que foram descartados na fase de seleção inicial e os insere nos espaços liberados pela fusão. Isso maximiza a diversidade semântica e a densidade de recursos na sequência final.

3. Principais Contribuições

1. Identificação e Mitigação Estrutural do Deslocamento de Atenção: Os autores atribuem formalmente o viés de atenção em LVLMs ao mecanismo de decaimento de distância do RoPE e propõem a primeira solução estrutural (via máscara bidirecional suave) para corrigi-lo sem remover o RoPE (o que prejudicaria o raciocínio espacial).
2. Framework de Poda em Três Estágios: Integração de seleção baseada em atenção corrigida, fusão ponderada por redundância e recuperação de tokens, tudo sem necessidade de re-treinamento do modelo.
3. Compatibilidade Total: O método é "plug-and-play", compatível com cache KV padrão e suporte a conversas de múltiplas voltas (multi-turn), diferentemente de métodos que exigem treinamento adicional.

4. Resultados Experimentais

O ASAP foi testado em modelos como LLaVA-1.5, LLaVA-NeXT e InternVL 2.5 em diversos benchmarks (VQAv2, MME, MMBench, TextVQA, etc.).

• Desempenho Quase sem Perdas: Ao reduzir os FLOPs computacionais em aproximadamente 80%, o ASAP mantém 99,02% do desempenho do modelo LLaVA-NeXT-7B original.
• Superação de Baselines: O método supera consistentemente as técnicas de ponta (como FastV, PruMerge+, SparseVLM e DivPrune).
  • No LLaVA-1.5-13B, com retenção de 128 tokens, o ASAP atingiu 97,10% da performance média do modelo original, superando a melhor baseline (DivPrune) em 1,08%.
  • Em alguns benchmarks (como MME e MMBench), o ASAP até superou o desempenho do modelo original ("supra-vanilla") devido à melhor seleção de tokens informativos.
• Eficiência: Redução significativa no uso de memória de GPU e latência de inferência, mantendo a precisão.

5. Significado e Impacto

O trabalho demonstra que a eficiência em LVLMs não precisa ser alcançada apenas através de redução bruta de tokens, mas sim através de uma seleção inteligente e contextual.

• Correção de Viés Arquitetural: Ao abordar o problema fundamental do RoPE em contextos visuais, o ASAP permite que modelos de alta resolução operem com a mesma eficiência de modelos de baixa resolução, sem sacrificar a compreensão de detalhes finos.
• Viabilidade Prática: A natureza "sem treinamento" e a compatibilidade com cache KV tornam o ASAP imediatamente aplicável em sistemas de produção, permitindo a execução de LVLMs complexos em hardware limitado (edge devices) com latência reduzida.

Em resumo, o ASAP redefine o estado da arte em inferência eficiente para LVLMs, provando que a compreensão de mecanismos internos de atenção (como o deslocamento de RoPE) é crucial para otimizar o desempenho de modelos multimodais.