Resumo Técnico: AsymVLM

Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) enfrentam gargalos significativos de computação e memória durante a inferência. Embora os métodos de compressão existentes frequentemente tratem tokens visuais e textuais de forma uniforme, este artigo argumenta que tal abordagem é suboptimal devido a assimetrias fundamentais entre as duas modalidades:

1. Diferenças Estruturais e Causais: Os tokens visuais são patches espacialmente redundantes gerados em uma única passagem direta sem dependência causal, permitindo sua remoção independente. Em contraste, os tokens de texto são gerados autoregressivamente com ordem causal estrita; a expulsão de um token de texto corre o risco de corromper todas as representações subsequentes.
2. Gargalos em Deslocamento: Em configurações típicas de VLM de turno único, os tokens visuais dominam a entrada (por exemplo, 2.500 tokens visuais vs. ~30 tokens de texto), tornando-se o gargalo principal durante a fase de pré-preenchimento (prefill). No entanto, na geração livre ou em diálogos de múltiplos turnos, os tokens de texto acumulam-se rapidamente, deslocando o gargalo para a fase de decodificação.
3. Dificuldade de Entrada Variável: A taxa de poda ótima não é uniforme entre as amostras. Algumas consultas exigem apenas informações visuais localizadas (permitindo poda agressiva), enquanto outras demandam varredura global (exigindo retenção conservadora). Os métodos existentes que utilizam taxas de poda fixas falham em acomodar esse espectro.

Metodologia: AsymVLM

Os autores propõem o AsymVLM, um framework de poda de tokens assimétrico que desacopla as estratégias de compressão para tokens visuais e textuais com base nas observações acima. O framework opera em duas etapas distintas:

1. Poda de Tokens Visuais (Pré-Prefill)

Aplicada antes das camadas do transformador para abordar o gargalo de pré-preenchimento, esta etapa consiste em dois componentes:

• Classificador de Importância Aprendido: Diferentemente de métodos anteriores que dependem de saliência visual ou similaridade cruzada bruta, o AsymVLM emprega um classificador leve e aprendível. Este classificador reescala as dimensões de incorporação usando um vetor de pesos aprendível ($w$) para alinhar melhor a classificação dos tokens com a preservação da saída final do modelo. Ele é treinado para minimizar a discrepância entre os estados ocultos dos modelos podados e não podados.
• Orçamento Adaptativo por Amostra: Reconhecendo que as lacunas de importância variam entre as entradas, o sistema calcula uma "lacuna de importância" (a diferença entre os escores de importância do percentil 75 e do percentil 25) para cada amostra. Com base nessa lacuna, uma taxa de retenção dinâmica é atribuída: amostras com uma grande lacuna (distinção clara entre tokens importantes e não importantes) recebem uma taxa de poda agressiva, enquanto amostras com uma pequena lacuna (importância uniforme) recebem uma taxa conservadora.

2. Expulsão de Tokens de Texto (Durante a Decodificação)

Aplicada apenas quando a sequência gerada excede um orçamento fixo, esta etapa aborda o gargalo de decodificação:

• Expulsão Baseada em Limiar: Os tokens de texto são retidos até que o comprimento da sequência exceda um limiar predefinido. Uma vez acionado, o sistema expulsa os tokens gerados de menor importância.
• Classificação Específica para VLM: Diferentemente dos métodos padrão de compressão de cache de LLM que rastreiam a atenção cumulativa em contextos longos, o AsymVLM aproveita a natureza de contexto curto dos VLMs. Ele pontua os tokens com base na atenção recebida na camada final do transformador da etapa de decodificação atual. Crucialmente, ele protege todos os tokens de pré-preenchimento (imagens e prompts) contra expulsão, pois estes carregam contexto irreplaceável para turnos subsequentes.

Principais Contribuições

1. Análise Sistemática: O artigo fornece uma análise estrutural que revela a assimetria fundamental entre tokens visuais e textuais em VLMs, argumentando que a compressão consciente da modalidade é essencial para a eficiência.
2. Framework de Dupla Estratégia: O AsymVLM introduz um framework que combina poda de tokens visuais consciente da consulta (pré-transformador) com expulsão de tokens de texto sob restrição de orçamento (durante a decodificação).
3. Classificador Aprendido com Orçamento Adaptativo: Os autores introduzem um classificador que otimiza para a preservação da saída em vez de apenas similaridade semântica, acoplado a um mecanismo que ajusta dinamicamente as taxas de poda com base na distribuição de importância da entrada.
4. Avaliação Abrangente: Extensos experimentos demonstram que a abordagem alcança eficiência e precisão superiores em comparação com as bases de referência mais avançadas.

Resultados Experimentais

O framework foi avaliado no Phi-3.5-Vision (dominante em visão) e no Gemma 3 (dominante em texto em cenários de geração longa) em sete benchmarks (DocVQA, ChartQA, MME, TextVQA, OCRVQA, LLaVA-Bench, MMDU).

• Eficiência: O AsymVLM alcança a maior economia de FLOPs entre os métodos comparados, atingindo até 54% com retenção de 50% dos tokens visuais. É o único método que reduz fisicamente o comprimento da sequência antes do transformador, resultando em reduções proporcionais no pico de memória e no tamanho do cache KV (redução de até 75% no pico de memória).
• Precisão em Tarefas Localizadas: Em tarefas de compreensão de documentos e gráficos (DocVQA, ChartQA), onde a informação visual é localizada espacialmente, o AsymVLM supera os métodos existentes (FastV, SparseVLM) em 2–3% com taxas de retenção de 65–75%. Por exemplo, no DocVQA com 65% de retenção, ele alcança 85,07% de ANLS, comparado a 81,74% para o FastV.
• Tarefas Holísticas: Em benchmarks holísticos (MME, TextVQA), onde a importância dos tokens é mais uniforme, o AsymVLM mantém precisão competitiva, frequentemente superando ligeiramente as bases de referência.
• Desempenho de Expulsão de Texto: Em cenários dominados por texto (Gemma 3), a estratégia de expulsão baseada em limiar supera substancialmente os métodos padrão de cache de LLM (H2O, StreamingLLM). No MMDU (diálogo de múltiplos turnos), o AsymVLM alcança uma pontuação de 7,03 com 90% de retenção, significativamente superior aos 5,61 alcançados pelas bases de referência. As bases de referência degradam-se severamente porque tratam tokens de visão e prompt como candidatos à expulsão, enquanto o AsymVLM os protege.

Significado e Alegações

O artigo afirma que o AsymVLM representa uma mudança da compressão uniforme para estratégias conscientes da modalidade. Ao reconhecer que os tokens visuais são um problema de seleção de entrada e os tokens de texto são um problema de gerenciamento de cache, o framework alcança os maiores ganhos de eficiência (até 54% de redução de FLOPs) enquanto mantém ou melhora a precisão em tarefas complexas e específicas da consulta. Os autores enfatizam que seu classificador aprendível generaliza efetivamente através de diferentes layouts visuais e tipos de perguntas sem ajuste específico para a tarefa, e que sua estratégia de expulsão de texto é especificamente adaptada à natureza de contexto curto e fundamentada em imagens da inferência de VLMs, evitando as armadilhas de aplicar técnicas de compressão de LLM de contexto longo diretamente a VLMs.

Limitações: Os autores observam que a avaliação está atualmente limitada ao Phi-3.5-Vision e ao Gemma 3, e a generalização para outras arquiteturas (por exemplo, VLMs baseados em LLaMA, Qwen-VL) requer validação adicional. Além disso, a estratégia de expulsão de texto utiliza um limiar fixo e não foi testada em diálogos de múltiplos turnos muito longos (50+ turnos).