CLIP Tricks You: Training-free Token Pruning for Efficient Pixel Grounding in Large VIsion-Language Models

Resumo Técnico: CLIP Engana Você: Poda de Tokens sem Treinamento para Grounding de Pixels Eficiente em Grandes Modelos Visuais-Linguísticos

Declaração do Problema
Grandes Modelos Visuais-Linguísticos (LVLMs) enfrentam uma sobrecarga computacional significativa devido ao volume massivo de tokens visuais que processam, os quais frequentemente superam os tokens de texto por uma grande margem (por exemplo, 576 tokens visuais versus <100 tokens de texto no LLaVA). Embora métodos recentes de poda de tokens tenham reduzido com sucesso essa carga para tarefas gerais de compreensão de imagem, eles lutam com tarefas de grounding de pixels, como segmentação por expressão de referência. Abordagens existentes normalmente dependem de importância visual agnóstica ao texto (por exemplo, similaridade com um token [CLS] global) ou assumem que alta similaridade visual-texto indica relevância. No entanto, os autores observam que esses métodos falham em preservar tokens dentro das regiões de referência específicas definidas pelo texto de entrada, levando a desempenho degradado na segmentação.

Metodologia: LiteLVLM
O artigo introduz o LiteLVLM, uma estratégia de poda de tokens guiada por texto e sem treinamento, projetada especificamente para grounding de pixels eficiente. O método é construído sobre uma análise aprofundada do modelo CLIP, revelando dois fenômenos críticos:

1. Reversão de Similaridade Visual-Texto: Contrariando a intuição, os tokens visuais localizados dentro das regiões de referência (os objetos descritos pelo texto) exibem baixa similaridade à representação do texto (especificamente o token [EOS]) no CLIP. Por outro lado, tokens com alta similaridade frequentemente correspondem ao fundo ou contexto global. Isso é atribuído ao pré-treinamento contrastivo do CLIP, que alinha embeddings globais, mas deixa detalhes localizados de objetos menos alinhados com o vetor de texto global.
2. Poço de Atenção do Texto: A análise revela que o token [EOS] no CLIP exibe um forte viés de "poço de atenção" (attention sink), direcionando a maior parte de sua atenção para o token [SOS] (início da frase) em vez do conteúdo semântico da expressão de referência. Essa falta de foco semântico rico no token [EOS] exacerba a reversão de similaridade.

Com base nessas percepções, o LiteLVLM emprega um processo de seleção em duas etapas:

• Seleção Consciente de Similaridade: Em vez de reter tokens de alta similaridade, o LiteLVLM seleciona tokens visuais com a menor similaridade ao token [EOS]. Esses tokens são empiricamente encontrados como espacialmente alinhados com as regiões de referência, preservando pistas locais cruciais para o grounding.
• Recuperação Consciente de Contexto: Para evitar a perda de contexto global e informações de fundo necessárias para uma separação clara entre primeiro plano e fundo, o método recupera tokens adicionais com base em sua contribuição para o token [CLS] (medida via vetores de valor ponderados por atenção).
• Seleção Adaptativa: Uma estratégia adaptativa equilibra dinamicamente o orçamento entre tokens conscientes de similaridade (baixa similaridade) e tokens conscientes de contexto com base no texto de entrada, garantindo desempenho ótimo em diversas expressões de referência.

Principais Contribuições

1. Identificação de uma Falha Crítica: Os autores demonstram que métodos de poda agnósticos ao texto existentes e aqueles que dependem de alta similaridade visual-texto desempenham mal no grounding de pixels porque descartam exatamente os tokens necessários para identificar a referência.
2. Análise do CLIP: O artigo fornece uma análise inovadora do CLIP, descobrindo a reversão de similaridade visual-texto e o viés de poço de atenção do token [EOS], explicando por que heurísticas padrão de poda falham em tarefas de grounding.
3. LiteLVLM: A proposta do primeiro método de poda de tokens sem treinamento especificamente adaptado para grounding de pixels. Ele aproveita classificações de similaridade invertidas para reter tokens específicos da referência enquanto recupera contexto, não exigindo ajuste fino.

Resultados Experimentais
Extensos experimentos foram conduzidos em benchmarks de imagem e vídeo, incluindo RefCOCO, RefCOCO+, RefCOCOg, Ref-DAVIS-17 e Refer-YouTube-VOS.

• Retenção de Desempenho: O LiteLVLM supera significativamente os métodos mais avançados (por exemplo, TRIM, LLaVA-PruMerge, VisPruner). No conjunto de teste RefCOCO+, ele retém 90,3% do desempenho original enquanto poda 66,7% dos tokens visuais (reduzindo 576 para 192 tokens). Mesmo com uma redução de 88,9% (64 tokens), ele mantém uma pontuação de desempenho relativo de 79,2%, superando os concorrentes em mais de 10%.
• Grounding em Vídeo: Na segmentação de objetos em vídeo, o LiteLVLM preserva 99,5% do desempenho original com uma redução de 65,9% nos tokens, demonstrando robustez à redundância temporal.
• Eficiência: O método alcança um aceleração de inferência de 22% e uma redução de 2,3× na sobrecarga de memória (armazenamento de ativação) em comparação com o modelo padrão. Ele também reduz os FLOPs em mais de 2×.
• Generalização: A abordagem generaliza efetivamente para diferentes arquiteturas de LVLM (por exemplo, Qwen2.5-VL) e codificadores de visão (por exemplo, SigLIP-2), confirmando que não está rigidamente acoplada à implementação específica do CLIP usada na análise inicial.

Significado e Alegações
O artigo afirma que o LiteLVLM oferece uma solução prática e custo-efetiva para implantar LVLMs em dispositivos com recursos limitados (dispositivos de borda, servidores limitados) sem comprometer a precisão do grounding em nível de pixel. Ao reverter a intuição padrão de importância de tokens no CLIP, o método permite inferência eficiente enquanto mantém alta fidelidade em tarefas de segmentação. Os autores enfatizam que este é o primeiro trabalho a estender a poda de tokens para grounding de pixels em ambas as modalidades de imagem e vídeo, alcançando resultados state-of-the-art sem qualquer treinamento ou ajuste fino.