Resumo Técnico: COAST – Poda de Tokens Semânticos Adaptativa Contrastiva para Modelos Visão-Linguagem

1. Declaração do Problema: Afasia Visual na Poda de Tokens

Grandes Modelos Visão-Linguagem (LVLMs) alcançam raciocínio multimodal robusto ao processar sequências densas de tokens visuais. No entanto, a complexidade quadrática da autoatenção do decodificador exige redução de tokens visuais para melhorar a eficiência de inferência. Métodos de poda sem treinamento existentes (por exemplo, FastV, LLaVA-PruMerge) geralmente dependem de pontuações de atenção escalares de camadas rasas para classificar e descartar tokens de "baixa atenção".

Os autores identificam um modo de falha crítico nessa abordagem, denominado Afasia Visual. Esse fenômeno ocorre quando a poda prematura baseada em atenção rasa remove tokens que inicialmente têm pontuação baixa, mas tornam-se essenciais em camadas mais profundas para resolver objetos secundários, relações espaciais e pistas contextuais. Quando esses tokens são descartados, o modelo perde o ancoramento visual e recorre a priores linguísticos, levando a alucinações (por exemplo, responder "O Café do Camelo" quando perguntado sobre uma pequena placa em uma imagem dominada por um camelo). O artigo argumenta que a saliência escalar subestima inerentemente evidências visuais que emergem contextualmente e são necessárias para o raciocínio composicional.

2. Metodologia: COAST

Para abordar a Afasia Visual, os autores propõem o COAST (Poda de Tokens Semânticos Adaptativa Contrastiva), um framework sem treinamento que reencena a compressão visual como roteamento semântico adaptativo. Em vez de uma única decisão escalar, o COAST divide o orçamento de retenção em dois papéis complementares: evidência semântica (alinhada à consulta) e contexto espacial (complementar).

O framework opera em duas etapas principais nas camadas de poda agendadas:

A. Orçamentação Dinâmica Impulsionada por Entropia

O COAST reutiliza a atenção cruzada nativa para estimar a dispersão da evidência visual.

1. Cálculo da Entropia de Atenção: Calcula a entropia global de atenção texto-para-imagem ($H$) da camada precedente. Baixa entropia indica atenção concentrada em regiões específicas, enquanto alta entropia sugere evidência dispersa exigindo contexto mais amplo.
2. Divisão Adaptativa: O orçamento de tokens restante (após reservar âncoras específicas da consulta) é dividido em duas partes com base em $H$:
   • $n_1$ (Evidência Semântica): Tokens alinhados à consulta.
   • $n_2$ (Contexto Espacial Complementar): Tokens fornecendo contexto em nível de cena.
   • A divisão é adaptativa: à medida que a entropia de atenção aumenta, o orçamento desloca-se para preservar mais contexto espacial ($n_2$), garantindo que pistas dispersas não sejam perdidas.

B. Roteamento Semântico Contrastivo Âncora-Referência

Uma vez alocado o orçamento, o COAST pontua tokens candidatos usando um mecanismo contrastivo em vez de uma única pontuação escalar.

1. Construção do Conjunto:
   • Âncoras ($A$): Selecionadas via atenção do último token (alta relevância para a consulta).
   • Referências ($R$): Selecionadas via atenção global como os tokens de menor pontuação (contexto de baixa saliência).
   • Candidatos ($C$): Os tokens restantes que não são âncoras.
2. Pontuação Contrastiva: Para cada candidato $c_i$, uma pontuação é computada contrastando sua similaridade com as âncoras contra sua similaridade com as referências:
   $$\text{Pontuação}(c_i) = \text{Sim}_A(c_i) - \text{Sim}_R(c_i)$$
   Onde $\text{Sim}_A$ é a máxima similaridade cosseno a qualquer âncora, e $\text{Sim}_R$ é a similaridade cosseno média ao conjunto de referência.
3. Retenção de Duas Caudas:
   • Top-$n_1$: Candidatos com as pontuações mais altas são retidos como evidência alinhada à âncora.
   • Bottom-$n_2$: Candidatos com as pontuações mais baixas são retidos como contexto espacial complementar. Esses tokens são distintos das âncoras, mas são cruciais para manter a cobertura da cena e relações espaciais que a poda escalar descartaria.
4. Recomposição Ordenada: Os tokens retidos (Âncoras + Top-$n_1$ + Bottom-$n_2$) são ordenados por seus índices de sequência originais para preservar o layout espacial para camadas subsequentes do decodificador.

3. Contribuições Principais

• Identificação da Afasia Visual: O artigo define e demonstra um modo de falha específico onde a poda agressiva precoce faz com que LVLMs percam o ancoramento visual, confiando em vez disso em priores linguísticos.
• Framework COAST: Um método de poda sem treinamento que trata a compressão como roteamento semântico adaptativo, utilizando entropia para equilibrar evidência semântica e contexto espacial.
• Mecanismo de Roteamento Contrastivo: Uma estratégia de pontuação inovadora que preserva tanto âncoras de alta relevância quanto contexto complementar de baixa saliência, evitando o "colapso de atenção" para o objeto mais saliente.
• Avaliação Abrangente: Experimentos extensos em sete benchmarks (MME, MMBench, AI2D, GQA, VizWiz, POPE, ScienceQA-IMG) e múltiplas famílias de LVLMs (LLaVA-1.5, LLaVA-NeXT, LLaVA-OneVision, Qwen2.5-VL).

4. Resultados Experimentais

Em sete benchmarks, o COAST demonstra trade-offs superiores de desempenho-eficiência em comparação com bases fortes (FastV, PDrop, SparseVLM, V2Drop, MMTOK):

• Retenção de Desempenho: O COAST reduz tokens visuais em 77,8% (retendo 128 tokens) enquanto mantém 98,64% do desempenho médio original. Sob um orçamento de 192 tokens, incorre em apenas 0,21% de queda de desempenho, superando significativamente as bases (por exemplo, SparseVLM com 1,61% de queda).
• Aceleração de Latência: O COAST alcança uma aceleração de latência de 2,15×. Notavelmente, alcança latência menor que bases com reduções comparáveis de FLOPs devido ao roteamento eficiente e recomposição ordenada de tokens.
• Generalização: O método supera consistentemente as bases em diferentes escalas de modelo (0,5B a 13B) e arquiteturas, mostrando robustez em configurações de compressão moderada e agressiva.
• Estudos de Ablação:
  • Retenção de Duas Caudas: Remover qualquer uma das ramificações alinhada à âncora ($n_1$) ou de contexto complementar ($n_2$) degrada o desempenho, confirmando a necessidade de preservar ambos os tipos de evidência.
  • Orçamentação Impulsionada por Entropia: A divisão adaptativa baseada na entropia de atenção supera a divisão de razão fixa, particularmente em benchmarks que exigem raciocínio complexo (MME, GQA).
  • Pontuação Contrastiva: A pontuação contrastiva âncora-referência supera significativamente a atenção escalar ou a pontuação apenas MaxSim.

5. Significado e Alegações

O artigo alega que o roteamento semântico adaptativo é uma alternativa robusta à poda escalar de uma só vez. Ao reconhecer que a importância do token é dinâmica e dependente do contexto, o COAST mitiga o modo de falha "Afasia Visual", permitindo que LVLMs mantenham ancoragem visual granular mesmo sob redução agressiva de tokens. Os autores enfatizam que seu método não requer ajuste fino, adiciona sobrecarga computacional mínima e é aplicável em diversas arquiteturas de LVLM, oferecendo uma solução prática para implantar sistemas de raciocínio multimodal eficientes e de alta fidelidade.