Why and When Visual Token Pruning Fails? A Study on Relevant Visual Information Shift in MLLMs Decoding

Título: Por Que e Quando o Poda de Tokens Visuais Falha? Um Estudo sobre a Mudança de Informação Visual Relevante no Decodificação de MLLMs

1. O Problema

Os Grandes Modelos de Linguagem Multimodais (MLLMs) dependem de um número massivo de tokens visuais gerados por codificadores de visão para processar imagens. Isso resulta em uma sobrecarga computacional e de memória proibitiva durante a inferência. Para mitigar isso, técnicas de poda de tokens visuais (Visual Token Pruning) foram desenvolvidas para remover tokens redundantes, mantendo apenas os mais relevantes.

No entanto, o artigo identifica uma lacuna crítica:

• Falha na Generalização: Embora os métodos de poda existentes (como FastV, DivPrune) funcionem bem em tarefas simples de compreensão visual (ex: VQA - Visual Question Answering), eles falham drasticamente em tarefas complexas de raciocínio visual (ex: matemática visual, lógica, STEM).
• Hipótese Inicial Incorreta: Os métodos atuais assumem que a informação visual relevante pode ser identificada e fixada na fase de prefill (antes da geração do texto). Eles descartam permanentemente os tokens não selecionados nessa fase inicial.
• A Realidade: Em tarefas de raciocínio, a necessidade de informação visual muda dinamicamente à medida que o modelo avança passo a passo na geração da resposta.

2. A Causa Raiz: RVIS (Relevant Visual Information Shift)

Através de uma análise diagnóstica, os autores identificam o fenômeno principal responsável pela falha: a Mudança de Informação Visual Relevante (RVIS - Relevant Visual Information Shift).

• Definição: A RVIS é a mudança dinâmica do foco de atenção visual do modelo durante a fase de decodificação. Diferente de tarefas de compreensão simples (onde o foco permanece estático nas regiões identificadas inicialmente), o raciocínio visual exige que o modelo "olhe" para diferentes partes da imagem em diferentes etapas do raciocínio lógico.
• Evidência: A análise de mapas de atenção mostra que, em tarefas de raciocínio (VMR), a similaridade entre a atenção inicial (prefill) e a atenção em etapas posteriores de decodificação cai drasticamente. O modelo precisa acessar regiões visuais que foram descartadas pelos métodos de poda estática.
• Consequência: Como os métodos de poda tradicionais descartam permanentemente os tokens não selecionados no início, quando o modelo precisa de uma informação visual que foi removida (devido à RVIS), a performance cai precipitadamente.

3. Metodologia Proposta: DSTP

Para resolver esse problema, os autores propõem o DSTP (Decoding-stage Shift-aware Token Pruning), um framework plug-and-play e sem treinamento (training-free) que se adapta às necessidades dinâmicas do modelo durante a decodificação.

O DSTP consiste em dois módulos integrados:

1. RISD (Relevant Visual Information Shift Detect):

   • Monitora a similaridade de cosseno entre o vetor de atenção visual inicial (âncora da fase prefill) e a atenção atual em cada passo de decodificação.
   • Se a similaridade cair abaixo de um limiar ($\tau$), o sistema detecta que ocorreu uma RVIS (uma mudança no foco de informação necessária).

2. CPTS (Context-Preserving Visual Token Swap):

   • Quando uma RVIS é detectada, o módulo CPTS reavalia todos os tokens visuais (incluindo os que foram descartados e mantidos em reserva).
   • Ele seleciona os novos tokens mais relevantes para o passo de raciocínio atual.
   • Troca Preservadora de Contexto: Em vez de substituir totalmente o conjunto de tokens (o que quebraria a consistência semântica), o DSTP realiza uma união entre os tokens originais (do prefill) e os novos tokens recuperados. Isso garante que o modelo mantenha o contexto global da imagem enquanto foca nos detalhes específicos necessários para o passo lógico atual.
   • Após um número definido de passos ($L$), o sistema reverte para o conjunto original para manter a eficiência.

4. Resultados Principais

Os experimentos foram realizados em modelos de ponta (Qwen3-VL e InternVL3.5) em diversos benchmarks:

• Desempenho em Raciocínio Visual (VMR):

  • Os métodos de poda estática sofreram quedas severas de desempenho (ex: em MathVerse, a acurácia caiu de ~61% para ~32% com poda de 66% dos tokens).
  • Ao integrar o DSTP, a performance foi recuperada drasticamente, aproximando-se do modelo original com todos os tokens (ex: recuperação para ~52-53% com o mesmo custo de tokens).
  • O DSTP demonstrou ser mais eficaz em benchmarks de alta complexidade visual e lógica (como MathVerse e MMMU-Pro).

• Desempenho em Compreensão Visual (VQA):

  • O DSTP manteve ou melhorou ligeiramente a performance em tarefas de compreensão simples, sem degradar a eficiência.

• Eficiência Computacional:

  • O overhead computacional do DSTP é mínimo. A latência e o consumo de memória permanecem muito próximos dos métodos de poda estática.
  • O DSTP supera métodos estáticos que usam o dobro de tokens (ex: DSTP com 33% de retenção supera FastV com 66% de retenção), provando que a qualidade e o timing da informação visual são mais importantes que a quantidade bruta de tokens.

5. Contribuições Chave

1. Identificação do RVIS: É o primeiro trabalho a identificar e quantificar a "Mudança de Informação Visual Relevante" como o principal fator de falha para métodos de poda estática em tarefas de raciocínio complexo.
2. Framework Adaptativo (DSTP): Propõe uma solução simples e sem treinamento que detecta mudanças de foco e recupera dinamicamente tokens visuais críticos, alinhando os tokens visuais com os requisitos de raciocínio em tempo real.
3. Validação Experimental: Demonstra que a poda de tokens não pode ser tratada apenas como uma otimização de fase de prefill; ela deve evoluir para estratégias adaptativas durante a decodificação para suportar MLLMs modernos focados em raciocínio.

6. Significado e Impacto

Este trabalho é fundamental para o futuro da implantação eficiente de MLLMs. Ele demonstra que, para modelos que realizam raciocínio passo a passo (como em matemática ou lógica), a abordagem estática de "cortar e esquecer" tokens visuais é insuficiente. O DSTP oferece um caminho para manter a eficiência computacional (reduzindo tokens) sem sacrificar a inteligência do modelo em tarefas complexas, permitindo que modelos menores ou mais rápidos realizem raciocínio visual profundo com alta fidelidade.