Resumo Técnico: Reroute, Não Remova

1. Declaração do Problema

Modelos de Linguagem-Visão (VLMs) projetam imagens em centenas ou milhares de tokens visuais, fazendo com que o custo de inferência do decodificador escale quadraticamente com a atenção e linearmente com a memória do cache KV. Para mitigar isso, os métodos existentes de redução de tokens visuais (ex: FastV, PDrop, Nüwa) aderem amplamente a um paradigma de "classificar e remover" (rank-and-remove). Nesta abordagem, os tokens visuais são pontuados (tipicamente via atenção texto-visão), um subconjunto compacto é retido e o restante é permanentemente descartado da sequência.

Os autores identificam uma falha crítica neste paradigma: a importância do token não é estável através da profundidade do decodificador.

• Importância Dinâmica: Camadas superficiais do decodificador costumam atender de forma difusa, enquanto regiões relevantes para o alvo podem emergir apenas em camadas médias ou profundas.
• Irreversibilidade: Um token classificado com baixa pontuação em um estágio inicial de poda (ex: Camada 3) pode ser essencial para uma consulta específica em uma camada mais profunda (ex: Camada 25). Uma vez removido, ele não pode contribuir para computações posteriores.
• Consequência: Sob redução agressiva de tokens (ex: 88,9% de redução), esta irreversibilidade leva a um colapso no desempenho de localização/grounding (ex: IoU caindo abaixo de 0,4), mesmo quando o desempenho geral de VQA é parcialmente mantido.

2. Metodologia: Reroute

O artigo propõe o Reroute, um plug-in livre de treinamento (training-free) que substitui a remoção irreversível pelo roteamento recuperável (recoverable routing).

Mecanismo Central

O Reroute reformula a redução de tokens visuais no lado do decodificador como uma sequência de decisões de roteamento por estágio em vez de um único evento de poda.

1. Seleção por Estágio: O decodificador é particionado em $S$ estágios. Em cada camada de roteamento $\ell_i$, um pontuador (reutilizando as pontuações de atenção texto-visão existentes) classifica o conjunto atual de candidatos de tokens visuais.
2. Roteamento vs. Adiamento:
   • Tokens Selecionados ($V_{sel}$): Uma fração de top-$r_i$ de tokens é roteada através do bloco completo do decodificador (Atenção + FFN) para o estágio atual.
   • Tokens Adiados ($V_{def}$): Os tokens restantes ignoram (bypass) a computação Attn+FFN do estágio atual via um caminho residual. Crucialmente, eles não são deletados.
3. Reentrada: Na próxima camada de roteamento, o conjunto de candidatos é restaurado para incluir todos os tokens adiados ($C_{i+1} = V$). Os tokens adiados são reavaliados contra o conjunto visual completo. Se sua pontuação de atenção melhorar em camadas mais profundas, eles podem ser reselecionados e roteados através de blocos subsequentes.

Eficiência Teórica

• Orçamento Compatível: O Reroute preserva o orçamento teórico de FLOPs e de cache KV do método de poda que ele aumenta. Apenas os tokens selecionados ($V_{sel}$) consomem o computacional pesado (Attn+FFN) em cada estágio.
• Sem Treinamento: O método reutiliza as pontuações de atenção já computadas pelo decodificador para os métodos de poda originais. Nenhum novo parâmetro de roteador é treinado.
• Relação com MoD: É formulado como uma instanciação livre de treinamento de Mixture-of-Depth (MoD) para tokens visuais de VLMs, onde o "roteador" é o mecanismo de atenção pré-existente.

3. Contribuições Principais

1. Formulação de Roteamento Recuperável: Os autores recategorizaram a poda de tokens visuais como roteamento por estágio com bypass de tokens adiados. Isso torna a poda convencional irreversível um caso degenerado onde a reentrada é proibida.
2. Mecanismo Plug-in: O Reroute é um aumento de inserção direta (drop-in) que não requer retreinamento, reutiliza regras e cronogramas de pontuação existentes e mantém a classe de eficiência teórica (TFLOPs e cache KV) do método de poda subjacente.
3. Validação Empírica: O método é validado em três backbones (LLaVA-1.5-7B, Qwen2.5-VL-7B, Qwen3.5-9B-Hybrid) e três baselines de poda (FastV, PDrop, Nüwa).

4. Resultados Experimentais

O artigo avalia o Reroute em localização visual (série RefCOCO) e benchmarks gerais de VQA.

• Localização Visual (RefCOCO):

  • Redução Agressiva: Sob uma redução de 88,9% de tokens (576 $\to$ 64 tokens), a poda padrão (ex: FastV) causa o colapso da precisão de localização (ex: IoU < 0,4). O Reroute recupera significativamente este desempenho.
  • Ganhos Quantitativos: No LLaVA-1.5 (formato HuggingFace), PDrop+Reroute melhora a razão média de localização de 22,2% para 34,0% com 64 tokens. No Qwen3.5-9B-Hybrid, PDrop+Reroute melhora a razão de 19,3% para 37,4% com 88,9% de redução.
  • Transversalidade de Backbone: As melhorias transferem-se efetivamente para modelos da família Qwen, incluindo arquiteturas híbridas (Mamba-Transformer).

• VQA Geral:

  • O Reroute mantém ou melhora ligeiramente o desempenho de VQA geral (GQA, MME, TextVQA) em comparação com os baselines de poda, indicando que o roteamento recuperável não sacrifica a capacidade multimodal geral.

• Eficiência:

  • O Reroute alcança reduções de TFLOPs e de cache KV comparáveis aos baselines de poda (ex: ~80% de redução em TFLOPs e ~86% em cache KV com 64 tokens).
  • Existe um overhead mínimo de TFLOPs devido ao custo adicional de estágios de roteamento em comparação com a poda de etapa única, mas a classe teórica permanece compatível.

• Estudos de Ablação:

  • Frequência: Aumentar o número de estágios de reroute geralmente melhora o desempenho até certo ponto, sugerindo que a reavaliação repetida é benéfica.
  • Localização: A colocação das camadas de roteamento importa; camadas do início ao meio do decodificador são ideais para decisões de reentrada.

5. Significância e Alegações

O artigo argumenta que a redução de tokens visuais não deve ser vista apenas como uma poda irreversível, mas também como um roteamento recuperável.

• Mudança de Paradigma: A limitação dos métodos existentes reside não no mecanismo de pontuação, mas na ação de "remover". Ao substituir a remoção pelo adiamento, o modelo pode se adaptar à mudança de importância dos tokens visuais através da profundidade do decodificador.
• Sensibilidade de Localização: Os benefícios são mais pronunciados em tarefas intensivas de localização e sob redução agressiva de tokens, onde o risco de descartar evidências visuais essenciais é maior.
• Escopo Modesto: Os autores reconhecem que o Reroute herda as limitações dos roteadores de pontuação de atenção (uma classificação ruim ainda pode levar a tokens inativos) e que a latência prática depende de kernels de gather/scatter otimizados. Eles também observam que em arquiteturas híbridas (como Qwen3.5), o roteamento é aplicado atualmente apenas aos blocos de softmax-attention, deixando as interações com a dinâmica de estado de atenção linear para trabalhos futuros.

Em conclusão, o Reroute demonstra que preservar a opção de recuperar evidências adiadas permite que os VLMs mantenam alta precisão de localização mesmo quando os orçamentos computacionais são severamente restritos, sem exigir treinamento adicional ou aumentar os custos computacionais teóricos.