Resumo Técnico: OccamToken

Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) dependem de longas sequências de tokens visuais para codificar imagens, resultando em sobrecarga computacional e de memória significativa durante a etapa de pré-preenchimento e a decodificação autoregressiva. Os métodos existentes de compressão de tokens visuais seguem predominantemente um paradigma de classificação absoluta: atribuem pontuações de importância aos tokens e retêm um subconjunto fixo dos top-$K$. Os autores argumentam que este paradigma é fundamentalmente frágil por duas razões:

1. Poços de Atenção (Attention Sinks): Tokens de baixa informação (frequentemente outliers com normas elevadas) podem absorver massa de atenção excessiva, distorcendo a classificação de importância dos tokens genuinamente informativos e comprimindo a distribuição de pontuações.
2. Incompatibilidade de Orçamento Estático: Um corte fixo de top-$K$ não consegue adaptar-se à variação por amostra nas distribuições de pontuação de atenção. Falha em contabilizar a redundância da imagem ou as demandas de evidência dependentes da consulta, frequentemente retendo tokens redundantes em casos simples enquanto descarta evidências críticas em casos complexos.

Além disso, os métodos adaptativos existentes frequentemente exigem treinamento adicional ou dependem de estatísticas livres de treinamento com resposta fraca que não capturam plenamente as necessidades de evidência condicionadas à consulta.

Metodologia: OccamToken

Os autores propõem o OccamToken, um framework livre de treinamento e adaptativo ao orçamento que substitui a classificação absoluta de tokens por testes de evidência relativa ancorados em registradores. A ideia central é que os tokens registradores (introduzidos em estudos recentes de transformadores para absorver poços de atenção) absorvem naturalmente padrões de atenção de baixa informação, tornando-se uma referência estável e não discriminativa para identificar evidências visuais genuinamente informativas.

O framework opera em duas etapas:

1. Mecanismo Central: Comparação Relativa

Em vez de perguntar "Este token está no top-$K$?", o OccamToken pergunta "Este token fornece evidência mais forte do que o token registrador?".
A regra de poda é definida como:
$$S(x) = \{v \in V(x) \mid s_x(v) \ge \lambda \cdot s_x(r(x))\}$$
Onde $r(x)$ é um token de referência dependente da amostra (o registrador), $s_x$ é a função de pontuação e $\lambda$ controla a intensidade da poda. Isso permite que o orçamento de tokens retido varie dinamicamente com base na distribuição de pontuações da entrada.

2. Pipeline de Poda em Duas Etapas

• Etapa I: Poda de Redundância Adaptativa à Imagem (AdapRP)

  • Localização: Saída do Codificador de Visão.
  • Mecanismo: Um token registrador em tempo de teste é construído redirecionando ativações de "poço" de alta norma de neurônios esparsos para um token registrador dedicado. O token [CLS] (ou um esquema de pontuação mútua para arquiteturas sem [CLS]) pontua conjuntamente todos os tokens visuais e o token registrador.
  • Ação: Tokens com pontuação abaixo de $\lambda_1 \cdot s_1(r)$ são podados. Isso remove redundância ao nível da imagem antes que os tokens entrem no Modelo de Linguagem de Grande Escala (LLM), criando um orçamento intermediário adaptativo à imagem.

• Etapa II: Poda de Relevância Ancorada em Registrador (RegRP)

  • Localização: Dentro do Modelo de Linguagem (em uma camada específica do decodificador, por exemplo, camada 11).
  • Mecanismo: Os tokens de texto atuam como avaliadores condicionados à consulta. Para cada token visual sobrevivente, a máxima atenção recebida dos tokens de texto é usada como sua pontuação (para capturar relevância localizada). A média de atenção recebida pelo token registrador a partir do texto serve como o limiar dinâmico.
  • Ação: Tokens com pontuação abaixo de $\lambda_2 \cdot s_2(r)$ são removidos. Isso produz um orçamento final adaptativo à consulta, onde a mesma imagem pode gerar contagens de tokens diferentes dependendo da pergunta específica feita.

Contribuições Principais

1. Limiarização Dinâmica Ancorada em Registrador: Um mecanismo livre de treinamento que vincula a mitigação de poços de atenção à poda adaptativa. Ao inserir um token registrador na competição de atenção, ele absorve a distorção induzida por poços e serve como um limiar adaptativo à distribuição.
2. Framework OccamToken: Um sistema de poda em duas etapas, plug-and-play, que realiza a remoção de redundância ao nível da imagem seguida pela seleção de relevância ao nível da consulta, permitindo alocação adaptativa de tokens sem preditores aprendidos ou dados de treinamento adicionais.
3. Validação Empírica: Experimentos extensivos demonstram que o OccamToken supera as linhas de base state-of-the-art livres de treinamento e baseadas em treinamento em diversas arquiteturas (LLaVA-v1.5, LLaVA-NeXT, Qwen3-VL) e benchmarks (GQA, POPE, MME, etc.).

Resultados Experimentais

• Compromisso Precisão-Eficiência: O OccamToken melhora consistentemente o compromisso em comparação com orçamentos fixos e outros métodos adaptativos.
• Compressão Extrema: No LLaVA-NeXT (processando 2.880 tokens visuais), o OccamToken reduz a contagem de tokens para aproximadamente 40 tokens (um regime de retenção de 1,4%) enquanto preserva mais de 93% da precisão original de tokens completos.
• Robustez: O método mantém alta precisão relativa (por exemplo, 97,2% no LLaVA-v1.5 com 32 tokens) e supera significativamente as linhas de base de orçamento fixo em regimes de baixo orçamento onde preservar evidências relevantes para a tarefa é crítico.
• Eficiência: Ao reduzir o comprimento da sequência visual, o OccamToken diminui significativamente o uso de memória do KV-cache (por exemplo, reduzindo de 313 MB para 47 MB no LLaVA-v1.5) e a latência de pré-preenchimento, embora introduza uma sobrecarga menor para a lógica de pontuação adaptativa.
• Generalização: O método transfere-se efetivamente para arquiteturas não-LLaVA (por exemplo, Qwen3-VL, Mini-Gemini) e VLMs de vídeo, demonstrando que o princípio ancorado em registrador não está vinculado a interfaces de tokens específicas.

Significado e Alegações

O artigo alega que a poda adaptativa baseada em referência é uma direção simples, porém eficaz, para inferência multimodal escalável. Ao mudar da classificação absoluta para a comparação relativa contra uma âncora de registrador, o OccamToken aborda as deficiências estruturais de poços de atenção e orçamentos estáticos sem exigir re-treinamento do modelo. Os autores destacam que esta abordagem permite compressão estável de tokens visuais mesmo em regimes extremos (retenção de 1,4%) enquanto preserva a evidência necessária para o raciocínio multimodal.

O trabalho posiciona o OccamToken não meramente como uma ferramenta de redução de latência, mas como uma solução prática para equilibrar precisão e eficiência, particularmente em cenários de implantação com recursos limitados onde preservar evidências visuais críticas é primordial. Os autores reconhecem limitações relacionadas à dependência da construção de tokens registradores confiáveis em tempo de teste para backbones específicos baseados em Transformer, sugerindo que trabalhos futuros poderiam estender isso para arquiteturas multimodais mais amplas.