Resumo Técnico: Quantos Tokens Visuais os Modelos de Linguagem Multimodal Precisam? Escalonando a Poda de Tokens Visuais com F3A

1. Declaração do Problema

À medida que os Modelos Visão-Linguagem (VLMs) aumentam de tamanho e capacidade, eles passam a depender cada vez mais de longas sequências de tokens visuais para alcançar percepção de alta granularidade (por exemplo, OCR, compreensão de gráficos, análise de vídeo). No entanto, essas sequências estendidas impõem custos computacionais significativos, dominando o cálculo de pré-preenchimento (prefill), ampliando os caches KV e aumentando a latência de ponta a ponta.

A questão central abordada por este trabalho é: À medida que os modelos multimodais crescem, quantos tokens visuais são realmente necessários e como eles devem ser alocados sob um orçamento fixo de tokens visuais?

Os métodos existentes de poda sem treinamento (por exemplo, FastV, VisionZip, DivPrune, CDPruner) geralmente tratam a poda de tokens como um problema estático de classificação ou seleção de subconjunto baseado em sinais proxy de um único disparo, como atenção do decodificador, similaridade visual ou diversidade condicional. Os autores argumentam que essas abordagens são incompletas, particularmente sob compressão agressiva. O valor de um token não é meramente uma função de sua saliência ou redundância, mas depende de sua evidência para a consulta atual. Métodos padrão frequentemente falham em alocar tokens dinamicamente através de uma imagem com base na tarefa específica, levando a desempenho subótimo quando os orçamentos de tokens são restritos.

2. Metodologia: Algoritmo de Forrageamento de Mosca-da-Fruta (F3A)

O artigo propõe o F3A, um roteador sem treinamento que reformula a poda de tokens visuais como busca de evidência condicionada à tarefa. Inspirado em algoritmos de otimização de mosca-da-fruta, o F3A opera após a torre de visão, mas antes que o modelo de linguagem consuma os tokens de imagem. Ele não requer treinamento do modelo, passagens forward extras do LLM ou alterações no pipeline de decodificação.

O método consiste em três estágios sequenciais:

A. Construção do Campo de Olor da Tarefa

O F3A constrói um mapa global de evidências de baixo custo (o "campo de olor") sobre os tokens visuais.

• Sinais de Olor: Em vez de atenção aprendida, o F3A utiliza modelos determinísticos e a camada de tokenizador/embedding congelada do MLLM base para gerar consultas de evidência leves. Estas incluem um sinal global (contexto completo da pergunta), um sinal alvo (entidade consultada) e um sinal de tarefa (por exemplo, OCR, contagem, relações espaciais).
• Sensoriamento Esparso: Os sinais são correspondidos aos tokens da grade visual usando cabeças de sensoriamento esparso congeladas (projeções aleatórias). Isso gera uma pontuação de evidência escalar ($a_i$) para cada token, representando evidência relevante para o prompt sem exigir atualizações de gradiente.

B. Processo de Forrageamento em Três Estágios

O F3A aloca um orçamento fixo de tokens ($K$) através de três operadores:

1. Busca Grossa (Exploração):
   A grade visual é particionada em janelas não sobrepostas. As janelas são pontuadas pelo seu valor médio de olor. As janelas superiores são selecionadas para formar um pool de candidatos ($P_1$), e um subconjunto "andaime" ($S_1$) é mantido para garantir cobertura espacial. Isso evita comprometer-se excessivamente com tokens de alta pontuação isolados muito cedo.

2. Travamento Visual (Exploração Local):
   Dentro do pool grosseiro, o F3A refina a seleção para confirmar evidências locais e suprimir redundância.

   • Suporte Local: Os tokens são pontuados com base no suporte da vizinhança e no acordo com os sinais de tarefa.
   • Inibição de Retorno: Uma penalidade de redundância é aplicada com base na similaridade visual e proximidade espacial aos tokens já selecionados. Isso incentiva a seleção de evidências diversas e localmente suportadas em vez de patches redundantes agrupados.

3. Salto de Resgate (Exploração/Recuperação):
   Para evitar perder objetos pequenos, texto periférico ou evidências contrárias fora das janelas selecionadas, uma fração do orçamento ($\alpha_{jump}$) é reservada.

   • Incerteza/Cobertura: Os tokens são selecionados com base em alta incerteza (por exemplo, pequenas margens entre pontuações de opções em tarefas de múltipla escolha) ou baixa cobertura pelo subconjunto atual.
   • Esta etapa garante que regiões subcobertas sejam recuperadas, impedindo que o modelo colapse em áreas estreitas de alta pontuação.

C. Reconstrução da Sequência

O conjunto final de tokens selecionados substitui o bloco visual completo antes do pré-preenchimento do LLM. O prefixo de texto original, o modelo de prompt e os pesos do modelo permanecem inalterados. Para modelos sensíveis à grade, os índices dos tokens são mapeados de volta para as coordenadas originais da grade para preservar informações posicionais.

3. Principais Contribuições

• Reformulação da Poda: Os autores reformulam a poda de tokens visuais sem treinamento como um problema de alocação de tokens em múltiplas escalas em vez de simples compressão. Eles avaliam a demanda de tokens em modelos multimodais densos e MoE para determinar quantos tokens são necessários para preservar o comportamento de tokens completos.
• Roteador F3A: Eles introduzem o F3A, um roteador de passagem única e sem treinamento que realiza busca de evidência condicionada à tarefa usando sinais condicionados à pergunta, sensoriamento esparso e um processo de três estágios inspirado no forrageamento (busca grossa, travamento, resgate).
• Avaliação em Grande Escala: O método é avaliado em modelos Qwen3-VL variando de 2B a 235B parâmetros (cobrindo arquiteturas densas e MoE) em 11 benchmarks multimodais. Também é testado em backbones Qwen2.5-VL e InternVL3.5 para demonstrar transferibilidade.

4. Resultados Experimentais

A avaliação cobre 10 modelos e 3 taxas de retenção (60%, 40%, 20%).

• Retenção de Desempenho: Em todas as escalas de modelo, o F3A supera consistentemente as linhas de base (FastV, VisionZip, DivPrune, CDPruner).
  • Com 20% de retenção de tokens visuais, o F3A retém 93,86% do desempenho de tokens completos em média.
  • No maior modelo (Qwen3-VL-235B-A22B), o F3A retém 93,86% do desempenho mesmo após remover 80% dos tokens visuais.
• Demanda de Tokens de Fidelidade Fixa: Ao mirar 97% do desempenho de tokens completos, o F3A requer apenas 39,9% de tokens visuais em média, comparado a 50,1% para a linha de base concorrente mais forte. No modelo de 235B, o F3A alcança isso com 41,2% de tokens.
• Comportamento de Escalonamento: Ao contrário de outros métodos, a vantagem do F3A persiste e frequentemente cresce à medida que o modelo escala. O ganho médio de precisão sobre a linha de base mais forte é positivo em todas as 18 configurações de modelo-retenção testadas.
• Eficiência: O F3A melhora o compromisso precisão-latência. No Qwen3-VL-8B com 20% de retenção, ele reduz a latência de ponta a ponta de 354,7 ms para 274,3 ms e a pegada do cache KV de 117,7 MB para 29,0 MB, mantendo a maior precisão entre os métodos podados.
• Significância Estatística: Um teste de sinal pareado em 30 configurações de modelo-retenção resulta em um valor-p de $1,9 \times 10^{-9}$, confirmando que o F3A supera consistentemente a linha de base mais forte não-F3A.

5. Significado e Alegações

O artigo alega que a inferência multimodal escalável depende não apenas do tamanho do modelo, mas também da alocação estruturada por busca de evidências visuais relevantes para a tarefa.

• Condicionado à Tarefa vs. Estático: Os resultados sugerem que tratar a poda como um problema de classificação estática é insuficiente para compressão agressiva. A abordagem de "forrageamento", que localiza, refina e recupera evidências dinamicamente com base na consulta específica, é necessária para preservar a capacidade de modelos maiores sob orçamentos de tokens restritos.
• Perspectiva de Fidelidade Fixa: O trabalho argumenta que a resposta a "quantos tokens são necessários" não é uma taxa de retenção universal, mas um problema de alocação dependente da escala. O F3A demonstra que a poda eficaz permite que modelos maiores realizem sua capacidade total com significativamente menos tokens do que anteriormente se pensava possível.
• Generalizabilidade: O método mostra-se robusto em diferentes famílias de modelos (Qwen3, Qwen2.5, InternVL) e arquiteturas (Densa vs. MoE), sugerindo que o princípio da busca de evidências condicionada à tarefa é uma solução geral para a poda de tokens multimodais.

Os autores concluem que o F3A oferece um caminho prático para reduzir os custos de inferência de modelos multimodais sem sacrificar as capacidades de percepção de alta granularidade que impulsionam seu desempenho.