When Do Fewer Visual Tokens Accelerate Multimodal Inference? A Break-Even Study Across Decision Locations and Hardware

Resumo Técnico: Quando é que Menos Tokens Visuais Aceleram a Inferência Multimodal?

Declaração do Problema
A suposição predominante na otimização de Modelos de Linguagem de Grande Escala Multimodais (MLLM) é que reduzir o número de tokens visuais leva diretamente a uma menor latência de ponta a ponta. Este artigo argumenta que menos tokens não garantem um menor tempo de relógio (wall-clock time). A relação é não equivalente porque:

1. Sobrecarga de Decisão (Decision Overhead): Políticas adaptativas (portões, roteadores, sondas) incorrem nos seus próprios custos computacionais (ex: passagens de forward adicionais, decodificação de sondas).
2. Localização da Decisão: O ponto em que a decisão é tomada determina quais operadores podem ser evitados. A poda pós-visão (post-vision pruning) não consegue recuperar o trabalho já gasto pelo codificador de visão ou pelo pré-processamento de imagem.
3. Variabilidade de Hardware: O equilíbrio de operadores (pré-processamento, codificação, prefill/decode do LLM) varia entre hardwares, o que significa que uma política que economiza tokens num GPU pode não economizar tempo noutro.

O estudo procura determinar quando o orçamento visual adaptativo produz uma redução mensurável na latência de ponta a ponta, focando-se especificamente nos "pontos de equilíbrio" (break-even points) onde o custo do mecanismo de decisão é superado pela computação economizada.

Metodologia
Os autores propõem um protocolo de contabilidade de ponto de equilíbrio reproduzível que decompõe a latência em componentes mutuamente exclusivos:

• $T_{shared}$: Computação executada uma vez para ambos a decisão e a inferência (ex: pré-processamento de imagem e características visuais reutilizadas por uma política pós-visão).
• $T_{decision-only}$: Sobrecarga específica da política (ex: agregação de características, inferência da política, lógica de roteamento).
• $T_{execution-only}$: O trabalho restante (pré-processamento, codificação de visão, prefill/decode do LLM) que é evitado ou reduzido.

O estudo avalia políticas através de três localizações de decisão:

1. Pré-visão: Decidir a resolução de entrada antes do codificador de visão (ex: Regra de Tamanho de Imagem).
2. Pós-visão/Pré-geração: Decidir a retenção de tokens após a codificação, mas antes da geração do LLM (ex: Preditor Estático).
3. Autoregressiva/Online: Decidir durante a geração usando sondas (ex: Portão de Confiança, Portão Contrafactual).

Configuração Experimental:

• Modelo: Qwen2.5-VL-3B-Instruct.
• Datasets: VQAv2, TextVQA e ChartQA (2.600 exemplos para perfil de orçamento; 120 exemplos para teste de latência equilibrada; 403 exemplos para avaliação de qualidade condicional).
• Hardware: RTX 3090 e NVIDIA A100.
• Rigor Estatístico: As diferenças de latência são analisadas usando reamostragem bootstrap pareada (10.000 reamostragens) e testes de sinal oposto pareados (paired sign-flip tests). A significância é avaliada usando uma correção de Holm para todos os pares de forma conservadora.
• Métrica de Qualidade: "Full-correct" condicionada, medindo se um orçamento reduzido preserva a pontuação da resposta do modelo de resolução total para exemplos que o modelo completo respondeu corretamente.

Resultos Principais

1. Sondas Autoregressivas Falham no Ponto de Equilíbrio:
   Num piloto de 30 exemplos, duas sondas autoregressivas testadas (Portão de Confiança e Portão Contrafactual) foram mais lentas que o modelo Full. A sobrecarga de decodificação e as passagens de forward adicionais excederam a economia do processamento de tokens reduzido, mesmo com a reutilização de estado.

2. Poda Estática Pós-Visão (Static-0.900):

   • Latência: Alcançou reduções de latência estatisticamente significativas em ambos os GPUs (RTX 3090: -27,12 ms; A100: -4,02 ms). Estes resultados permaneceram significativos após a correção de Holm.
   • Token vs. Tempo: No A100, o Static-0.900 removeu quase oito vezes mais tokens visuais do que a Regra de pré-visão, mas economizou menos latência. Isto ocorre porque o Static atua após a codificação de visão e o pré-processamento dispendiosos já terem ocorrido.
   • Qualidade: Alcançou um macro score relativo de 3 tarefas de 0,9833 (vs. 1,0000 para o Full).

3. Regra de Tamanho de Imagem Pré-Visão:

   • Latência: Mostrou reduções de latência em ambos os GPUs (RTX 3090: -13,99 ms; A100: -8,92 ms). No entanto, estas comparações não permaneceram significativas após a correção conservadora de Holm.
   • Mecanismo: A Regra evita totalmente o pré-processamento e a codificação de visão para imagens selecionadas. No A100, esta vantagem estrutural (evitar operadores caros) superou a maior redução de tokens a jusante alcançada pela política Static.
   • Concentração de Carga de Trabalho: As economias de latência estavam fortemente concentradas num pequeno subconjunto de exemplos de alta resolução do TextVQA (6 de 120 na carga de trabalho de tempo). A remoção destes exemplos reduziu a economia média para perto de zero.

4. Oracle vs. Orçamento Fixo:
   Uma análise "Oracle" pós-hoc mostrou que, para exemplos respondidos corretamente pelo modelo Full, um orçamento de tokens seguro poderia ser tão baixo quanto 23,92% em média. No entanto, o menor orçamento fixo que satisfez a restrição de preservação do conjunto de validação empírica (98,5% monotone-safe) permaneceu em 100%. Isto destaca a dificuldade de aplicar um único orçamento fixo em diversos inputs sem degradação da qualidade.

5. Interação de Hardware:
   Houve uma interação significativa de Full-normalizada entre a política Static e a Regra de Tamanho de Imagem entre os dois ambientes de GPU, confirmando que a contagem de tokens sozinha não pode prever o comportamento de tempo de relógio.

Significância e Alegações
O artigo alega modestamente fornecer um protocolo de break-even reproduzível, em vez de um roteador universalmente superior ou um novo score de importância de token. As suas principais contribuições são:

• Desacoplar o Custo de Decisão da Localização: Demonstrar que a localização da decisão (pré vs. pós-visão) dita quais operadores são evitáveis, e que "menos tokens" não equivale a "menos tempo" se o mecanismo de decisão for dispendioso ou se operadores upstream caros não puderem ser saltados.
• Oportunidade Estrutural do Roteamento Pré-Visão: Estabelecer que o roteamento pré-visão tem uma vantagem única (evitar pré-processamento e codificação) que a poda pós-visão não consegue aceder, e que isso pode superar maiores reduções de tokens a jusante.
• Verificação de Realidade Empírica: Mostrar que sondas autoregressivas aprendidas frequentemente falham em atingir o break-even devido à sobrecarga, e que políticas fixas podem não generalizar bem entre ambientes de hardware sem contabilidade específica ao nível do operador.

Os autores enfatizam que as suas descobertas são condicionais aos exemplos respondidos corretamente pelo modelo Full e não representam a precisão do benchmark em todos os inputs. O estudo serve como um caso de estudo mecanístico de como medir e interpretar economias de latência em sistemas multimodais, alertando contra a dependência exclusiva de rácios de tokens ou FLOPs como proxies para velocidade.