Resumo Técnico: Compressão de Tokens Visuais Sensível às Consequências

1. Declaração do Problema

Os Modelos de Linguagem-Visão (VLMs) incorrem em custos de inferência significativos dominados por tokens visuais. Os métodos existentes de compressão de tokens visuais (ex: FastV, SparseVLM) visam maximizar a acurácia média sob um orçamento de computação fixo, podando tokens com base em sinais derivados da entrada, como atenção, redundância ou incerteza.

No entanto, esses métodos assumem implicitamente que todos os erros de previsão carregam custos iguais. Em aplicações reais de downstream (ex: análise de documentos, imagens médicas), as consequências dos erros são altamente assimétricas. Ler incorretamente o valor de uma fatura ou um identificador de transação é muito mais custoso do que classificar incorretamente uma cor de fundo ou um elemento decorativo. As estratégias de alocação atuais não conseguem explorar essa assimetria porque dependem exclusivamente de propriedades do conteúdo visual, ignorando sinais observáveis durante a inferência relativos à consequência de um erro (ex: tipo de pergunta, identidade da tarefa).

O artigo propõe um novo problema de otimização: Dado um orçamento total de tokens visuais fixo e um conjunto de requisições com variados custos de erro ($c_i$), como o orçamento deve ser alocado entre as amostras para minimizar o Erro Ponderado pelo Custo (CWE) em vez da acurácia média?

2. Metodologia

Os autores propõem um framework de Compressão de Tokens Visuais Sensível às Consequências que segue um procedimento de calibragem-então-alocação.

2.1 Visão Geral do Framework

O método opera em dois estágios:

1. Calibragem Offline: Usando um conjunto de validação, o sistema estima curvas de erro–orçamento específicas por nível ($e_t(b)$). As amostras são agrupadas em níveis (ex: alta consequência vs. baixa consequência) com base em sinais observáveis (palavras-chave nas perguntas ou metadados da tarefa). O sistema avalia várias alocações de orçamento para encontrar a política que minimiza o objetivo ponderado pelo custo estimado.
2. Inferência Online: Para cada requisição recebida, o sistema atribui um nível de consequência usando o sinal observável (ex: uma regra de palavra-chave congelada ou ID da tarefa). O orçamento pré-calibrado para esse nível é aplicado à entrada antes da inferência do VLM.

2.2 Formulação de Otimização

O objetivo é minimizar o erro ponderado pelo custo $J$:
$$\min_{\{b_t\}} \sum_{t} n_t c_t e_t(b_t)$$
Sujeito a:
$$\sum_{t} n_t b_t \le B, \quad b_t \ge b_{min}$$
Onde $n_t$ é o número de amostras no nível $t$, $c_t$ é o peso da consequência, e $e_t(b)$ é a taxa de erro no orçamento $b$.

Devido à natureza discreta dos orçamentos de tokens (uma grade de 13 pontos) e das curvas de erro não convexas, os autores empregam uma busca exaustiva sobre pares de orçamento viáveis em vez de depender de derivadas de Lagrange contínuas.

2.3 Mecanismos de Realização de Orçamento

O artigo avalia dois mecanismos para realizar os orçamentos de tokens alocados:

• Deleção Real de Tokens: Codificação na resolução total, classificação de tokens via um seletor fixo (ex: redundância) e deleção estrita dos tokens não selecionados, preservando as coordenadas espaciais e os IDs de posição para manter a integridade da codificação posicional multimodal.
• Realocação de Resolução: Redimensionamento da imagem de entrada para que o codificador emita naturalmente aproximadamente a quantidade alvo de tokens. Este mecanismo não requer código específico do modelo e é usado como o principal método de implantação.

2.4 Protocolo de Avaliação

Para isolar o efeito da informação de consequência dos sinais baseados em conteúdo, os autores introduzem um benchmark dentro da mesma tarefa. Perguntas de alta e baixa consequência são extraídas da mesma distribuição de imagens de documentos densos (ex: DocVQA). Isso garante que o conteúdo visual seja idêntico entre os níveis, impedindo que alocadores baseados em conteúdo explorem diferenças de sensibilidade visual.

3. Principais Contribuições

1. Nova Formulação: Introdução da compressão de tokens visuais sensível às consequências que aloca computação para minimizar o erro ponderado pelo custo, utilizando sinais de consequência observáveis em tempo de inferência em vez de apenas o conteúdo da entrada.
2. Avaliação Controlada: Um design de benchmark dentro da mesma tarefa onde perguntas de alta e baixa consequência compartilham as mesmas distribuições de imagem. Isso elimina atalhos baseados em conteúdo, provando que os ganhos derivam puramente da consciência de consequência.
3. Caracterização da Fronteira de Alocação: Os autores derivam uma fronteira de alocação mostrando que:
   • Quando os custos de erro são simétricos ($r=1$), a alocação uniforme é ótima.
   • À medida que a assimetria de custo cresce, a estratégia ótima desloca os tokens para amostras de alta consequência.
   • Existe um regime de transição onde o benefício da transferência de tokens aumenta com a lacuna de custo.
4. Generalização e Invariância: O princípio é mostrado como ortogonal aos mecanismos de seleção de tokens (redundância, atenção, saliência) e robusto através de diferentes arquiteturas de VLM (Qwen2.5-VL, LLaVA-OneVision) e métodos de realização de orçamento.

4. Resultados Experimentais

4.1 Atribuição e Desempenho Dentro da Mesma Tarefa

No benchmark controlado dentro da mesma tarefa (DocVQA):

• Alocadores baseados em conteúdo (usando redundância de características) não performaram melhor que a alocação uniforme porque as entradas visuais eram idênticas entre os níveis.
• A alocação sensível às consequências reduziu os erros de alto risco de 0.300 para 0.133 (uma redução de 2.25×) sob o mesmo orçamento total de tokens.
• Isso ocorreu ao custo de um aumento na acurácia média não ponderada (0.488 vs. 0.337), confirmando que o método otimiza para o objetivo específico ponderado pelo custo.
• A estratégia de anti-alocação (dar mais tokens para perguntas de baixa consequência) aumentou significativamente o CWE, validando a direcionalidade da abordagem.

4.2 A Fronteira de Alocação

A análise das curvas de erro–orçamento revelou que perguntas de alta e baixa consequência possuem sensibilidade de tokens estatisticamente indistinguíveis (inclinações de 0.00173 vs. 0.00171). A melhoria é puramente devida à ponderação de custo.

• Razões de Break-even: A alocação ótima muda de uniforme para enviesada pela consequência conforme a razão de consequência ($r$) aumenta. Para DocVQA, a transição ocorre em $r \approx 2.8$.
• Generalização: O método generaliza para ChartQA e InfographicVQA. No InfographicVQA, o método reduziu o CWE mesmo quando a razão de custo era baixa ($r=0.7$), sugerindo que tarefas de informação mais densa se beneficiam mais da alocação consciente da consequência.

4.3 Invariância e Mecanismo

• Mecanismo: Os ganhos persistem quer se use deleção real de tokens ou realocação de resolução. A realocação de resolução (que se alinha ao treinamento do Qwen2.5-VL) alcançou um desempenho absoluto ainda melhor, mantendo o ganho relativo da alocação sensível à consequência.
• Modelo: O princípio mantém-se para o LLaVA-OneVision, apesar das diferenças arquiteturais.
• Seletores: A estratégia de alocação é ortogonal ao seletor de tokens. Ela melhora o desempenho independentemente de os tokens serem selecionados via redundância, aleatoriedade, saliência, FastV, SparseVLM ou VisionZip.

4.4 Carga de Trabalho Mista e Eficiência

Em uma carga de trabalho mista realista (DocVQA, TextVQA, VQAv2):

• A alocação sensível às consequências reduziu o erro ponderado pelo custo em 38% comparado à alocação uniforme.
• Comparado à inferência em resolução total, a alocação de dois níveis implantada (usando realocação de resolução) alcançou aproximadamente 21% menos latência enquanto reduzia o CWE.

5. Significância e Alegações

O artigo afirma que a compressão de tokens visuais deve ser avaliada não apenas por quanta acurácia média é preservada, mas por quais erros são evitados.

• Ortogonalidade: A alocação sensível às consequências é um eixo ortogonal à poda baseada em conteúdo existente. Ela não substitui os métodos de seleção de tokens, mas os complementa ao determinar quantos tokens alocar para uma amostra com base em seu risco subsequente.
• Praticidade: O framework é leve e orientado para implantação. Requer apenas sinais observáveis em tempo de inferência (ID da tarefa ou palavras-chave da pergunta) e calibragem offline, evitando otimização complexa online ou aprendizado por reforço.
• Insight Fundamental: O trabalho estabelece que, quando os custos de erro são assimétricos, a estratégia de alocação de recursos ótima muda fundamentalmente de preservar o desempenho médio para priorizar amostras de alto risco, mesmo quando essas amostras são visualmente indistinguíveis das de baixo risco.

Os autores concluem que, em cenários onde as decisões subsequentes carregam riscos desiguais, a alocação sensível às consequências fornece um método principiado e eficaz para otimizar a eficiência do VLM sem sacrificar a acurácia crítica.