Resumo Técnico: Redução de Tokens Corrigida pelo Prior para MLLMs

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) convertem imagens em sequências longas de tokens visuais, o que leva a custos de inferência significativos, particularmente para imagens e vídeos de alta resolução. Embora os métodos existentes sem treinamento acelerem a inferência ao podar tokens visuais redundantes com base em pontuações de atenção texto-visual, este artigo identifica uma falha crítica em sua premissa subjacente: que a magnitude da atenção reflete de forma confiável a relevância semântica condicionada à instrução.

Os autores demonstram que os MLLMs exibem um forte prior induzido pelo modelo. Mesmo na ausência de instruções textuais, os modelos tendem a alocar alta atenção a certas regiões visualmente salientes e agnósticas à tarefa (ex: fundos de alto contraste ou áreas texturizadas). Quando a poda depende de pontuações de atenção absolutas, esse prior domina o ranking. Consequentemente, tokens que contêm evidências cruciais específicas da instrução podem ser suprimidos e descartados, enquanto tokens de fundo irrelevantes são retidos. Este problema é particularmente severo sob orçamentos de tokens agressivos, onde seleções incorretas podem remover irreversivelmente a evidência visual necessária para o raciocínio correto.

Metodologia: PriorTR

Para abordar isso, os autores propõem o PriorTR (Redução de Tokens Corrigida pelo Prior), um método sem treinamento que separa explicitamente a atenção condicionada à tarefa do prior induzido pelo modelo.

Conceito Central: Informação V-Usável

O PriorTR reformula a seleção de tokens como um problema de identificar tokens que contribuem com informação adicional usável além do viés intrínseco do modelo. Ele decompõe a distribuição de atenção posterior observada $P_\theta(v | X)$ (condicionada à instrução $X$) em dois componentes:

1. Prior Induzido pelo Modelo ($Q_\theta(v)$): A distribuição de atenção quando nenhuma instrução está presente (ou um null instruction é utilizado).
2. Levantamento Semântico ($L(v, X)$): O aumento multiplicativo na importância induzido especificamente pela instrução.

O método pontua os tokens com base na Informação V-Pontual (PVI), definida como:
$$\text{PVI}(v) = \log \frac{P_\theta(v | X)}{Q_\theta(v)}$$
Para garantir que tokens com probabilidade negligenciável não sejam selecionados, a pontuação de importância final ($S_{\text{PriorTR}}$) combina a massa posterior com a razão logarítmica:
$$S_{\text{PriorTR}}(v_i) = P_\theta(v_i | X) \cdot \log \left( \frac{P_\theta(v_i | X)}{Q_\theta(v_i)} \right)$$
Os tokens são classificados por esta pontuação, e os top-$K$ são retidos.

Implementação Eficiente de Passagem Única

Uma inovação chave do PriorTR é sua capacidade de estimar tanto o prior quanto o posterior dentro de uma única passagem direta (forward pass), evitando o overhead computacional de executar o modelo duas vezes.

• Token Nulo como Sonda: O método explora a estrutura de atenção causal de decodificadores autorregressivos. Um "token nulo" (ex: um separador como \n) é colocado imediatamente após os tokens visuais, mas antes dos tokens da instrução.
• Mascaramento Causal: Devido ao mascaramento causal, o token nulo não pode atender aos tokens subsequentes da instrução. Portanto, sua distribuição de atenção sobre a sequência visual representa naturalmente o prior agnóstico à instrução ($Q_\theta$).
• Extração Simultânea: No mesmo bloco de atenção, a atenção dos tokens da instrução real para a sequência visual fornece o posterior condicionado à tarefa ($P_\theta$).
• Poda Física: Diferente de métodos que apenas mascaram tokens, o PriorTR remove fisicamente os estados ocultos (hidden states) e as entradas do cache KV. Isso garante que as camadas subsequentes operem em uma sequência verdadeiramente encurtada, gerando reduções reais de memória e computação.

Contribuições Principais

1. Identificação do Prior Induzido pelo Modelo: Os autores formalizam a observação de que a poda baseada em atenção é frequentemente dominada por padrões de saliência agnósticos à instrução, levando à supressão de tokens relevantes para a tarefa sob orçamentos estritos.
2. Algoritmo PriorTR: Um método de redução de tokens sem treinamento que classifica tokens visuais com base na "informação V-usável" (o levantamento semântico sobre o prior) em vez da magnitude bruta da atenção.
3. Design de Passagem Única Eficiente: Uma implementação que estima o prior usando uma sonda de token nulo dentro de uma única passagem direta, permitindo a poda física e aceleração real da inferência sem duplicação de propagação.
4. Validação Empírica: Experimentos extensos demonstrando que o PriorTR melhora consistentemente o equilíbrio precisão-eficiência em múltiplos MLLMs (LLaVA-1.5, Qwen3-VL) e benchmarks (compreensão de imagem e vídeo).

Resultados Experimentais

O artigo avalia o PriorTR em 12 benchmarks multimodais (incluindo tarefas de GQA, MME, MMB, POPE e QA de vídeo) usando LLaVA-1.5-7B, LLaVA-1.5-13B e Qwen3-VL-8B.

• Precisão vs. Eficiência: O PriorTR supera consistentemente fortes baselines sem treinamento (FastV, PDrop, SparseVLM, VisPruner, PruMerge).
  • No LLaVA-1.5-7B com 64 tokens retidos (88.9% de redução), o PriorTR alcança uma precisão média de 94.5%, significativamente superior ao FastV (70.7%) e VisPruner (91.7%).
  • No Qwen3-VL-8B com uma razão de tokens de 11.1%, o PriorTR alcança 87.8% de performance relativa, superando o baseline FastV (75.5%).
• Compreensão de Vídeo: No Video-LLaVA, o PriorTR combinado com token merging atinge precisão próxima ao baseline (38.7% vs. 38.7% não comprimido) sob avaliação GPT e excede o baseline sob avaliação Gemini, superando o SparseVLM.
• Ganhos de Eficiência: O PriorTR alcança acelerações substanciais (até 2.21× no LLaVA-1.5-7B) e reduz o uso de memória do cache KV proporcionalmente à redução de tokens, confirmando que a poda física efetivamente reduz a carga computacional.
• Estudos de Ablação: Comparações de funções de pontuação mostram que a formulação proposta $P \cdot \log(P/Q)$ supera alternativas como a diferença simples ($P-Q$), razão logarítmica ($\log(P/Q)$) ou o posterior bruto ($P$), validando a necessidade de considerar conjuntamente a magnitude da relevância e o levantamento relativo.

Significância

O artigo afirma que o PriorTR oferece uma direção principiológica para a inferência multimodal eficiente ao desacoplar a saliência intrínseca da relevância dirigida pela instrução. Ao corrigir o prior induzido pelo modelo, o método garante que a seleção de tokens seja impulsionada pela semântica condicionada à instrução, em vez da dominância visual. Esta abordagem fornece uma solução robusta e "plug-and-play" que mantém alta precisão mesmo sob compressão agressiva de tokens, abordando uma limitação fundamental nas estratégias atuais de poda baseadas em atenção. Os autores enfatizam que seu método é ortogonal aos abordagens existentes e pode ser integrado perfeitamente a elas.