Resumo Técnico: TOPS - Poda de Tokens Visuais Baseada em Primeiros Princípios

1. Definição do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) alcançaram progressos significativos em raciocínio e compreensão, mas sofrem com alta sobrecarga computacional e de memória. Essa ineficiência decorre do grande número de tokens visuais gerados durante a tokenização, que são processados através de todas as camadas do transformer. Como os mecanismos de autoatenção escalam quadraticamente com o comprimento da sequência, entradas de imagens e vídeos de alta resolução criam gargalos substanciais.

Os métodos existentes de poda de tokens visuais tentam mitigar isso removendo tokens redundantes, mas dependem de esquemas de pontuação heurísticos em vez de um objetivo fundamentado. As abordagens atuais geralmente se dividem em três categorias, cada uma com limitações específicas:

• Métodos baseados em atenção: Retêm tokens com altas pontuações de atenção, mas frequentemente preservam tokens semanticamente redundantes.
• Métodos baseados em diversidade: Incentivam a dispersão semântica, mas são frequentemente agnósticos às instruções do usuário, podendo descartar evidências críticas para a tarefa.
• Métodos combinados: Embora integrem múltiplos critérios, carecem de uma formulação fundamental do objetivo intrínseco da poda de tokens, tratando-a meramente como um problema de classificação sem justificativa teórica de por que critérios específicos seriam suficientes.

2. Metodologia: Formulação de Primeiros Princípios

Os autores propõem o TOPS (Token Optimal Preservation Sets), um módulo de poda livre de treinamento e agnóstico ao modelo, derivado de uma perspectiva de primeiros princípios utilizando a teoria da informação.

2.1 Fundamentação Teórica

O objetivo central da poda de tokens é encontrar um subconjunto $S \subseteq V$ (onde $V$ é o conjunto completo de tokens visuais) que maximize a informação mútua entre o subconjunto e a distribuição conjunta dos tokens visuais e a consulta de texto $Q$:
$$\max_{S \subseteq V, |S| \le K} I(S; V, Q)$$

Ao aplicar a regra da cadeia da informação mútua, os autores decompõem este objetivo em três princípios fundamentais:

1. Relevância da Tarefa ($I(S; Q)$): O subconjunto deve ser informativo em relação à consulta do usuário.
2. Cobertura de Informação ($I(S; V | Q)$): O subconjunto deve preservar informação suficiente sobre o conjunto visual original $V$ dada a consulta, minimizando a entropia condicional $H(V | S, Q)$.
3. Diversidade Semântica: Derivada do limite superior da informação mútua condicional, este princípio dita que, para um orçamento fixo, os tokens devem ser semanticamente distintos dos tokens já selecionados para maximizar o ganho de informação.

2.2 O Algoritmo TOPS

O TOPS constrói o subconjunto de tokens ideal de forma gananciosa (greedy) em cada ponto de poda. O processo envolve:

1. Pontuação (Scoring): Para cada token candidato $i$, o algoritmo calcula:
   • Relevância da Tarefa ($r_i$): Estimada via atenção de avaliador de texto (ou atenção CLS em estágios iniciais).
   • Cobertura de Informação ($c_i$): Calculada com base na similaridade máxima entre o candidato e os tokens restantes não selecionados, ajustada pela similaridade aos tokens já selecionados.
   • Diversidade Semântica ($d_i$): Medida como $1 - \max_{j \in S} \text{sim}(h_i, h_j)$, garantindo que o novo token seja distinto do conjunto atual.
2. Seleção: O algoritmo combina essas pontuações em uma pontuação de preservação de informação:
   $$\tilde{g}_{info_i} = \tilde{r}_i + \lambda \tilde{c}_i(U) + \alpha \tilde{d}_i(S)$$
   onde $\alpha$ e $\lambda$ são fatores de equilíbrio. O token que maximiza esta pontuação é adicionado ao subconjunto $S$.
3. Pipeline de Múltiplos Estágios: Para lidar com a redução de granularidade fina, o TOPS é implementado em dois estágios:
   • Estágio I: Aplicado após o projetor multimodal, mas antes do LLM. Utiliza a atenção CLS para relevância para remover redundância grosseira.
   • Estágio II: Aplicado dentro do LLM em camadas designadas. Ele utiliza a atenção texto-visual do LLM para o refinamento consciente do texto.

3. Principais Contribuições

1. Perspectiva de Primeiros Princípios: O artigo redefine a poda de tokens não como um problema de classificação heurística, mas como um problema de seleção de subconjunto ótimo fundamentado na teoria da informação.
2. Três Princípios Fundamentais: A identificação e formalização da Relevância da Tarefa, Cobertura de Informação e Diversidade Semântica como condições necessárias para uma poda eficaz.
3. Módulo TOPS: Um algoritmo de poda plug-and-play, livre de treinamento e agnóstico ao modelo que constrói dinamicamente Conjuntos de Preservação de Tokens Ótimos.
4. Validação Abrangente: Experimentos extensivos em 7 backbones de MLLM (incluindo LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL, InternVL3 e LLaVA-Video) e 14 benchmarks diversos.

4. Resultados Experimentais

Os autores relatam que o TOPS supera consistentemente os métodos de última geração (ex: FastV, VisionZip, DivPrune, SCOPE) em várias taxas de compressão e arquiteturas de modelo.

• LLaVA-NeXT: No modelo 7B, o TOPS remove 77,8% dos tokens visuais enquanto preserva 100,0% do desempenho original. Em compressões mais altas (redução de 88,9% e 94,4%), ele retém 99,1% e 96,4% do desempenho, respectivamente.
• LLaVA-1.5: Com 77,8% de compressão, o TOPS retém 98,3% do desempenho, superando o próximo melhor método (SCOPE) em 0,5%. Mesmo em compressão extrema (redução de 94,4%, restando 32 tokens), mantém 94,6% de desempenho.
• Arquiteturas Avançadas: No Qwen2.5-VL-7B e InternVL3-8B, o TOPS alcança a maior precisão em todas as taxas de poda testadas, demonstrando eficácia agnóstica à arquitetura.
• Compreensão de Vídeo: No LLaVA-Video com 64 quadros, o TOPS retém 98,4% de desempenho com 62,1% de redução de tokens e 92,3% com 90,5% de redução, superando significativamente baselines como o FastV.
• Eficiência: O TOPS alcança quase uma redução de 10x nos FLOPs e reduz o uso de memória GPU em 1,9 GB em comparação ao baseline, com melhorias significativas na latência de preenchimento (prefill latency).
• Mitigação de Alucinação: Notavelmente, no HallusionBench, o TOPS mostra maior resistência à alucinação, sugerindo que a remoção de tokens redundantes pode, por vezes, melhorar a fidelidade do raciocínio.

5. Significância e Alegações

O artigo afirma que uma poda de tokens eficaz não deve depender apenas de pontuações de importância heurísticas, mas deve preservar conjuntamente informações visuais relevantes para a tarefa, representativas e não redundantes. Ao formular a poda como um problema de otimização de informação mútua, o TOPS fornece uma base principista para a inferência multimodal eficiente.

Os autores sugerem que seu trabalho oferece orientação para o design futuro de MLLMs leves, observando que a poda agressiva pode, por vezes, mitigar alucinações. No entanto, eles reconhecem limitações, incluindo o custo computacional do loop de construção ganancioso ($O(KN)$), a dependência de mecanismos de atenção para sinais de relevância e o uso de hiperparâmetros fixos entre camadas e tarefas. Eles também observam que o framework ainda não foi sistematicamente avaliado em domínios altamente especializados, como imagens médicas ou legendagem densa.