Rethinking Token Reduction for Large Vision-Language Models

1. O Problema

Os Grandes Modelos Visuais-Linguísticos (LVLMs) demonstraram capacidades excepcionais na compreensão e raciocínio visual. No entanto, a geração de tokens visuais em grande escala (especialmente com arquiteturas de visão multi-escala como LLaVA-NeXT e InternLM-XComposer) resulta em custos de inferência e memória proibitivos, devido à complexidade quadrática da atenção ($O(n^2)$).

Embora existam métodos de redução de tokens, a maioria foi desenvolvida para cenários de Resposta a Perguntas Visuais de Turno Único (VQA). O artigo identifica que o cenário mais prático e desafiador, o VQA de Múltiplos Turnos (MT-VQA), permanece pouco explorado.

• Desafio do MT-VQA: As perguntas subsequentes são desconhecidas antecipadamente e podem referenciar qualquer região da imagem.
• Limitação dos Métodos Atuais:
  • Dependentes de Prompt (ex: FastV): Otimizam a redução baseada apenas no primeiro prompt. Isso tende a descartar informações visuais cruciais para perguntas futuras (ex: focar no primeiro plano e ignorar o fundo que será questionado depois).
  • Agnósticos de Prompt (ex: PruMerge): Usam métricas heurísticas (como scores de atenção) para reduzir tokens. O artigo argumenta que essas heurísticas são subótimas, pois não garantem a preservação da informação necessária para todo o diálogo.

2. Metodologia: MetaCompress

Os autores propõem o MetaCompress, um método de redução de tokens baseado em aprendizado, agnóstico ao prompt, projetado especificamente para cenários de diálogo multi-turno.

Formulação do Problema

O trabalho reformula a redução de tokens como um problema de mapeamento de compressão aprendível. Em vez de usar regras fixas (pruning ou merging baseados em heurística), o objetivo é encontrar uma matriz de compressão ótima $P$ que minimize a discrepância entre as respostas do modelo com tokens originais e com tokens comprimidos.

Arquitetura do MetaCompress

O método utiliza um gerador de matriz de compressão meta ($P_{meta}$) que opera apenas na sequência visual de entrada, sem depender do texto (prompt).

• Adaptabilidade Dinâmica: O gerador é capaz de lidar com resoluções e comprimentos de sequência variáveis (comum em LVLMs modernos), gerando uma matriz de compressão $P$ específica para cada imagem.
• Mecanismo: O módulo consiste em:
  1. Uma camada de embedding posicional.
  2. Um projeto de down-sampling para as consultas (queries) e projeção linear para as chaves (keys).
  3. Um produto interno ponderado que gera a matriz de compressão esparsa $P$.
• Treinamento Data-Eficiente: O modelo é treinado para aprender o mapeamento ótimo minimizando a divergência de predição, sem necessidade de anotações manuais ou re-treinamento massivo do LVLM inteiro.

Função de Objetivo de Treinamento

Para evitar soluções triviais (como colapso de tokens) e garantir a qualidade, o treinamento otimiza três termos:

1. $L_{pred}$: Minimiza a divergência KL entre a distribuição de probabilidade das respostas originais e comprimidas.
2. $L_{entropy}$: Regularização de esparsidade para garantir que a compressão seja efetiva.
3. $L_{collapse}$: Penalidade para evitar que todos os tokens comprimidos derivem da mesma fonte de entrada (evitando colapso).

3. Contribuições Principais

1. Análise Crítica de Heurísticas: O trabalho demonstra empiricamente que métodos baseados em scores de atenção (como atenção para o token [CLS] ou prompts) são subótimos para MT-VQA. A análise mostra que os tokens retidos por matrizes aprendidas não têm correlação óbvia com essas heurísticas.
2. MetaCompress: Proposta de um novo método de redução de tokens baseado em aprendizado e agnóstico ao prompt, que unifica pruning e merging sob uma única função de aprendizado.
3. Paradigma de Treinamento Data-Eficiente: Desenvolvimento de uma estratégia que aprende o mapeamento de compressão ótimo com baixo custo computacional e em pequenos subconjuntos de dados (~20k amostras), mantendo alta generalização.
4. Generalização Robusta: O método funciona bem em diferentes arquiteturas de LVLM (incluindo as de visão multi-escala) e transfere-se eficazmente entre diferentes benchmarks e até para tarefas de vídeo, sem treinamento específico.

4. Resultados Experimentais

Os experimentos foram conduzidos em três benchmarks de MT-VQA (MT-VQA-v2, MT-GQA, ConvBench) utilizando cinco arquiteturas de LVLM (LLaVA-1.5, LLaVA-NeXT, InternLM-XComposer-2.5).

• Desempenho de Precisão: O MetaCompress superou consistentemente todos os métodos de base (incluindo Random, Sample, FastV e PruMerge) em todas as configurações.
  • No benchmark MT-GQA com taxa de redução de 90%, o MetaCompress alcançou a maior precisão média em todos os modelos testados. Por exemplo, no LLaVA-NeXT-13b, alcançou 63.12% de precisão média, superando o PruMerge (63.12% vs 63.12% - nota: o texto indica superioridade consistente, com ganhos específicos em turnos subsequentes).
  • Em ConvBench (focado em conversação), o método superou as bases por uma margem significativa, demonstrando sua capacidade de manter o contexto do diálogo.
• Eficiência Computacional: O método alcança uma eficiência comparável à amostragem aleatória (Sample), que é o baseline mais rápido, reduzindo drasticamente o tempo até o primeiro token (TTFT) e o uso de memória GPU, mantendo a precisão.
• Transferência: O modelo treinado em um conjunto de dados (ex: MT-GQA) transferiu-se com sucesso para outros (ex: MT-VQA-v2 e até Video-MME) sem re-treinamento, provando sua robustez.

5. Significado e Impacto

O artigo oferece uma mudança de paradigma na otimização de LVLMs para cenários de diálogo real.

• Superação de Limitações Heurísticas: Demonstra que confiar em sinais de atenção humanos (heurísticas) é insuficiente para cenários complexos e dinâmicos como MT-VQA.
• Viabilidade Prática: Ao ser agnóstico ao prompt e leve no treinamento, o MetaCompress permite a implantação de LVLMs em dispositivos com recursos limitados, mantendo a capacidade de raciocínio em conversas longas e multi-turno.
• Futuro: Abre caminho para estratégias de compressão totalmente baseadas em aprendizado, sem necessidade de designs manuais complexos, e sugere a extensão para tarefas ainda mais desafiadoras, como compreensão de vídeo.

Em resumo, o MetaCompress resolve o dilema entre eficiência e precisão em LVLMs para diálogos multi-turno, substituindo regras heurísticas falhas por um mecanismo de aprendizado que preserva a informação visual crítica para todo o contexto da conversa.