Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity

O artigo apresenta o PruneSID, uma abordagem de compressão de tokens visuais sem treinamento que combina análise de componentes semânticos e supressão de não-máximos intra-grupo para eliminar redundâncias preservando a essência da informação, alcançando desempenho state-of-the-art e aceleração significativa em Modelos de Linguagem e Visão (VLMs).

O essencial

Imagine que você tem uma câmera de ultra-alta definição que tira fotos incríveis, mas cada foto é composta por 576 ou até 2.880 pequenos pedaços de informação (chamados de "tokens"). Quando você mostra essa foto para um Inteligência Artificial (IA) muito inteligente (um modelo de visão e linguagem), ela tenta ler todos esses pedaços um por um.

O problema? A IA gasta muito tempo e energia lendo pedaços que são repetidos ou que não são importantes. É como tentar ler um livro inteiro para encontrar uma única palavra-chave, quando você poderia apenas ler o índice e os capítulos principais.

Aqui entra o PRUNESID, a nova técnica apresentada neste artigo. Vamos explicar como ela funciona usando uma analogia simples: A Festa de Aniversário.

O Problema: A Festa Lotada e Caótica

Imagine que a IA é um anfitrião tentando entender o que está acontecendo em uma festa lotada (a imagem).

• Métodos antigos (Atenção): Eles olhavam apenas para as pessoas que estavam gritando ou se movendo muito (alta "atenção"). O problema? Eles ignoravam o fundo, a decoração e as conversas tranquilas, perdendo o contexto da festa. Além disso, se três amigos estivessem gritando a mesma piada, o método antigo os mantinha todos, desperdiçando espaço.
• Métodos de "Diversidade": Eles tentavam selecionar pessoas que não se parecessem entre si. O problema? Eles podiam acabar descartando o aniversariante (que é muito importante) porque ele estava parado, focando apenas em pessoas aleatórias para garantir variedade.

A Solução: O PRUNESID (O Organizador de Festas Inteligente)

O PRUNESID é um método que não precisa de treinamento (não precisa "estudar" novas festas) e funciona em duas etapas mágicas para limpar a festa, mantendo apenas o essencial:

1. A Etapa de "Grupos Semânticos" (PSCA)

Em vez de olhar para cada pessoa individualmente, o PRUNESID usa uma técnica matemática (chamada Análise de Componentes Semânticos Principais) para agrupar as pessoas por "vibe" ou tema.

• Ele percebe que há um grupo de pessoas conversando sobre futebol, um grupo de crianças brincando, um grupo de música e um grupo de comida.
• A mágica: Ele garante que, de cada grupo, ele tenha uma representação. Assim, ele não perde o contexto da festa (o futebol, a música, etc.), mas evita ter 50 pessoas falando a mesma coisa.

2. A Etapa de "Silêncio na Mesa" (NMS)

Dentro de cada grupo (ex: o grupo de futebol), ele aplica uma regra de "Não Máxima Supressão".

• Imagine que no grupo de futebol, 10 pessoas estão gritando "GOL!". O PRUNESID olha para elas, vê que são muito parecidas (redundantes) e diz: "Ok, vamos manter apenas a pessoa que gritou mais alto e com mais clareza. As outras 9 podem ir embora."
• Isso elimina o ruído e a repetição, mantendo apenas o "melhor representante" de cada ideia.

O Toque Especial: O Orçamento Dinâmico

O PRUNESID também é esperto sobre quanto cortar.

• Se a foto é de um céu azul e vazio (pouca informação), ele corta quase tudo, mantendo apenas o essencial.
• Se a foto é de uma rua movimentada de Tóquio à noite (muita informação), ele deixa mais pessoas na festa, porque a cena é complexa e precisa de mais detalhes para ser entendida.
• É como um gerente de hotel que ajusta o número de funcionários baseado na lotação do dia: não desperdiça recursos em dias vazios, mas não deixa faltar ninguém em dias cheios.

Os Resultados: Rápido e Preciso

O papel mostra que essa técnica é incrível:

• Velocidade: A IA processa a imagem 7,8 vezes mais rápido porque não precisa ler milhares de pedaços repetidos.
• Precisão: Mesmo mantendo apenas 5% a 11% dos pedaços originais da imagem, a IA continua entendendo a foto quase tão bem quanto se lesse tudo. Em testes, ela superou todos os métodos anteriores.
• Versatilidade: Funciona tanto para fotos quanto para vídeos, e em diferentes tipos de IAs.

Resumo em uma frase

O PRUNESID é como um editor de vídeo superinteligente que, em vez de cortar cenas aleatoriamente, organiza a história em temas, mantém apenas o melhor ator de cada cena e ajusta o tamanho do filme dependendo de quão complexa é a história, garantindo que o filme fique curto, rápido e ainda perfeitamente compreensível.

Resumo técnico

1. Problema

Os Modelos de Linguagem e Visão (VLMs) modernos, como o LLaVA-1.5 e o LLaVA-NeXT, enfrentam ineficiências computacionais significativas devido à geração excessiva de tokens visuais. Uma única imagem pode gerar centenas ou milhares de tokens (ex: 576 no LLaVA-1.5 e até 2880 no LLaVA-NeXT), a maioria dos quais é redundante.

Embora estudos empíricos mostrem que ~70% desses tokens podem ser descartados com perda mínima de precisão, os métodos de compressão existentes falham em equilibrar dois objetivos críticos:

1. Preservação de Importância: Manter os tokens semanticamente salientes (foco em objetos principais).
2. Diversidade de Informação: Manter o contexto de fundo e detalhes variados para uma compreensão completa da cena.

Os métodos atuais dividem-se em duas categorias com limitações:

• Guiados por Atenção: Retêm tokens com alta pontuação de atenção, mas frequentemente ignoram o contexto de fundo e retêm múltiplos tokens redundantes de objetos similares.
• Conscientes de Duplicação: Removem tokens similares, mas podem descartar inadvertidamente regiões semanticamente importantes que possuem alta atenção, levando a representações de características distorcidas.

2. Metodologia: PRUNESID

O artigo propõe o PRUNESID (Synergistic Importance-Diversity), uma framework training-free (sem necessidade de re-treinamento) que utiliza um pipeline de duas etapas para resolver o compromisso entre importância e diversidade.

A. Análise de Componentes Semânticos Principais (PSCA)

Diferente da PCA tradicional que opera na dimensão de características, o PSCA redefine a decomposição para operar na dimensão dos tokens.

• Objetivo: Identificar direções semânticas globais que refletem conceitos visuais coerentes (objetos, fundos, texturas) em vez de apenas variância estatística bruta.
• Processo:
  1. Os embeddings dos tokens são normalizados e centralizados.
  2. Aplica-se uma decomposição de baixo posto (PCA) na matriz transposta dos tokens.
  3. Os tokens são agrupados em $K$ grupos semanticamente coerentes ($G_1, ..., G_K$) com base em qual direção principal (vetor singular) eles contribuem mais.
• Resultado: Cria-se uma estrutura onde tokens com significados similares estão no mesmo grupo, garantindo cobertura conceitual abrangente.

B. Supressão Não-Máxima Intra-Grupo (NMS)

Após o agrupamento, aplica-se uma estratégia de supressão de redundância dentro de cada grupo.

• Mecanismo: Inspirado na NMS de detecção de objetos, os tokens dentro de um grupo são classificados por sua pontuação de contribuição (projeção na direção principal).
• Filtragem: Um token é mantido apenas se sua similaridade máxima com todos os tokens já selecionados no grupo estiver abaixo de um limiar dinâmico $\tau$.
• Limiar Adaptativo: O limiar $\tau$ é calculado como $\tau = \lambda \cdot \rho$, onde $\rho$ é a pontuação de redundância global da imagem (similaridade média entre pares de tokens). Imagens mais redundantes sofrem uma supressão mais forte.

C. Mecanismo de Taxa de Compressão Dinâmica Consciente de Informação

Para superar métodos estáticos que usam uma taxa de compressão fixa para todas as imagens:

• Calcula-se uma pontuação de informação ($\phi = 1 - \rho$) para cada imagem.
• Imagens com alta complexidade semântica (alta diversidade, baixa redundância) recebem um orçamento maior de tokens.
• Imagens simples são comprimidas mais agressivamente.
• Isso otimiza a preservação média de informação em conjuntos de dados com alta variabilidade inter-imagem.

3. Contribuições Principais

1. Framework Training-Free: Uma solução genérica que não requer ajuste de pesos do modelo, aplicável a diversas arquiteturas VLM.
2. Resolução do Compromisso Importância-Diversidade: A combinação de PSCA (agrupamento semântico) e NMS (remoção de redundância) permite manter tanto a saliência local quanto a diversidade contextual.
3. Compressão Dinâmica: A introdução de uma taxa de compressão adaptativa baseada na complexidade da imagem melhora o desempenho em cenários variados.
4. Generalização: O método funciona eficazmente tanto para imagens quanto para vídeo, e em diferentes modelos (LLaVA, Mini-Gemini, Qwen-VL).

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks abrangentes (GQA, MME, POPE, VQAv2, MMMU, etc.) e em modelos como LLaVA-1.5, LLaVA-NeXT, Mini-Gemini e Video-LLaVA.

• LLaVA-1.5: Com apenas 11,1% de retenção de tokens (64 tokens), o PRUNESID atingiu 96,3% de precisão média, superando o método anterior VisionZip (92,5%) em 1,9 pontos percentuais.
• LLaVA-NeXT (Compressão Extrema): Em uma taxa de retenção de apenas 5,6% (160 tokens de 2880), o método manteve 92,8% da precisão original, superando os métodos anteriores em 2,5 pontos percentuais.
• Video-LLaVA: Com retenção de apenas 6,6% dos tokens de vídeo, alcançou 95,5% de precisão média, demonstrando eficácia em tarefas de compreensão de vídeo.
• Eficiência Computacional:
  • Redução do tempo de prefilling (pré-preenchimento) em 7,8x (de 218ms para 27,8ms no LLaVA-NeXT).
  • Aceleração geral da inferência mantendo ou superando a precisão de métodos que focam apenas em velocidade.

5. Significado e Impacto

O PRUNESID representa um avanço significativo na eficiência de VLMs ao demonstrar que a compressão de tokens não precisa ser um compromisso entre velocidade e precisão. Ao integrar a estrutura semântica dos tokens (via PSCA) com a eliminação de redundância local (via NMS) e adaptar-se dinamicamente à complexidade da imagem, o método permite:

• Escalabilidade: Viabiliza o uso de VLMs em dispositivos com recursos limitados ou em cenários de alta latência.
• Robustez: Mantém a compreensão contextual (fundo e detalhes finos) que métodos puramente baseados em atenção frequentemente perdem.
• Versatilidade: A abordagem é agnóstica à tarefa e funciona consistentemente em imagens estáticas e fluxos de vídeo, sugerindo um caminho promissor para a próxima geração de modelos multimodais eficientes.

O código do projeto está disponível publicamente, facilitando a adoção e o desenvolvimento futuro na área de compressão de tokens visuais.