VisionZip: Longer is Better but Not Necessary in Vision Language Models

O artigo apresenta o VisionZip, um método eficiente que reduz a redundância em tokens visuais de modelos de linguagem e visão ao selecionar apenas os mais informativos, resultando em ganhos de desempenho superiores a 5% e uma aceleração de 8 vezes no tempo de inferência sem comprometer a qualidade.

O essencial

Imagine que você está tentando explicar uma foto complexa para um amigo muito inteligente, mas que se cansa facilmente se você falar demais.

No mundo da Inteligência Artificial, temos modelos chamados VLMs (Modelos de Linguagem e Visão). Eles são como esse amigo inteligente: conseguem "ver" imagens e conversar sobre elas. O problema é que, até agora, para descrever uma imagem, esses modelos tentavam enviar milhares de palavras (chamadas de "tokens") para descrever cada detalhe minúsculo da foto.

É como se, para descrever uma maçã, você dissesse: "A maçã é vermelha, tem um caule verde, tem uma sombra aqui, tem uma textura ali, tem um brilho acolá..." repetindo isso 2.000 vezes. Isso deixa o computador lento, gasta muita energia e faz a resposta demorar.

Os pesquisadores descobriram algo curioso: a maioria dessas palavras é apenas "gás". A imagem não precisa de 2.000 palavras para ser entendida; ela precisa de apenas algumas frases-chave. O resto é redundância (repetição inútil).

É aí que entra o VisionZip.

O que é o VisionZip?

Pense no VisionZip como um arquivista super-eficiente ou um editor de vídeo genial.

1. A "Redundância" (O Problema):
   Quando um computador olha para uma foto, ele a divide em pequenos pedaços (tokens). O estudo mostrou que, na maioria das vezes, o computador foca sua atenção apenas em alguns poucos pedaços importantes (como o rosto de uma pessoa ou um carro), enquanto ignora a maior parte do fundo ou detalhes repetitivos. Mas, por padrão, ele continua enviando todos os pedaços para o cérebro (o modelo de linguagem) processar. É como levar uma mala cheia de roupas que você nunca vai usar apenas para garantir que não esqueceu nada.

2. A Solução "Zip" (O VisionZip):
   O VisionZip chega antes do computador começar a "pensar" e faz uma triagem inteligente:

   • Seleção: Ele olha para a foto e diz: "Ok, estes 50 pedaços aqui são os mais importantes. Vamos mantê-los."
   • Agrupamento: Para os pedaços restantes que não são os principais, mas ainda têm alguma informação, ele não os joga fora. Em vez disso, ele os "amassa" (faz um merge) em grupos menores. É como pegar várias páginas de um livro que falam a mesma coisa e transformá-las em um único resumo.
   • Resultado: Em vez de enviar 2.000 palavras, ele envia apenas 100 palavras de alta qualidade.

Por que isso é incrível?

O artigo mostra três grandes vantagens, usando analogias simples:

• Velocidade Relâmpago:
  Imagine que você tem que ler um livro de 1.000 páginas para responder a uma pergunta. O VisionZip pega esse livro, resume os capítulos importantes e entrega apenas 50 páginas. O resultado? O computador responde 8 vezes mais rápido. Na verdade, o artigo diz que, com o VisionZip, um modelo grande (13 Bilhões de parâmetros) consegue responder mais rápido do que um modelo pequeno (7 Bilhões) que não usa essa técnica, mas com uma qualidade muito superior.

• Economia de Energia e Memória:
  Processar menos palavras significa que o computador não precisa "suar" tanto. Isso é crucial para usar IA em celulares, carros autônomos ou robôs, onde a bateria e o espaço são limitados. É como trocar um caminhão de carga por uma moto elétrica: você leva a mesma carga (informação), mas gasta muito menos combustível.

• Conversas Naturais (Multiturno):
  Em conversas de chat, o modelo precisa lembrar do que foi dito antes. Métodos antigos, que tentavam escolher palavras baseadas no que o usuário perguntou, às vezes esqueciam detalhes importantes da imagem quando a conversa mudava de assunto. O VisionZip é "cego" para o texto (não importa o que você pergunta), ele apenas garante que as melhores partes da imagem estejam lá. Isso torna as conversas mais estáveis e inteligentes.

O Grande Segredo

A descoberta principal do artigo é que "mais não é sempre melhor".

Por muito tempo, a ideia era: "Se a imagem é grande, precisamos de mais tokens para descrevê-la". O VisionZip provou o contrário: a qualidade da informação é mais importante que a quantidade. A IA moderna já é tão boa que, se você der a ela apenas as informações essenciais, ela performa melhor do que se você a sobrecarregar com dados repetitivos.

Resumo Final

O VisionZip é uma técnica simples, mas poderosa, que "comprime" a visão do computador. Ele remove o ruído e a repetição das imagens antes de enviá-las para a inteligência artificial. O resultado é um sistema que vê o mundo com a mesma clareza, mas muito mais rápido, gastando menos energia e sendo capaz de conversar por horas sem travar.

É como se, em vez de descrever uma foto pixel por pixel, o computador aprendesse a dizer: "Veja, aqui está o que realmente importa nesta imagem", e fosse direto ao ponto.

Resumo técnico

Resumo Técnico: VisionZip

1. O Problema

Os Modelos de Linguagem Visuais (VLMs) modernos, como LLaVA e LLaVA-NeXT, alcançaram desempenho notável ao integrar grandes quantidades de tokens visuais (derivados de imagens ou vídeos) com modelos de linguagem (LLMs). No entanto, essa abordagem gera dois problemas críticos:

• Custo Computacional Excessivo: A quantidade de tokens visuais é desproporcionalmente alta em comparação aos tokens de texto (ex: uma imagem de 672x672 pode gerar mais de 2.880 tokens, enquanto o texto tem apenas algumas dezenas). Isso consome muita memória e tempo de inferência, limitando aplicações em dispositivos de borda e cenários de tempo real.
• Redundância de Informação: Estudos preliminares indicam que os tokens visuais gerados por codificadores populares (como CLIP e SigLIP) contêm uma redundância significativa. A maioria dos tokens recebe pouca atenção e agrega pouca informação, enquanto apenas um pequeno subconjunto ("tokens dominantes") concentra a maior parte do conteúdo semântico da imagem.

2. Metodologia: VisionZip

O VisionZip é um método proposto para reduzir a redundância dos tokens visuais antes de serem processados pelo LLM, mantendo o desempenho do modelo. Diferente de métodos anteriores que reduzem tokens durante a passagem frontal do LLM (baseados na atenção entre texto e imagem), o VisionZip atua antes da projeção no LLM, de forma agnóstica ao texto (text-agnostic).

O método opera em duas etapas principais:

1. Seleção de Tokens Dominantes (Dominant Token Selection):

   • Analisa as pontuações de atenção dentro do codificador de visão (na camada -2, usada para extração de tokens).
   • Identifica e retém apenas os tokens que recebem a maior atenção (tokens dominantes), que agregam a maior parte da informação da imagem.
   • Para modelos com token CLS (como CLIP), seleciona os tokens mais atendidos pelo CLS. Para modelos sem CLS (como SigLIP), calcula a média da atenção recebida por cada token.

2. Fusão de Tokens Contextuais (Contextual Tokens Merging):

   • Para evitar a perda de detalhes importantes que não são "dominantes", os tokens restantes são agrupados.
   • Utiliza uma métrica de similaridade (baseada nos vetores Key da atenção) para fundir tokens semanticamente similares.
   • Isso cria "tokens contextuais" que preservam informações de fundo e detalhes menores sem aumentar excessivamente o número total de tokens.

Modos de Operação:

• Inferência sem Treinamento (Training-free): Aplica a seleção e fusão diretamente na inferência, sem necessidade de re-treinamento.
• Ajuste Eficiente (Efficient Tuning): Realiza um fine-tuning rápido (apenas 30 minutos com 1/10 dos dados) apenas na camada projetora (projector) para alinhar o espaço visual reduzido com o espaço do LLM, recuperando qualquer leve perda de desempenho.

3. Contribuições Principais

• Descoberta de Redundância: Demonstra empiricamente que a atenção em codificadores de visão converge rapidamente para poucos tokens, tornando a maioria dos tokens visuais redundantes e até prejudiciais (ruído) para o modelo.
• Método Agnóstico ao Texto: Ao contrário de métodos como FastV ou SparseVLM que dependem da interação texto-imagem no LLM para selecionar tokens, o VisionZip seleciona tokens com base na informação visual intrínseca. Isso o torna mais robusto para conversas multi-turno, onde o contexto visual deve ser preservado independentemente da pergunta atual.
• Eficiência Extrema: Reduz o número de tokens visuais em até 90-95% sem degradação significativa de desempenho.
• Aceleração de Inferência: Permite que modelos maiores (ex: 13B) sejam mais rápidos que modelos menores (ex: 7B) ao reduzir drasticamente o tempo de prefilling (latência inicial).

4. Resultados Experimentais

Os experimentos foram realizados em diversos benchmarks de compreensão de imagem e vídeo (GQA, MMBench, MME, POPE, TextVQA, etc.) e em modelos como LLaVA-1.5, LLaVA-NeXT e Mini-Gemini.

• Desempenho:

  • No LLaVA-1.5, com apenas 64 tokens (redução de 88,9%), o VisionZip atingiu 94,2% do desempenho do modelo original (com 576 tokens), superando o estado da arte (SparseVLM) em 8,2%. Com ajuste fino, atingiu 95,2%.
  • No LLaVA-NeXT, com 640 tokens (redução de 77,8%), atingiu 98,9% do desempenho original, superando o SparseVLM em 5,8%.
  • Em tarefas de Vídeo (Video-LLaVA), reduziu os tokens de 2.048 para 136, mantendo 93,2% da acurácia, superando o SparseVLM em 6,7%.

• Eficiência e Velocidade:

  • Redução de 8x no tempo de prefilling (latência para gerar o primeiro token).
  • Redução de 2x no tempo total de inferência.
  • Cenário Inédito: O modelo LLaVA-NeXT 13B com VisionZip foi mais rápido que o modelo 7B original, enquanto mantinha desempenho superior.
  • Economia significativa de memória CUDA (redução de mais de 20% em modelos 13B).

• Aplicabilidade:

  • Funciona bem em conversas multi-turno, onde métodos baseados em texto falham ao descartar tokens visuais relevantes para perguntas futuras.
  • Compatível com técnicas de quantização (8-bit, 4-bit) sem perda de desempenho.

5. Significado e Impacto

O VisionZip desafia a crença comum de que "quanto mais tokens visuais, melhor". Ele demonstra que a qualidade e a densidade de informação dos tokens são mais importantes que a quantidade bruta.

• Viabilidade Prática: Torna viável a execução de VLMs de alta performance em dispositivos com recursos limitados e em cenários de tempo real (como robótica e carros autônomos).
• Escalabilidade de Vídeo: Ao reduzir a redundância por frame, permite que modelos processem vídeos muito mais longos (5-10x mais quadros) dentro do mesmo limite de memória, melhorando a compreensão de sequências temporais.
• Direção Futura: Incentiva a comunidade a focar na extração de características visuais mais eficientes e menos redundantes, em vez de apenas aumentar a resolução ou o número de tokens.

Em resumo, o VisionZip oferece uma solução simples, eficaz e plug-and-play para otimizar VLMs, equilibrando desempenho e eficiência computacional de forma superior às abordagens atuais.