UniCompress: Token Compression for Unified Vision-Language Understanding and Generation

1. O Problema

Os modelos unificados de visão e linguagem (que realizam tanto compreensão quanto geração de imagens em um único framework autoregressivo) enfrentam um gargalo crítico de eficiência de tokens.

• Custo Computacional: Os tokenizadores visuais padrão (como VQ-VAE ou VQGAN) convertem imagens em sequências longas de tokens discretos (ex: uma imagem de 512x512 gera 1024 tokens). Isso aumenta drasticamente a memória, o custo de treinamento e a latência de inferência.
• Limitação de Desempenho: Métodos de compressão ingênuos (como downsampling simples ou poda uniforme de tokens) funcionam razoavelmente bem para tarefas de compreensão, mas degradam severamente a qualidade da geração de imagens (perda de mais de 15% de desempenho), pois a geração exige tokens espacialmente consistentes e de alta fidelidade para reconstruir detalhes finos.
• Custo de Retreinamento: Substituir o tokenizador existente por um mais eficiente geralmente exige o retreinamento do modelo de linguagem (LLM) do zero, o que é proibitivamente caro.

2. Metodologia: UNICOMPRESS

O UniCompress é proposto como um algoritmo de compressão de tokens "plug-and-play" (modular) que reduz a contagem de tokens visuais em até 4x sem a necessidade de retreinamento completo do LLM. A arquitetura adiciona três módulos leves ao tokenizador existente:

1. Extração de Tokens Globais (Meta Tokens):

   • Utiliza um mecanismo de atenção cruzada unidirecional para extrair um pequeno conjunto de tokens globais aprendíveis ($N_g$) que capturam a semântica holística da cena (estrutura global, relações de objetos).
   • Esses tokens atuam como "âncoras" semânticas para guiar a reconstrução.

2. Compressor de Tokens (Pooling):

   • Agrega tokens locais em patches espaciais não sobrepostos (ex: média de 2x2 ou 4x4) para reduzir a sequência visual.
   • Insere marcadores especiais ([IMG_BOS], [IMG_SEP], [IMG_EOS]) para separar os tokens globais dos locais na sequência multimodal.

3. Descompressor Autoregressivo Guiado por Globais:

   • Durante a geração, o modelo de linguagem prevê tanto os tokens globais quanto os tokens locais comprimidos.
   • Um decodificador (baseado em Transformer) expande a representação compacta de volta para uma grade densa de tokens.
   • Chave: O descompressor usa os tokens globais como condição para refinar autoregressivamente as texturas e bordas locais, mitigando a perda de detalhes.

Fluxo de Treinamento (Duas Etapas):

1. Treinamento do Tokenizador: O LLM é congelado. O tokenizador (compressor + descompressor) é treinado para reconstruir a imagem com alta fidelidade a partir dos tokens comprimidos.
2. Ajuste Fino do LLM: O tokenizador comprimido é congelado e o LLM é ajustado levemente (fine-tuning) para entender e gerar a nova sequência de tokens compacta.

3. Principais Contribuições

• Identificação do Gargalo: Demonstra que a compressão ingênua prejudica desproporcionalmente a geração de imagens, estabelecendo a necessidade de um espaço de tokens compacto que sirva a ambos os propósitos (compreensão e geração).
• Arquitetura Modular: Propõe o UniCompress, um framework que integra compressão e descompressão guiada por tokens globais, permitindo a integração em modelos unificados existentes sem alterar a arquitetura do backbone do LLM.
• Eficiência com Qualidade: Alcança uma redução de tokens de até 4x mantendo o desempenho competitivo em ambas as tarefas, superando métodos anteriores que focavam apenas em eficiência de treinamento ou compreensão.

4. Resultados Experimentais

Os testes foram realizados em diversos modelos unificados de ponta (UNITOK, VILA-U, VARGPT, UNIFORK, OPENUNI, BAGEL) em benchmarks de compreensão e geração.

• Compreensão Visual:
  • A precisão em tarefas como GQA, POPE e MME caiu minimamente (queda $\le$ 3 pontos em média).
  • O modelo consegue manter a compreensão de entidades e relações espaciais mesmo com tokens reduzidos.
• Geração de Imagens:
  • A qualidade (medida por FID e CLIP Score) sofreu uma degradação moderada, mas controlada (aumento de FID $\le$ 5 pontos em muitos casos).
  • O uso de meta tokens globais e descompressão autoregressiva foi crucial para preservar a fidelidade, superando abordagens de pooling simples ou tokens CLS.
• Eficiência (Latência e Treinamento):
  • Inferência: Redução de latência de até 41,8% na geração de imagens (ex: tempo de inferência caiu de 32,25 min para 18,96 min no UNITOK).
  • Treinamento: Redução de tempo de treinamento em até 15,4%.
  • A economia é mais significativa na geração autoregressiva, onde cada token impacta diretamente o tempo de execução.

5. Significado e Impacto

O UniCompress representa um avanço prático para a implantação de modelos multimodais unificados em ambientes com recursos limitados (como sistemas de IA incorporada/embodied AI).

• Ao permitir a redução drástica da sequência de tokens sem sacrificar a capacidade de geração de alta qualidade, o método viabiliza o uso de modelos grandes em hardware mais acessível.
• A abordagem "compressão uma vez, reutilização para ambos" (compreensão e geração) simplifica o pipeline de engenharia, eliminando a necessidade de tokenizadores separados ou retreinamentos massivos de LLMs.
• O trabalho estabelece que representações visuais compactas, quando guiadas por semântica global, podem manter a qualidade do modelo enquanto operam com orçamentos computacionais muito menores.