Resumo Técnico: VisCo – Utilizando Grandes Modelos de Linguagem como Codificadores Intrínsecos para Compressão de Tokens Visuais

1. Definição do Problema

Os Modelos de Visão-Linguagem (VLMs) normalmente processam imagens de alta resolução codificando-as em um grande número de tokens visuais. Isso resulta em uma latência de inferência substancial e sobrecarga de memória devido à complexidade quadrática dos mecanismos de autoatenção e aos requisitos de armazenamento para os caches de Chave-Valor (KV). Este gargalo limita severamente a implantação de VLMs em cenários de recursos limitados e tempo real.

As soluções existentes para compressão de tokens visuais dividem-se em duas categorias, ambas com limitações significativas:

• Métodos sem treinamento (Training-free): Estes dependem de métricas heurísticas (ex: escores de atenção ou similaridade de características) para podar ou mesclar tokens. Embora eficientes, sofrem uma degradação de desempenho significativa sob altas taxas de compressão. São propensos ao "desvio de atenção" (attention shift), levando a alucinações, e frequentemente falham em preservar a semântica global guiada por texto ou detalhes finos.
• Métodos baseados em treinamento (Training-based): Estes introduzem módulos de compressão externos ou exigem um retreinamento substancial (incluindo realinhamento e ajuste de instrução). Embora mais robustos, incorrem em altos custos de retreinamento, comprometem os priors do VLM pré-treinado e muitas vezes carecem de flexibilidade plug-and-play.

O desafio central é alcançar uma compressão de tokens visuais eficaz que preserve a fidelidade semântica sob compressão agressiva (ex: reduzindo os tokens a uma única unidade) sem exigir um retreinamento massivo ou módulos externos.

2. Metodologia: Estrutura VisCo

Os autores propõem o VisCo, uma estrutura de autocompressão eficiente em treinamento que reutiliza o próprio VLM pré-treinado como um compressor intrínseco. O VisCo é projetado como um autoencoder VLM assimétrico com parâmetros compartilhados, operando em duas etapas:

A. Arquitetura Assimétrica

• Estágio de Codificação (Encoding): A estrutura aumenta o backbone do VLM pré-treinado com um módulo treinável leve. Especificamente, introduz um pequeno conjunto de tokens de memória aprendíveis ($X_m$) e utiliza adaptadores LoRA nas projeções Q/V. O codificador processa a sequência conjunta de tokens visuais ($X_v$) e tokens de memória ($X_m$).
• Estágio de Decodificação (Decoding): Os adaptadores LoRA são removidos, e o backbone original do VLM pré-treinado congelado é reutilizado diretamente como o decodificador. Este design garante que o VisCo exija apenas uma adaptação leve das capacidades existentes, em vez de reaprender o processo de geração multimodal do zero.

B. Construção de Sequência e Mascaramento Causal

O VisCo adere estritamente ao mecanismo de mascaramento causal padrão de VLMs do tipo decoder-only. Os tokens de memória são anexados após os tokens visuais na sequência de entrada. Isso permite que os tokens de memória atentem naturalmente a todos os tokens visuais precedentes usando o prior de atenção intrínseco do modelo, agregando informações visuais ricas sem introduzir regras de interação customizadas.

C. Agregação e Passagem Hierárquica de Informação

Reconhecendo que as camadas do Transformer exibem especialização funcional (camadas inferiores codificam padrões locais, camadas superiores codificam semântica abstrata), o VisCo emprega um mecanismo de passagem de informação hierárquica:

1. Construção do Banco de Memória: Durante a codificação, em vez de passar os estados ocultos finais para o decodificador, o sistema retém as matrizes de Chave ($K$) e Valor ($V$) correspondentes apenas aos tokens de memória em cada camada $l$. Estas são armazenadas em um banco de memória por camada ($K_{mem}, V_{mem}$).
2. Decodificação Hierárquica: Durante a decodificação, esses caches KV de memória por camada são diretamente populados no cache KV do decodificador. Isso permite que o decodificador acesse informações semânticas de múltiplas granularidades (desde texturas de baixo nível até o discurso de alto nível) sem a necessidade de camadas de projeção, aproveitando o compartilhamento de parâmetros entre o codificador e o decodificador.

D. Objetivo de Treinamento

O VisCo é ajustado (fine-tuned) de ponta a ponta usando teacher forcing para maximizar a verossimilhança condicional da resposta correta dado o conteúdo comprimido e as entradas textuais. Nenhum objetivo de pré-treinamento adicional é introduzido.

3. Principais Contribuições

1. Estrutura de Autocompressão Intrínseca Assimétrica: O VisCo utiliza o próprio VLM pré-treinado como o compressor, mantendo o backbone intacto e exigindo apenas treinamento leve (LoRA + tokens de memória aprendíveis).
2. Mecanismo de Passagem de Informação Hierárquica: O método introduz um mecanismo para transferir semântica de múltiplas granularidades das camadas do codificador para o decodificador via caches KV por camada, preservando a hierarquia estrutural da informação visual sob compressão.
3. Avaliação Abrangente: Experimentos extensos em 3 backbones de VLM (LLaVA-1.5-7B, Qwen2-VL-2B, Qwen2-VL-7B) e 6 benchmarks demonstram superioridade consistente sobre métodos existentes, particularmente sob compressão agressiva.

4. Resultados Experimentais

O artigo avalia o VisCo em benchmarks incluindo GQA, MMB, MMB-CN, MME, POPE e MMVet.

• Desempenho sob Compressão Agressiva:

  • No LLaVA-1.5-7B (576 tokens $\to$ 32 tokens), o VisCo retém 91,8% do desempenho original, superando o melhor baseline (VisPruner) em 4,0 pontos na pontuação média.
  • Na configuração extrema de token único (1 token), o VisCo retém 85,3% do desempenho original, superando significativamente os métodos sem treinamento (ex: SparseVLM com ~72,6%) e até superando referências de treinamento mais fortes como MatryoshkaQuery e VoCo-LLaMA em métricas específicas.
  • No Qwen2-VL-2B (que já possui compressão integrada), o VisCo retém 95,2% de desempenho com 25% de retenção de tokens e 91,4% com 12,5% de retenção, superando baselines ajustados como o VisionZip.

• Análise Qualitativa:

  • O VisCo captura com sucesso tanto o contexto geral da cena quanto regiões chave mesmo com pouquíssimos tokens, enquanto métodos de poda baseados em atenção perdem o contexto global e detalhes.
  • Na configuração de token único, o VisCo consegue gerar legendas detalhadas contendo descrições de nível de objeto e semântica global coerente.

• Eficiência:

  • O VisCo reduz significativamente o armazenamento do cache KV.
  • Embora a etapa inicial de codificação introduza um overhead, o VisCo alcança velocidades de decodificação mais rápidas. Em cenários de diálogo de múltiplos turnos, o reúso das representações em cache permite que o VisCo supere a latência de métodos sem treinamento (como FastV) após apenas três turnos de diálogo.

• Representações Complementares:

  • Um estudo de ablação (VisCo+) mostra que combinar os tokens de memória aprendidos com os tokens visuais originais pode, de fato, melhorar o desempenho do modelo base em vários benchmarks. Isso sugere que os tokens de memória capturam informações complementares em vez de serem apenas um subconjunto comprimido.

5. Significância e Alegações

O artigo afirma que o VisCo demonstra que o aproveitamento dos priors intrínsecos de VLMs pré-treinados permite uma compressão robusta de tokens visuais com apenas um treinamento leve.

• Superação de Trocas (Trade-offs): O VisCo evita a severa degradação de desempenho dos métodos sem treinamento sob alta compressão e os altos custos de retreinamento das abordagens baseadas em módulos externos.
• Padrão de Processamento Nativo: Ao seguir o padrão de processamento nativo do VLM (usando mascaramento causal e compartilhamento de parâmetros) em vez de reescrevê-lo, o VisCo alcança um desempenho competitivo com métodos pesados, mantendo a flexibilidade de uma adaptação leve.
• Além da Compressão: Os autores sugerem que os tokens de memória aprendidos atuam como representações complementares que enriquecem as características visuais, potencialmente melhorando o modelo além da mera eficiência de compressão.

O trabalho conclui que uma compressão de tokens visuais eficaz depende de fortes capacidades de codificação de informação já presentes em VLMs pré-treinados, que podem ser desbloqueadas através de estruturas de autocompressão eficientes como o VisCo. Um trabalho futuro é proposto para explorar a alocação adaptativa de tokens e a extensão para compressão de vídeo.