Riepilogo Tecnico: VisCo – Sfruttare i Large Language Models come Encoder Intrinseci per la Compressione dei Token Visivi

1. Definizione del Problema

I Vision-Language Models (VLM) tipicamente elaborano immagini ad alta risoluzione codificandole in un gran numero di token visivi. Ciò comporta una sostanziale latenza di inferenza e un overhead di memoria dovuto alla complessità quadratica dei meccanismi di auto-attenzione (self-attention) e ai requisiti di archiviazione per le cache Key-Value (KV). Questo collo di bottiglia limita severamente l'implementazione dei VLM in scenari con risorse limitate e in tempo reale.

Le soluzioni esistenti per la compressione dei token visivi si dividono in due categorie, entrambe con significative limitazioni:

• Metodi senza addestramento (Training-free): Si affidano a metriche euristiche (ad es. punteggi di attenzione o similarità delle feature) per potare o fondere i token. Sebbene efficienti, soffrono di un degrado significativo delle prestazioni sotto elevati rapporti di compressione. Sono soggetti allo "shift dell'attenzione" (attention shift), che porta a allucinazioni, e spesso non riescono a preservare la semantica globale guidata dal testo o i dettagli fine-grained.
• Metodi basati sull'addestramento (Training-based): Introducono moduli di compressione esterni o richiedono un sostanziale ri-addestramento (incluso il ri-allineamento e l'instruction tuning). Sebbene più robusti, comportano elevati costi di ri-addestramento, compromettono i priori del VLM pre-addestrato e spesso mancano di flessibilità plug-and-play.

La sfida centrale è ottenere una compressione efficace dei token visivi che preservi la fedeltà semantica sotto una compressione aggressiva (ad es. riducendo i token a un'unica unità) senza richiedere un massiccio ri-addestramento o moduli esterni.

2. Metodologia: Framework VisCo

Gli autori propongono VisCo, un framework di auto-compressione efficiente nell'addestramento che riutilizza il VLM pre-addestrato stesso come compressore intrinseco. VisCo è progettato come un autoencoder VLM asimmetrico con parametri condivisi, operando in due fasi:

A. Architettura Asimmetrica

• Fase di Encoding: Il framework aumenta il backbone del VLM pre-addestrato con un modulo leggero e addestrabile. Nello specifico, introduce un piccolo set di token di memoria ($X_m$) apprendibili e utilizza adattatori LoRA sulle proiezioni Q/V. L'encoder elabora la sequenza congiunta di token visivi ($X_v$) e token di memoria ($X_m$).
• Fase di Decoding: Gli adattatori LoRA vengono rimossi e l'originale backbone del VLM pre-addestrato e congelato viene riutilizzato direttamente come decoder. Questo design assicura che VisCo richieda solo un adattamento leggero delle capacità esistenti piuttosto che il ri-apprendimento del processo di generazione multimodale da zero.

B. Costruzione della Sequenza e Mascheramento Causale

VisCo aderisce strettamente al meccanismo standard di mascheramento causale dei VLM decoder-only. I token di memoria vengono aggiunti dopo i token visivi nella sequenza di input. Ciò consente ai token di memoria di prestare naturalmente attenzione a tutti i token visivi precedenti utilizzando il prior di attenzione intrinseco del modello, aggregando ricche informazioni visive senza introdurre regole di interazione personalizzate.

C. Aggregazione e Passaggio Gerarchico delle Informazioni

Riconoscendo che gli strati (layer) dei Transformer esibiscono una specializzazione funzionale (gli strati inferiori codificano pattern locali, quelli superiori codificano semantica astratta), VisCo impiega un meccanismo di passaggio delle informazioni gerarchico:

1. Costruzione della Memory Bank: Durante l'encoding, invece di passare gli stati nascosti finali al decoder, il sistema conserva le matrici Key ($K$) e Value ($V$) corrispondenti solo ai token di memoria in ogni strato $l$. Queste vengono memorizzate in una memory bank per strato ($K_{mem}, V_{mem}$).
2. Decoding Gerarchico: Durante il decoding, queste cache KV di memoria per strato vengono popolate direttamente nella cache KV del decoder. Ciò consente al decoder di accedere a informazioni semantiche multi-granularità (dalle texture di basso livello al discorso di alto livello) senza la necessità di strati di proiezione, sfruttando la condivisioni dei parametri tra encoder e decoder.

D. Obiettivo di Addestramento

VisCo è perfezionato end-to-end tramite teacher forcing per massimizzare la verosimiglianza condizionale della risposta corretta dati i compressi input di memoria e testuali. Non vengono introdotti obiettivi di pre-training aggiuntivi.

3. Contributi Chiave

1. Framework di Auto-Compressione Intrinseca Asimmetrica: VisCo utilizza il VLM pre-addestrato stesso come compressore, mantenendo intatto il backbone e richiedendo solo un addestramento leggero (LoRA + token di memoria apprendibili).
2. Meccanismo di Passaggio delle Informazioni Gerarchico: Il metodo introduce un meccanismo per trasferire la semantica multi-granularità dagli strati dell'encoder al decoder tramite cache KV per strato, preservando la gerarchia strutturale delle informazioni visive sotto compressione.
3. Valutazione Esaustiva: Esperimenti estesi su 3 backbone VLM (LLaVA-1.5-7B, Qwen2-VL-2B, Qwen2-VL-7B) e 6 benchmark dimostrano una superiorità costante rispetto ai metodi esistenti, particolarmente sotto compressione aggressiva.

4. Risultati Sperimentali

Il paper valuta VisCo su benchmark tra cui GQA, MMB, MMB-CN, MME, POPE e MMVet.

• Prestazioni sotto Compressione Aggressiva:

  • Su LLaVA-1.5-7B (576 token $\to$ 32 token), VisCo mantiene il 91,8% delle prestazioni originali, superando il miglior baseline (VisPruner) di 4,0 punti nel punteggio medio.
  • Nell'impostazione estrema a singolo token (1 token), VisCo mantiene l'85,3% delle prestazioni originali, superando significativamente i metodi senza addestramento (ad es. SparseVLM a ~72,6%) e superando persino i più forti riferimenti basati sull'addestramento come MatryoshkaQuery e VoCo-LLaMA su metriche specifiche.
  • Su Qwen2-VL-2B (che ha già una compressione integrata), VisCo mantiene il 95,2% delle prestazioni con il 25% di ritenzione dei token e il 91,4% con il 12,5%, superando i baseline raffinati come VisionZip.

• Analisi Qualitativa:

  • VisCo cattura con successo sia il contesto generale della scena che le regioni chiave anche con pochissimi token, mentre i metodi di pruning basati sull'attenzione perdono il contesto globale e i dettagli.
  • In un'impostazione a singolo token, VisCo può generare didascalie dettagliate contenenti descrizioni a livello di oggetto e una semantica globale coerente.

• Efficienza:

  • VisCo riduce significativamente lo storage della cache KV.
  • Sebbene il passaggio iniziale di encoding introduca un overhead, VisCo raggiunge velocità di decoding più elevate. Negli scenari di dialogo multi-turno, il riutilizzo delle rappresentazioni in cache permette a VisCo di superare la latenza dei metodi senza addestramento (come FastV) dopo soli tre turni di dialogo.

• Rappresentazioni Complementari:

  • Uno studio di ablazione (VisCo+) mostra che combinare i token di memoria appresi con i token visivi originali può effettivamente migliorare le prestazioni del modello base su diversi benchmark. Ciò suggerisce che i token di memoria catturano informazioni complementari piuttosto che essere solo un sottoinsieme compresso.

5. Significato e Rivendicazioni

Il paper sostiene che VisCo dimostra che sfruttare i priori intrinseci dei VLM pre-addestrati consente una robusta compressione dei token visivi con un addestramento solo leggero.

• Superamento dei Trade-off: VisCo evita il grave degrado delle prestazioni dei metodi senza addestramento sotto alta compressione e gli elevati costi di ri-addestramento degli approcci basati su moduli esterni.
• Pattern di Elaborazione Nativo: Seguendo il pattern di elaborazione nativo del VLM (utilizzando il mascheramento causale e la condivisione dei parametri) anziché riscriverlo, VisCo ottiene prestazioni competitive con i metodi pesanti pur mantenendo la flessibilità di un adattamento leggero.
• Oltre la Compressione: Gli autori suggeriscono che i token di memoria appresi agiscono come rappresentazioni complementari che arricchiscono le feature visive, potenzialmente migliorando il modello oltre la mera efficienza di compressione.

Il lavoro conclude che una compressione efficace dei token visivi dipende dalle forti capacità di codifica delle informazioni già presenti nei VLM pre-addestrati, che possono essere sbloccate attraverso framework di auto-compressione efficienti come VisCo. Il lavoro futuro proposto esplora l'allocazione adattiva dei token e l'estensione alla compressione video.