UniCompress: Token Compression for Unified Vision-Language Understanding and Generation

1. Il Problema: Inefficienza dei Token nei Modelli Unificati

I modelli multimodali unificati recenti mirano a gestire sia la comprensione che la generazione di immagini all'interno di un singolo framework autoregressivo. In questi sistemi, le immagini vengono codificate in token discreti (spesso tramite tokenizer come VQ-VAE o VQGAN) e processati insieme ai token testuali.
Tuttavia, questo approccio presenta un collo di bottiglia significativo:

• Sovraccarico Computazionale: Un'immagine di risoluzione standard (es. 512x512) viene spesso mappata in oltre 1000 token (es. 32x32).
• Impatto sulla Generazione: Sebbene la compressione ingenua (come il downsampling o la potatura uniforme) possa funzionare per la comprensione delle immagini, degrada drasticamente le prestazioni nella generazione (con un calo superiore al 15%). La generazione richiede token spazialmente coerenti e dettagliati per ricostruire fedelmente le immagini.
• Costo di Addestramento: Sostituire l'intero tokenizer con uno più efficiente richiederebbe un riaddestramento completo del modello linguistico (LLM), un processo costoso e poco pratico.

L'obiettivo è quindi ridurre il numero di token visivi mantenendo le prestazioni sia per la comprensione che per la generazione, senza richiedere un riaddestramento massiccio dell'LLM sottostante.

2. Metodologia: UniCompress

Gli autori propongono UniCompress, un algoritmo di compressione dei token "plug-and-play" che riduce il conteggio dei token visivi fino a 4 volte mantenendo la qualità. Il framework si basa su tre moduli leggeri inseriti attorno a un tokenizer discreto esistente:

1. Estrattore di Token Globali (Global Token Extractor):

   • Utilizza un meccanismo di cross-attention unidirezionale per estrarre un piccolo insieme di token meta globali (es. 4 token) che catturano la semantica olistica della scena.
   • Questi token agiscono come "ancore semantiche" per guidare la ricostruzione.

2. Compressore (Compressor):

   • Aggrega i token locali densi in patch spaziali non sovrapposte (es. 2x2 o 4x4) tramite average pooling.
   • Questo riduce la sequenza visiva da $H \times W$ a una sequenza molto più corta, preservando la struttura grezza ma eliminando la ridondanza.

3. Decompressore Autoregressivo Guidato (Global-Guided Autoregressive Decompressor):

   • Questo è il componente chiave per la generazione. Ricostruisce una griglia di token densi e ad alta fedeltà partendo dai token compressi e dai token globali.
   • Funziona come un decoder Transformer che utilizza l'attenzione incrociata sui token globali per guidare la generazione dei dettagli locali, mitigando la perdita di dettaglio tipica delle compressioni uniformi.

Pipeline di Addestramento:
Il metodo utilizza una strategia a due fasi per evitare il riaddestramento completo dell'LLM:

1. Fase 1 (Tokenizer): Si addestra lo stack del tokenizer (estrattore, compressore, decompressore) per minimizzare la perdita di ricostruzione dell'immagine. L'LLM è congelato.
2. Fase 2 (LLM): Si congela il nuovo tokenizer compresso e si esegue un fine-tuning leggero dell'LLM sui dati compressi per entrambe le task (comprensione e generazione).

3. Contributi Chiave

• Identificazione del Collo di Bottiglia: Dimostrano che la compressione ingenua danneggia sproporzionatamente la generazione rispetto alla comprensione, definendo l'obiettivo di uno spazio di token compatto unificato.
• Framework Plug-and-Play: Progettano UniCompress come un modulo aggiuntivo che si integra in modelli unificati esistenti senza modificare l'architettura dell'LLM o richiedere un riaddestramento da zero.
• Meccanismo di Decompressione Guidata: Introducono l'uso di token meta globali e un decompressore autoregressivo per preservare la coerenza spaziale e i dettagli fini durante la generazione.
• Versatilità: Il metodo è stato testato su diverse architetture unificate (UNITOK, VILA-U, VARGPT, ecc.), inclusi modelli che utilizzano tokenizer diversi per comprensione e generazione o che integrano modelli diffusion.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard per la comprensione (GQA, MME, POPE, TextVQA, MMMU) e per la generazione (MJHQ-30K, misurata con FID e CLIPScore).

• Riduzione dei Token: Il metodo riduce i token visivi di un fattore 4x (ad esempio, da 256 a 64 token).
• Prestazioni di Comprensione: La perdita di accuratezza è minima (≤ 3 punti percentuali su benchmark come GQA e POPE), dimostrando che la semantica globale è preservata.
• Prestazioni di Generazione: Nonostante la compressione, l'aumento del FID (peggioramento della qualità) è contenuto (≤ 5 punti in media). Modelli come VILA-U e VARGPT mantengono prestazioni competitive, mentre la generazione con token compressi è significativamente migliore rispetto alla compressione ingenua.
• Efficienza:
  • Inferenza: Riduzione della latenza di generazione fino al 41,8% (es. da 32 min a 19 min su UNITOK).
  • Addestramento: Riduzione del tempo di addestramento fino al 15,4%.
• Ablazione: Gli esperimenti confermano che sia i token meta globali che il decompressore autoregressivo sono essenziali; rimuoverli porta a una perdita di coerenza a lungo raggio e texture sfocate.

5. Significato e Impatto

UniCompress rappresenta un passo avanti cruciale verso il dispiegamento pratico di modelli multimodali unificati su piattaforme con risorse limitate (come sistemi di intelligenza artificiale incarnata o dispositivi edge).

• Efficienza: Risolve il problema della ridondanza dei token senza sacrificare la qualità, rendendo fattibile l'uso di modelli unificati in scenari reali dove la memoria e la potenza di calcolo sono vincolanti.
• Generalità: La natura modulare del metodo permette di applicarlo a una vasta gamma di architetture esistenti, offrendo una soluzione scalabile per il futuro dei modelli fondazione multimodali.
• Bilanciamento: Dimostra che è possibile ottenere un compromesso ottimale tra efficienza computazionale e fedeltà del compito, superando i limiti delle tecniche di compressione precedenti focalizzate solo sulla comprensione.

In sintesi, UniCompress abilita modelli unificati più compatti ed efficienti, capaci di gestire compiti complessi di visione e linguaggio con un overhead computazionale drasticamente ridotto.