DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

1. Il Problema

I modelli visione-linguaggio (VLM) hanno raggiunto capacità straordinarie di comprensione e ragionamento multimodale, ma soffrono di un elevato costo computazionale dovuto alla tokenizzazione densa delle immagini.

• Sovraccarico di Token: Mentre il numero di token testuali cresce linearmente, i token visivi scalano quadraticamente con la risoluzione dell'immagine ($H \times W$). Ad esempio, LLaVA-1.5 elabora 576 token per immagine, mentre LLaVA-NeXT può superare i 2.800 token.
• Costo Quadratico: Questo volume di token genera costi di attenzione quadratici, rendendo i modelli grandi (LVLM) limitati dalla memoria e dalla latenza.
• Limiti delle Soluzioni Esistenti: Le approcci attuali si dividono in due categorie, entrambe con difetti:
  1. Compressione lato Visione: Fondono i token troppo presto (es. VisionZip, PruMerge), rischiando la perdita di informazioni critiche.
  2. Compressione lato Linguaggio: Eliminano i token in modo uniforme o progressivo durante l'interazione con il linguaggio (es. PyramidDrop, FastV), spesso mancando di adattabilità semantica e sacrificando l'accuratezza per la velocità.

2. Metodologia: DUET-VLM

Gli autori propongono DUET-VLM, un framework di compressione "plug-and-play" a due stadi che ottimizza congiuntamente la rimozione della ridondanza e l'adattabilità contestuale. Il sistema opera in due fasi complementari:

Fase 1: Fusione Visione-Visione (V2V) - Ridondanza Consapevole

Prima dell'interazione cross-modale, l'output del codificatore visivo viene compresso:

• Selezione dei Token Dominanti: Utilizzando la mappa di auto-attenzione (V2V) dell'ultimo strato del codificatore (es. CLIP), vengono identificati i $k_1$ token "dominanti" (ad alta affinità visiva).
• Aggregazione in Cluster Locali (Novità): Invece di una media globale che diluisce le informazioni, i token residui vengono raggruppati in $k_2$ cluster locali.
  • Vengono selezionati dei centroidi basati sul ranking dei punteggi di attenzione.
  • I vicini di ciascun centroide (definiti da una larghezza di cluster $w$) vengono mediati localmente per creare un token contestuale.
  • I token non assegnati a nessun cluster vengono scartati immediatamente.
• Risultato: Si ottiene un set ridotto di token che preserva i dettagli strutturali fini e riduce il rumore di fondo.

Fase 2: Potatura Guidata dal Testo (T2V) - Selezione Semantica

All'interno del backbone linguistico (LLM), avviene una potatura progressiva e adattiva:

• Guida Semantica: Vengono selezionati i token testuali "salienti" (incluso il token di sistema e il token di query) per guidare la selezione.
• Punteggi di Attenzione Cross-Modale: In strati specifici (stadi) della rete linguistica, vengono calcolati i punteggi di attenzione tra i token testuali salienti e i token visivi rimanenti.
• Rank-and-Drop: I token visivi vengono classificati in base alla loro rilevanza per il contesto testuale. Una frazione $\lambda$ dei token meno informativi viene eliminata progressivamente a ogni stadio.
• Adattività: Questo meccanismo permette di mantenere i dettagli visivi necessari per il grounding iniziale, rimuovendo progressivamente la ridondanza man mano che il ragionamento si approfondisce.

3. Contributi Chiave

1. Ottimizzazione Congiunta Visione-Linguaggio: A differenza dei metodi precedenti unidirezionali, DUET-VLM collega i backbone visivo e linguistico tramite un'interfaccia differenziabile, permettendo alle rappresentazioni visive e al contesto linguistico di adattarsi reciprocamente durante la riduzione.
2. Compressione a Doppio Stadio: Unifica la fusione strutturale precoce (V2V) con la potatura semantica tardiva (T2V), preservando i dettagli a basso livello per il grounding e rimuovendo la ridondanza durante il ragionamento.
3. Aggregazione Locale dei Cluster: Sostituisce la media globale con un'aggregazione locale, evitando la diluizione delle caratteristiche informative a bassa frequenza e migliorando la diversità strutturale.
4. Addestramento End-to-End: Il framework è progettato per essere addestrato insieme al modello, permettendo un adattamento robusto agli input visivi ridotti senza sacrificare l'accuratezza.

4. Risultati Sperimentali

Il metodo è stato valutato su modelli come LLaVA-1.5-7B, Qwen-2.5-VL-7B e Video-LLaVA-7B su diversi benchmark (POPE, GQA, TextVQA, MME, SQA, ecc.).

• Inferenza (LLaVA-1.5-7B):
  • Con una riduzione del 67% dei token (da 576 a 192), mantiene il 99.0% dell'accuratezza di base.
  • Con una riduzione estrema dell'89% (64 token), mantiene il 95.4% dell'accuratezza.
  • Supera i metodi SOTA come VisionZip, PyramidDrop e FitPrune in tutti i budget di token.
• Addestramento:
  • L'addestramento con DUET-VLM riduce il tempo di training del 31% (a 128 token) mantenendo un'accuratezza del 99.1%.
  • A 192 token, raggiunge il 99.7% di accuratezza, superando la linea di base in alcuni benchmark.
• Video (Video-LLaVA-7B):
  • Con una riduzione del 53.1% dei token, supera la linea di base (>100% di accuratezza relativa).
  • Con una riduzione estrema del 93.4% (136 token), mantiene il 97.6% di accuratezza, dimostrando l'efficacia nella rimozione della ridondanza temporale.
• Generalizzazione: I risultati sono coerenti anche su architetture più recenti come Qwen-2.5-VL-7B.

5. Significato e Impatto

DUET-VLM dimostra che una gestione intelligente dei token può competere o superare lo scaling del modello in termini di accuratezza, riducendo drasticamente i requisiti computazionali.

• Efficienza: Permette di eseguire modelli VLM complessi con budget di token ridotti, abbattendo costi di memoria e latenza.
• Robustezza: La strategia a due stadi garantisce che le informazioni semantiche critiche non vengano perse, anche in condizioni di compressione estrema.
• Futuro: Il lavoro apre la strada a sistemi multimodali scalabili e pratici, suggerendo che l'ottimizzazione della gestione dei token durante l'addestramento è una via più promettente rispetto al semplice aumento delle dimensioni del modello.

In sintesi, DUET-VLM risolve il compromesso tra velocità e accuratezza nei VLM attraverso una compressione coordinata che sfrutta sia la ridondanza spaziale (nella visione) che quella contestuale (nel linguaggio).