Rethinking Token Reduction for Large Vision-Language Models

1. Il Problema: Costi Computazionali e Sfide del VQA Multi-Turno

I Large Vision-Language Models (LVLM) hanno dimostrato eccellenti capacità di comprensione visiva e ragionamento, ma soffrono di un elevato costo di inferenza dovuto al numero eccessivo di token visivi. Sebbene esistano metodi di riduzione dei token, la maggior parte è stata sviluppata per scenari di Visual Question Answering (VQA) a turno singolo.

Il paper evidenzia una lacuna critica negli scenari Multi-Turn VQA (MT-VQA), ovvero conversazioni multi-ruota su un'immagine:

• Imprevedibilità: Nelle conversazioni multi-ruota, le domande successive sono sconosciute in anticipo e possono riferirsi a qualsiasi regione dell'immagine (es. il primo turno chiede del primo piano, il secondo dello sfondo).
• Limiti dei metodi esistenti:
  • Metodi dipendenti dal prompt (Prompt-dependent): Come FastV, mantengono i token rilevanti solo per la prima domanda. Questo porta a scartare informazioni visive cruciali per i turni successivi, degradando le prestazioni.
  • Metodi indipendenti dal prompt (Prompt-agnostic): Come PruMerge, si basano su metriche euristica (es. punteggi di attenzione) per ridurre i token. Il paper dimostra che queste euristiche, basate su intuizioni umane, sono subottimali e non catturano la vera rilevanza dei token per un dialogo dinamico.

2. Metodologia: MetaCompress

Gli autori propongono MetaCompress, un metodo di riduzione dei token basato sull'apprendimento (learning-based) e indipendente dal prompt, progettato specificamente per superare i limiti delle euristiche.

Concetti Chiave:

1. Formulazione come Mappatura Apprendibile:
   Invece di usare regole fisse, il paper formula la riduzione dei token come un problema di ottimizzazione per trovare una mappatura di compressione ottimale. L'obiettivo è minimizzare la discrepanza tra le risposte generate dal modello con i token originali e quelle generate con i token compressi.
   $$\tilde{X}_{IMG} = P X_{IMG}$$
   Dove $P$ è una matrice di compressione sparsa e apprendibile.

2. Analisi Preliminare (Quali token mantenere?):
   Gli autori hanno prima addestrato una matrice di compressione fissa per ogni immagine. I risultati hanno rivelato che i token selezionati dalla matrice ottimizzata non correlano con i punteggi di attenzione euristici (come l'attenzione al token [CLS] o ai token del prompt). Questo conferma che le euristiche attuali sono inefficaci per MT-VQA.

3. Architettura di MetaCompress:
   Per rendere il metodo pratico e scalabile a diverse risoluzioni di input (necessario per LVLM moderni come LLaVA-NeXT), non si addestra una matrice per ogni immagine, ma un generatore di matrici di compressione ($P_{meta}$).

   • Input: Solo la sequenza visiva ($X_{IMG}$), indipendente dal prompt testuale.
   • Meccanismo: Il generatore utilizza un embedding di posizione, proiezioni di query (down-sampled) e chiavi per calcolare la matrice di compressione $P$ tramite un prodotto interno pesato.
   • Adattabilità: È in grado di gestire sequenze di lunghezza variabile (diverse risoluzioni) grazie a operazioni di pooling frazionario.

4. Paradigma di Addestramento Efficiente:

   • Obiettivo di Perdita: Minimizzare la divergenza KL tra le distribuzioni di probabilità delle risposte del modello originale e quello compresso ($L_{pred}$).
   • Regolarizzazione: Vengono aggiunte due regolarizzazioni per evitare soluzioni banali (collasso):
     • $L_{entropy}$: Promuove la sparsità della matrice.
     • $L_{collapse}$: Previene che tutti i token compressi derivino dalla stessa fonte di input.
   • Efficienza: Il metodo richiede pochissimi dati di addestramento (circa 20k campioni) e non necessita di ri-addestrare l'intero LVLM, ma solo il modulo leggero di compressione.

3. Contributi Chiave

1. Analisi del VQA Multi-Turno: È uno dei primi lavori a esplorare sistematicamente la riduzione dei token nello scenario MT-VQA, dimostrando che i metodi attuali falliscono a causa della natura imprevedibile delle domande successive.
2. Dimostrazione dell'Inefficacia delle Euristiche: Attraverso esperimenti controllati, provano che i criteri basati sull'attenzione (usati da FastV e simili) sono subottimali e che i token "importanti" per un dialogo non sono necessariamente quelli con il punteggio di attenzione più alto.
3. MetaCompress: Introduzione di un metodo prompt-agnostic basato sull'apprendimento che unifica pruning e merging in un'unica mappatura ottimizzata, senza dipendere da metriche euristica.
4. Efficienza e Generalizzazione: Il metodo è addestrato in modo efficiente e dimostra una forte capacità di trasferimento (generalization) su diversi modelli LVLM e dataset, anche senza addestramento specifico su quei dataset.

4. Risultati Sperimentali

Il metodo è stato valutato su tre benchmark MT-VQA (MT-VQA-v2, MT-GQA, ConvBench) utilizzando cinque architetture LVLM diverse (LLaVA-1.5, LLaVA-NeXT, InternLM-XComposer-2.5).

• Accuratezza: MetaCompress supera costantemente i metodi baselines (Random, Sample, FastV, PruMerge) mantenendo un compromesso eccellente tra efficienza e accuratezza. Ad esempio, su LLaVA-NeXT-7b con un tasso di riduzione del 90%, MetaCompress raggiunge un'accuratezza media di 75.18%, contro il 58.45% di FastV e il 71.78% del pruning casuale.
• Efficienza Computazionale: Il metodo riduce drasticamente il tempo di generazione del primo token (TTFT) e l'uso di memoria GPU, raggiungendo prestazioni simili o superiori al pruning casuale (che è il metodo più veloce ma meno accurato) ma con un'accuratezza molto più alta.
• Trasferibilità: Il modello addestrato su un sottoinsieme di dati (MT-GQA e MT-VQA-v2) funziona bene su benchmark non visti come ConvBench e persino su task di Video QA (MT-Video-MME), dimostrando una robusta capacità di generalizzazione.

5. Significato e Impatto

Questo lavoro rappresenta un cambio di paradigma nella riduzione dei token per LVLM:

• Dalle Euristiche all'Apprendimento: Sposta il focus da regole fisse basate sull'attenzione a mappature di compressione apprese dai dati, che si adattano meglio alla complessità delle conversazioni multi-ruota.
• Praticità per il Deployment: Offrendo un metodo che non richiede la modifica dell'intera architettura del modello o un addestramento costoso, rende fattibile l'uso di LVLM avanzati su dispositivi con risorse limitate o in scenari di interazione conversazionale reale.
• Fondamento per Futuri Lavori: Stabilisce che per scenari dinamici come il MT-VQA, la preservazione delle informazioni visive deve essere guidata dall'ottimizzazione della risposta finale del modello, non da metriche intermedie statiche.

In sintesi, MetaCompress risolve il collo di bottiglia computazionale dei LVLM nelle conversazioni multi-ruota, offrendo una soluzione più intelligente, adattiva ed efficiente rispetto alle tecniche di riduzione dei token esistenti.