Riepilogo Tecnico: TOPS - Pruning dei Token Visivi basato sui Primi Principi

1. Definizione del Problema

I Modelli Linguistici Multimodali (MLLM) hanno ottenuto progressi significativi nel ragionamento e nella comprensione, ma soffrono di un elevato overhead computazionale e di memoria. Questa inefficienza deriva dall'elevato numero di token visivi generati durante la tokenizzazione, che vengono elaborati attraverso tutti gli strati del transformer. Poiché i meccanismi di auto-attenzione scalano quadraticamente con la lunghezza della sequenza, gli input di immagini e video ad alta risoluzione creano colli di bottiglia sostanziali.

Gli esistenti metodi di pruning dei token visivi tentano di mitigare questo problema rimuovendo i token ridondanti, ma si affidano a schemi di punteggio euristici piuttosto che a un obiettivo basato su principi fondamentali. Gli approcci attuali rientrano generalmente in tre categorie, ognuna con specifiche limitazioni:

• Metodi basati sull'attenzione: Mantengono i token con alti punteggi di attenzione, ma spesso preservano token semanticamente ridondanti.
• Metodi basati sulla diversità: Incoraggiano la dispersione semantica, ma sono spesso agnostici rispetto alle istruzioni dell'utente, rischiando di scartare prove critiche per il compito.
• Metodi combinati: Sebbene integrino molteplici criteri, mancano di una formulazione fondamentale dell'obiettivo intrinseco del pruning dei token, trattandolo meramente come un problema di classificazione senza una giustificazione teorica del perché specifici criteri siano sufficienti.

2. Metodologia: Formulazione basata sui Primi Principi

Gli autori propongono TOPS (Token Optimal Preservation Sets), un modulo di pruning training-free e model-agnostic derivato da una prospettiva di primi principi utilizzando la teoria dell'informazione.

2.1 Fondamento Teorico

L'obiettivo centrale del pruning dei token è trovare un sottoinsieme $S \subseteq V$ (dove $V$ è l'insieme completo dei token visivi) che massimizzi l'informazione mutua tra il sottoinsieme e la distribuzione congiunta dei token visivi e la query testuale $Q$:
$$\max_{S \subseteq V, |S| \le K} I(S; V, Q)$$

Applicando la regola della catena dell'informazione mutua, gli autori decompongono questo obiettivo in tre principi fondamentali:

1. Rilevanza per il Compito ($I(S; Q)$): Il sottoinsieme deve essere informativo rispetto alla query dell'utente.
2. Copertura dell'Informazione ($I(S; V | Q)$): Il sottoinsieme deve preservare sufficiente informazione riguardo l'originale insieme visivo $V$ dato la query, minimizzando l'entropia condizionale $H(V | S, Q)$.
3. Diversità Semantica: Derivata dal limite superiore dell'informazione mutua condizionale, questo principio stabilisce che, per un budget fisso, i token devono essere semanticamente distinti dai token già selezionati per massimizzare il guadagno di informazione.

2.2 L'Algoritmo TOPS

TOPS costruisce l'ottimo sottoinsieme di token in modo greedy ad ogni punto di pruning. Il processo prevede:

1. Scoring: Per ogni token candidato $i$, l'algoritmo calcola:
   • Rilevanza per il Compito ($r_i$): Stimata tramite l'attenzione text-rater (o l'attenzione CLS nelle fasi iniziali).
   • Copertura dell'Informazione ($c_i$): Calcolata sulla base della massima similarità tra il candidato e i rimanenti token non selezionati, regolata dalla similarità con i token già selezionati.
   • Diversità Semantica ($d_i$): Misurata come $1 - \max_{j \in S} \text{sim}(h_i, h_j)$, garantendo che il nuovo token sia distinto dal set corrente.
2. Selezione: L'algoritmo combina questi punteggi in un punteggio di preservazione dell'informazione:
   $$\tilde{g}_{info_i} = \tilde{r}_i + \lambda \tilde{c}_i(U) + \alpha \tilde{d}_i(S)$$
   dove $\alpha$ e $\lambda$ sono fattori di bilanciamento. Il token che massimizza questo punteggio viene aggiunto al sottoinsieme $S$.
3. Pipeline Multi-stadio: Per gestire una riduzione fine, TOPS è implementato in due stadi:
   • Stadio I: Applicato dopo il proiettore multimodale ma prima dell'LLM. Utilizza l'attenzione CLS per la rilevanza al fine di rimuovere la ridondanza grossolana.
   • Stadio II: Applicato all'interno dell'LLM in determinati strati. Sfrutta l'attenzione text-to-visual dell'LLM per un raffinamento consapevole del testo.

3. Contributi Chiave

1. Prospettiva dei Primi Principi: Il paper ridefinisce il pruning dei token non come un problema euristico di ranking, ma come un problema di selezione del sottoinsieme ottimale fondato sulla teoria dell'informazione.
2. Tre Principi Fondamentali: L'identificazione e la formalizzazione di Rilevanza per il Compito, Copertura dell'Informazione e Diversità Semantica come condizioni necessarie per un pruning efficace.
3. Modulo TOPS: Un algoritmo di pruning plug-and-play, training-free e model-agnostic che costruisce dinamicamente i Token Optimal Preservation Sets.
4. Validazione Estesa: Esperimenti esaustivi su 7 backbone di MLLM (inclusi LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL, InternVL3 e LLaVA-Video) e 14 benchmark diversi.

4. Risultati Sperimentali

Gli autori riportano che TOPS supera costantemente i metodi allo stato dell'arte (es. FastV, VisionZip, DivPrune, SCOPE) attraverso vari rapporti di compressione e architetture di modelli.

• LLaVA-NeXT: Sul modello 7B, TOPS rimuove il 77,8% dei token visivi preservando il 100,0% delle prestazioni originali. A compressioni più elevate (riduzione dell'88,9% e 94,4%), mantiene rispettivamente il 99,1% e il 96,4% delle prestazioni.
• LLaVA-1.5: Con una compressione del 77,8%, TOPS mantiene il 98,3% delle prestazioni, superando il metodo successivo migliore (SCOPE) dello 0,5%. Anche a compressione estrema (riduzione del 94,4%, 32 token rimanenti), mantiene il 94,6% delle prestazioni.
• Architetture Avanzate: Su Qwen2.5-VL-7B e InternVL3-8B, TOPS raggiunge la massima accuratezza in tutti i rapporti di pruning testati, dimostrando l'efficacia agnostica rispetto all'architettura.
• Comprensione Video: Su LLaVA-Video con 64 frame, TOPS mantiene il 98,4% delle prestazioni con una riduzione dei token del 62,1% e il 92,3% con una riduzione del 90,5%, superando significativamente i baseline come FastV.
• Efficienza: TOPS ottiene una riduzione di quasi 10 volte nei FLOPs e riduce l'uso della memoria GPU di 1,9 GB rispetto al baseline, con miglioramenti significativi nella latenza di prefill.
• Mitigazione delle Allucinazioni: Notevolmente, su HallusionBench, TOPS mostra una maggiore resistenza alle allucinazioni, suggerendo che la rimozione di token ridondanti può talvolta migliorare la fedeltità del ragionamento.

5. Significato e Rivendicazioni

Il paper sostiene che un pruning efficace dei token non dovrebbe basarsi solo su punteggi di importanza euristici, ma deve preservare congiuntamente informazioni visive rilevanti per il compito, rappresentative e non ridondanti. Formulando il pruning come un problema di ottimizzazione basato sulla teoria dell'informazione, TOPS fornisce una base rigorosa per l'inferenza multimodale efficiente.

Gli autori suggeriscono che il loro lavoro offre una guida per il futuro design di MLLM leggeri, notando che un pruning aggressivo può talvolta mitigare le allucinazioni. Tuttavia, riconoscono limitazioni, tra cui l'overhead computazionale del ciclo di costruzione greedy ($O(KN)$), la dipendenza dai meccanismi di attenzione per i segnali di rilevanza e l'uso di iperparametri fissi tra strati e compiti. Notano inoltre che il framework non è ancora stato valutato sistematicamente in domini altamente specializzati come l'imaging medico o la captioning densa.