Riepilogo Tecnico: Evoluzione Spettrale Guidata per il Pruning dei Token nei Modelli Linguistici Multimodali di Grandi Dimensioni

1. Definizione del Problema

I Modelli Linguistici Multimodali (MLLM) hanno ottenuto progressi significativi nel ragionamento visivo e nel dialogo, ma soffrono di elevati costi computazionali a causa dell'elaborazione di centinaia o migliaia di token visivi per ogni campione. Questa inefficienza è particolarmente acuta negli scenari di immagini e video ad alta risoluzione.

Gli attuali metodi di pruning dei token tentano di mitigare questo problema riducendo la ridondanza dei token visivi. Tuttavia, gli approcci esistenti si affidano tipicamente a segnali a singolo strato, come i punteggi di attenzione, le magnitudo delle caratteristiche o le metriche di similarità calcolate all'interno di uno specifico strato Transformer. Gli autori identificano due criticità fondamentali in questi metodi:

1. Bias Posizionale: I punteggi di attenzione spesso mostrano un bias verso i token che appaiono più tardi nella sequenza appiattita a causa degli effetti della codifica posizionale, piuttosto che riflettere la reale importanza semantica.
2. Rappresentazione Statica: I segnali a singolo strato trascurano la trasformazione cross-layer delle rappresentazioni visive. Negli MLLM, i token visivi subiscono un'evoluzione strutturata da dettagli spaziali di basso livello verso astrazioni semantiche di alto livello mentre passano attraverso gli strati del decoder LLM. I segnali istantanei non riescono a catturare questa transizione dinamica, portando al potenziale pruning di token semanticamente attivi o alla ritenzione di token di sfondo ridondanti.

2. Metodologia: Evoluzione Spettrale Cross-Layer (CLSE)

Per affrontare queste limitazioni, gli autori propongono il Cross-Layer Spectral Evolution (CLSE), un framework di pruning dei token privo di addestramento (training-free). Invece di misurare l'importanza del token basandosi sulla magnitudo delle caratteristiche o sull'intensità dell'attenzione in un singolo punto, il CLSE quantifica come le rappresentazioni dei token evolvono attraverso i layer Transformer nel dominio della frequenza.

Meccanismo Centrale

Il metodo opera sull'osservazione che i token semanticamente attivi subiscono una significativa ridistribuzione spettrale (transizione da dettagli strutturali ad alta frequenza ad astrazioni semantiche a bassa frequenza) attraverso i layer, mentre i token di sfondo ridondanti rimangono relativamente stazionari nel dominio della frequenza.

La pipeline CLSE prevede i seguenti passaggi:

1. Proiezione in Frequenza: I token visivi in uno strato specifico $\ell$ vengono rimodellati in mappe di caratteristiche spaziali 2D e trasformati nel dominio della frequenza tramite la Fast Fourier Transform (FFT).
2. Filtraggio Passa-Alto: Un filtro passa-alto Gaussiano viene applicato allo spettro per sopprimere i pattern globali a bassa frequenza e isolare l'energia strutturale ad alta frequenza. Questo isola l'informazione strutturale "residua".
3. Calcolo dell'Evoluzione Spettrale: Il metodo calcola la differenza normalizzata tra le distribuzioni di energia ad alta frequenza di strati adiacenti ($\ell$ e $\ell+1$).
   • Sia $\mathbf{S}_\ell$ la distribuzione spaziale dell'energia ad alta frequenza allo strato $\ell$.
   • L'intensità di evoluzione $\mathcal{I}^{(\ell)}$ è calcolata come:
     $$\mathcal{I}^{(\ell)} = \text{clip}\left( \frac{|\mathbf{S}_{\ell+1} - \mathbf{S}_{\ell}|}{\mathbf{S}_{\ell} + \overline{\mathbf{S}}_{\ell} + \epsilon}, 0, \tau_{\max} \right)$$
   • Qui, $\overline{\mathbf{S}}_{\ell}$ è l'energia media tra i token, che funge da regolarizzatore per sopprimere le fluttuazioni minori nelle regioni inattive.
4. Selezione dei Token: I token con punteggi di intensità di evoluzione più elevati sono considerati semanticamente attivi e vengono preservati. I token con punteggi bassi (che indicano rappresentazioni statiche e ridondanti) vengono sottoposti a pruning.

Integrazione

Il CLSE è integrato nei primi strati del decoder LLM (specificamente tra gli embedding di input e l'output del primo strato del decoder). Funge da modulo plug-and-play che guida la selezione dei token prima che gli strati successivi elaborino la sequenza ridotta. Il framework è ortogonale alle strategie di token merging e può essere combinato con esse (ad esempio, CLSE-M).

3. Contributi Chiave

L'articolo delinea tre contributi primari:

1. Framework di Evoluzione Spettrale Cross-Layer (CLSE): Un nuovo principio per la stima dell'importanza del token che caratterizza l'evoluzione delle rappresentazioni visive dai dettagli strutturali alle astrazioni semantiche attraverso i layer dell'LLM, andando oltre le statistiche a singolo strato.
2. Strategia di Pruning Training-Free: Un'implementazione pratica che identifica e rimuove i token ridondanti durante l'inferenza senza richiedere il riaddestramento del modello o la modifica dei pesi. Sfrutta la dinamica spettrale per preservare i token che subiscono cambiamenti rappresentativi significativi.
3. Validazione Empirica: Esperimenti estesi su diversi benchmark di immagini e video che dimostrano come il CLSE raggiunga un trade-off superiore tra efficienza e accuratezza, in particolare sotto rapporti di riduzione dei token aggressivi.

4. Risultati Sperimentali

Gli autori hanno valutato il CLSE su molteplici MLLM (LLaVA-1.5, LLaVA-Next, Qwen2-VL) e benchmark (GQA, MMB, POPE, SQA, VQAText, ecc.).

Comprensione delle Immagini

• Performance: Su LLaVA-1.5-7B, il CLSE ha raggiunto un'accuratezza media del 99,4% rispetto al modello con tutti i token mantenendo solo 192 token (riduzione del 66,7%), superando i metodi allo stato dell'arte come FastV (92,1%) e PDrop (96,9%).
• Riduzione Aggressiva: Anche con una riduzione dell'88,9% (64 token), il CLSE ha mantenuto una performance del 94,8%, superando significativamente i competitor che hanno subito un degrado maggiore.
• Generalizzazione: Il metodo ha dimostrato miglioramenti consistenti in diverse architetture di modelli (LLaVA-Next-7B, Qwen2-VL-7B/72B), mantenendo un'alta accuratezza laddove i metodi basati sull'attenzione fallivano.

Comprensione del Video

• Compressione Estrema: Su Video-LLaVA, comprimendo i token da 2048 a 194 (>90% di riduzione), il CLSE ha raggiunto il 35,7% di accuratezza media (utilizzando la valutazione GPT-4o-mini), rispetto al 26,1% di FastV.
• Variante Token Merging (CLSE-M): Richiamando i token rimossi e raggruppandoli in base ai punteggi spettrali, CLSE-M ha eguagliato le performance del modello vanilla (35,7% di accuratezza) riducendo i FLOPs di circa il 90%.

Efficienza

• Costo Computazionale: Il CLSE riduce significativamente i FLOPs e la memoria della cache KV. Su LLaVA-1.5-7B, ha ottenuto un'accelerazione di 1,50× nel tempo di prefilling con i FLOPs più bassi (43,9%) tra i metodi confrontati.
• Scalabilità: A differenza del pruning basato sull'attenzione che richiede il calcolo dell'attenzione "Eager" (complessità quadratica $O(N^2)$) per estrarre i pesi, il CLSE si basa sulla FFT, mantenendo una complessità quasi lineare $O(N \log N)$. Ciò garantisce che l'overhead del meccanismo di pruning rimanga basso anche per sequenze lunghe.

5. Significato e Rivendicazioni

L'articolo afferma che l'Evoluzione Spettrale Cross-Layer fornisce un segnale più affidabile per l'importanza del token rispetto alle metriche istantanee di attenzione o di magnitudo.

• Mitigazione del Bias: Analizzando il cambiamento della rappresentazione attraverso i layer anziché lo stato in un singolo layer, il CLSE mitiga il bias posizionale intrinseco nei punteggi di attenzione.
• Fedeltà Semantica: Il metodo si allinea alla comprensione teorica che il decoding degli MLLM comporta una transizione dai dettagli spaziali alle astrazioni semantiche. I token che partecipano attivamente a questa transizione (mostrando evoluzione spettrale) vengono preservati, mentre i token di sfondo statici vengono rimossi.
• Robustezza: L'approccio è robusto attraverso diversi livelli di compressione e scale di modello, offrendo una via stabile per accelerare gli MLLM senza riaddestramento.

Gli autori concludono che la modellazione della dinamica delle rappresentazioni nel dominio della frequenza offre una direzione promettente per il ragionamento multimodale efficiente, incoraggiando un'ulteriore esplorazione delle rappresentazioni spettrali negli MLLM.