Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity

Il paper introduce PruneSID, un metodo senza addestramento per la compressione dei token visivi nei modelli visione-linguaggio che, combinando analisi delle componenti semantiche e soppressione non massima, preserva l'essenza delle informazioni riducendo drasticamente il carico computazionale e migliorando le prestazioni rispetto agli approcci esistenti.

L'essenziale

Ecco una spiegazione semplice e creativa del paper PRUNESID, pensata per chiunque, anche senza un background tecnico.

Immagina di avere un cervello digitale (chiamato Modello Linguistico Visivo o VLM) che deve guardare una foto e raccontarti cosa succede. Il problema è che questo cervello è molto "golosone": quando vede una foto, la scompone in migliaia di piccoli pezzi (chiamati token), come se fosse un puzzle con 576 o addirittura 2880 tasselli.

Molti di questi tasselli sono ridondanti: sono pezzi di cielo blu, di un muro grigio o di foglie simili che non aggiungono nulla di nuovo. Il cervello digitale perde tempo a leggere tutti questi pezzi, diventando lento e affaticato.

PRUNESID è la soluzione proposta dagli autori per dire a questo cervello: "Ehi, smetti di mangiare tutto il buffet! Mangia solo il meglio."

Ecco come funziona, passo dopo passo, con delle metafore:

1. Il Problema: Troppi Tasselli, Poco Gusto

Fino ad ora, i metodi per ridurre i tasselli erano come due tipi di cuochi sbagliati:

• Il Cuoco "Attenzione": Guarda solo le parti più luminose o colorate della foto (come un oggetto rosso in mezzo a un prato verde). Ma spesso ignora lo sfondo o il contesto, perdendo dettagli importanti. È come guardare solo il protagonista di un film e saltare la scena.
• Il Cuoco "Ridondanza": Toglie tutto ciò che si ripete. Se ci sono 10 foglie uguali, ne tiene una sola. Ma a volte, per sbaglio, butta via anche la foglia che aveva scritto una nota importante, perché sembrava uguale alle altre.

2. La Soluzione PRUNESID: Il "Giardiniere Intelligente"

PRUNESID usa un approccio in due fasi, come un giardiniere esperto che deve potare un cespuglio enorme per lasciarne solo i rami migliori.

Fase 1: PSCA (L'Organizzatore di Gruppi)

Immagina di avere un mucchio di 576 foglie sparse sul tavolo. Invece di prenderle una per una, PRUNESID le raggruppa per "famiglie".

• Usa una tecnica matematica (chiamata PSCA) per dire: "Queste foglie sono tutte della famiglia 'Cielo', queste della famiglia 'Albero', queste della famiglia 'Cane'".
• L'analogia: È come se organizzassi una festa separando gli ospiti in gruppi: i musicisti, i ballerini e i mangiatori di pizza. Ora sai che hai un'idea completa di chi è presente (copertura semantica), senza dover guardare ogni singola persona singolarmente.

Fase 2: NMS (Il Potatore Selettivo)

Una volta che le foglie sono nei loro gruppi, arriva il momento di tagliare.

• Dentro il gruppo "Cielo", ci sono 50 pezzi di cielo blu. PRUNESID ne sceglie uno solo che è il più rappresentativo e taglia via gli altri 49.
• L'analogia: Se devi scegliere il miglior rappresentante della tua classe per un concorso, non porti tutti i 30 studenti. Ne scegli uno che rappresenta bene tutti (il "capoclasse") e lasci gli altri a casa. Ma lo fai per ogni gruppo (musica, ballo, pizza), così alla fine hai una rappresentanza completa ma ridotta.

3. Il Segreto Extra: Il "Menu Dinamico"

C'è un'altra cosa geniale. PRUNESID non usa lo stesso numero di tasselli per tutte le foto.

• Se la foto è semplice (es. un cielo vuoto), PRUNESID dice: "Ok, ti bastano 10 tasselli".
• Se la foto è complessa (es. un mercato affollato con molte persone e oggetti), dice: "Qui serve più cibo! Ti do 100 tasselli".
• L'analogia: È come andare a cena. Se vai in una trattoria con un menu fisso, devi mangiare 3 portate anche se hai fame. PRUNESID è come un cameriere intelligente che ti chiede: "Quanto hai fame oggi?" e ti serve solo quello che ti serve, risparmiando tempo e risorse.

Perché è così importante?

Grazie a questo metodo, il cervello digitale diventa:

1. Velocissimo: Analizza le foto 7,8 volte più velocemente perché deve "leggere" molto meno.
2. Più intelligente: Non perde i dettagli importanti (come il contesto o gli oggetti piccoli) perché ha mantenuto la diversità delle informazioni.
3. Versatile: Funziona sia per le foto statiche che per i video, adattandosi a qualsiasi situazione.

In Sintesi

PRUNESID è come un editor cinematografico magico. Invece di tagliare a caso o basandosi solo sui colori vivaci, guarda l'intera scena, capisce quali sono i "temi" principali (gruppi), sceglie il miglior rappresentante per ogni tema e adatta la lunghezza del film in base a quanto è complicata la storia. Il risultato? Un film (o una risposta dell'AI) più breve, più veloce da guardare, ma con una storia completa e perfetta.

Il paper dimostra che, con solo l'11% dei tasselli originali (o addirittura il 5% in casi estremi), l'AI riesce a capire le immagini quasi perfettamente quanto prima, ma in una frazione del tempo.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "PRUNE REDUNDANCY, PRESERVE ESSENCE: VISION TOKEN COMPRESSION IN VLMS VIA SYNERGISTIC IMPORTANCE-DIVERSITY" (PRUNESID), pubblicato come articolo di conferenza all'ICLR 2026.

1. Il Problema

I Modelli Linguaggi-Visione (VLM) moderni, come LLaVA-1.5 e LLaVA-NeXT, generano un numero eccessivo di token visivi per rappresentare un'immagine (ad esempio, 576 o fino a 2880 token). Questa abbondanza causa significative inefficienze computazionali, specialmente durante la fase di prefilling (l'elaborazione iniziale dell'input).
Sebbene studi empirici dimostrino che circa il 70% di questi token sia ridondante e possa essere rimosso senza perdita significativa di accuratezza, le attuali metodologie di compressione falliscono nel bilanciare due obiettivi critici:

• Preservazione dell'importanza: Mantenere i token semanticamente salienti (es. oggetti principali).
• Diversità dell'informazione: Mantenere il contesto e i dettagli di sfondo necessari per una comprensione completa della scena.

I metodi esistenti si dividono in due categorie con limiti intrinseci:

1. Guidati dall'attenzione: Mantengono i token con punteggi di attenzione elevati, ma spesso ignorano il contesto di sfondo e mantengono duplicati visivi simili.
2. Consapevoli della duplicazione: Rimuovono i token simili, ma rischiano di scartare regioni semanticamente importanti che hanno un'alta attenzione ma sono visivamente simili ad altre.

2. Metodologia: PRUNESID

Il paper propone PRUNESID, un framework training-free (senza riaddestramento) e task-agnostic che risolve il compromesso tra importanza e diversità attraverso una pipeline a due stadi e un meccanismo di compressione dinamica.

A. Analisi dei Componenti Semantici Principali (PSCA)

Invece di usare la PCA tradizionale (che analizza la varianza nelle dimensioni delle feature), PRUNESID ridefinisce l'obiettivo per analizzare la dimensione dei token stessi come asse semantico.

• Funzionamento: I token vengono centrati e decomposti tramite PCA a basso rango.
• Obiettivo: Identificare direzioni semantiche globali che riflettono concetti visivi coerenti (es. oggetti, sfondi, texture) piuttosto che semplice varianza statistica.
• Gruppi: Ogni token viene assegnato al gruppo corrispondente alla direzione principale con la proiezione assoluta più alta. Questo crea $K$ gruppi semanticamente coerenti, garantendo una copertura completa dei concetti visivi.

B. Soppressione dei Non-Massimi Intra-gruppo (NMS)

Una volta formati i gruppi, si applica una strategia di pruning all'interno di ciascuno di essi.

• Meccanismo: All'interno di ogni gruppo, i token vengono ordinati in base al loro punteggio di selezione (contributo alla direzione principale).
• Filtraggio: Viene applicato un NMS adattivo: un token viene mantenuto solo se la sua similarità massima con i token già selezionati nel gruppo è inferiore a una soglia $\tau$.
• Soglia Dinamica: La soglia $\tau$ è calcolata come $\tau = \lambda \cdot \rho$, dove $\rho$ è un punteggio di ridondanza globale (similarità media tra tutti i token dell'immagine). Questo permette di adattare l'aggressività del pruning in base alla complessità dell'immagine.

C. Meccanismo di Rapporto di Compressione Dinamico

Per superare i limiti dei metodi a rapporto fisso, PRUNESID introduce un meccanismo information-aware.

• Calcola un punteggio di informazione globale per ogni immagine ($\phi = 1 - \rho$).
• Assegna un budget di token ($N'$) proporzionale a questo punteggio: immagini complesse e ricche di informazioni ricevono più token, mentre scene semplici vengono compresse più aggressivamente.

3. Contributi Chiave

1. Framework Training-Free: Un approccio generico per la compressione dei token visivi che non richiede riaddestramento del modello VLM.
2. Pipeline Sinergica: L'integrazione di PSCA (per il raggruppamento semantico e la diversità) e NMS intra-gruppo (per la rimozione della ridondanza locale) risolve il trade-off tra copertura concettuale e densità informativa.
3. Compressione Dinamica: Un meccanismo che adatta il numero di token in base alla complessità semantica dell'immagine, migliorando la preservazione media delle informazioni su dataset eterogenei.
4. Generalizzazione: Il metodo funziona efficacemente su diverse architetture VLM (LLaVA, Mini-Gemini, Qwen-VL) e modalità (immagini e video).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su una vasta gamma di benchmark (GQA, MME, POPE, VQAv2, MMMU, ecc.) e modelli.

• LLaVA-1.5: Con il mantenimento di soli 64 token (11.1% del totale), PRUNESID raggiunge un'accuratezza media del 96.3%, superando il metodo precedente VisionZip (92.5%) e HiRED (87.9%).
• LLaVA-NeXT: A tassi di compressione estremi (5.6%, circa 160 token su 2880), il metodo mantiene un'accuratezza del 92.8%, con un miglioramento di 2.5 punti percentuali rispetto agli stati dell'arte precedenti.
• Video-LLaVA: Dimostra efficacia anche nel video, mantenendo il 95.5% di accuratezza con una ritenzione di soli 6.6% dei token (da 2048 a 136 token).
• Efficienza Computazionale:
  • Riduzione del tempo di prefilling di 7.8x rispetto al modello originale (da 218ms a 27.8ms per campione).
  • Velocità di inferenza complessiva ridotta a 89ms per campione, mantenendo prestazioni superiori rispetto a VisionZip a parità di latenza.

5. Significato e Impatto

PRUNESID rappresenta un avanzamento significativo nell'efficienza dei VLM. Dimostrando che è possibile ridurre drasticamente il numero di token visivi (fino al 94-95% di riduzione) senza compromettere le prestazioni, il metodo abilita l'uso di modelli multimodali su dispositivi con risorse limitate o in scenari di elaborazione in tempo reale.
La capacità di bilanciare dinamicamente l'importanza semantica e la diversità informativa risolve un problema fondamentale nella compressione dei dati visivi, offrendo una soluzione scalabile sia per immagini statiche che per flussi video, con un potenziale impatto diretto sull'adozione su larga scala di agenti AI multimodali.