What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models

Questo lavoro introduce EmbedLens per dimostrare che i token visivi nei modelli multimodali sono caratterizzati da una marcata sparsità semantica, dove solo una frazione "viva" trasporta informazioni significative, rendendo superfluo il calcolo visivo interno e suggerendo che l'iniezione diretta negli strati intermedi dell'LLM è sufficiente per le prestazioni ottimali.

L'essenziale

Immagina che un Modello Linguistico Multimodale (MLLM) sia come un chef stellato molto intelligente, capace di cucinare piatti deliziosi (rispondere a domande) basandosi su due ingredienti principali: le parole (il testo) e le immagini (la vista).

Fino a poco tempo fa, pensavamo che quando questo chef guardava una foto, la vedesse come un mosaico perfetto: ogni tessera del mosaico (chiamata "token visivo") conteneva un pezzo importante dell'immagine, come un pezzo di un puzzle che doveva essere assemblato.

Questo studio, però, ha scoperto che la realtà è molto diversa e, in un certo senso, molto più "pigra" di quanto pensassimo. Ecco cosa hanno scoperto, spiegato con parole semplici:

1. Il Mosaico è pieno di "Tasselli Vuoti" (Sparsità)

Quando l'immagine entra nella mente dello chef, non tutti i tasselli sono uguali. Gli scienziati hanno scoperto che i tasselli si dividono in tre gruppi, come se fossero tre tipi di ospiti a una festa:

• I "Tasselli Morti" (Dead Tokens): Sono come i tasselli grigi e noiosi del bordo del mosaico. Non raccontano nulla. Se li togli, l'immagine non cambia. In realtà, sono così inutili che toglierli rende lo chef più veloce e a volte persino più preciso, perché non si distrae con spazzatura inutile. Rappresentano circa il 30% dei tasselli!
• I "Tasselli Affamati" (Sink Tokens): Sono come i tavoli vuoti al centro della festa. Attirano l'attenzione dello chef (il modello) solo per abitudine, per mantenere l'ordine, ma non contengono informazioni sull'immagine. Sono come un "segnaposto" strutturale. Anche questi possono essere rimossi senza problemi.
• I "Tasselli Vivi" (Alive Tokens): Questi sono gli ospiti importanti. Sono circa il 60% dei tasselli e contengono davvero il significato dell'immagine (il colore di un'auto, la forma di un gatto, le lettere di un cartello). Sono gli unici che contano davvero.

La metafora: Immagina di ricevere una lettera piena di fogli. Il 30% sono fogli bianchi (morti), il 10% sono fogli con scritto "fai attenzione" ma senza contenuto (affamati), e solo il 60% contiene la storia vera. Fino ad ora, lo chef leggeva tutti i fogli. Ora sappiamo che può saltare quelli inutili e concentrarsi solo sulla storia.

2. L'Immagine è già "Cotta" prima di Arrivare allo Chef

C'è un'altra sorpresa: i "Tasselli Vivi" arrivano già pronti all'uso.
Pensavamo che lo chef dovesse lavorare sodo per trasformare i pixel dell'immagine in concetti comprensibili (come dire: "questo è un cane"). Invece, lo studio scopre che quando questi tasselli arrivano, sono già "parlanti". Contengono già informazioni ricche e dettagliate (come "rosso", "gatto", "scritto").

È come se l'immagine arrivasse in cucina già preparata e tagliata a pezzi perfetti, invece che come un intero maiale da macellare. Lo chef non ha bisogno di lavorarla molto; può quasi subito iniziare a cucinare (rispondere).

3. Non serve cucinare tutto il tempo (Ridondanza)

Lo studio ha anche scoperto che lo chef non ha bisogno di usare tutte le sue "stufe" (i livelli profondi del cervello artificiale) per capire l'immagine.

• Le prime stufe (i livelli iniziali) fanno poco o nulla, e a volte addirittura confondono le cose (ad esempio, confondono il colore di un oggetto con lo sfondo).
• La vera magia avviene a metà strada.

La metafora: È come se tu dovessi leggere un libro. Non hai bisogno di rileggere la prima pagina dieci volte per capire la trama. Se salti le prime pagine ripetitive e vai dritto al cuore della storia (i livelli intermedi), capisci tutto meglio e più velocemente.

4. Cosa ci insegna tutto questo? (Il Futuro)

Questa ricerca è come trovare un manuale di istruzioni per risparmiare energia.
Se sappiamo che:

1. Molti tasselli sono spazzatura (li possiamo buttare via).
2. L'immagine arriva già comprensibile (non serve lavorarla troppo).
3. Possiamo saltare i primi passaggi inutili (iniettare l'immagine a metà del processo).

Allora possiamo costruire chef molto più veloci, più economici e più chiari. Possiamo creare intelligenze artificiali che non sprecano energia a guardare cose che non servono, rendendo i sistemi più intelligenti e meno "confusi".

In sintesi: Le immagini per le intelligenze artificiali sono piene di "rumore" e ripetizioni inutili. Se impariamo a filtrare questo rumore e a saltare i passaggi inutili, le macchine diventeranno molto più efficienti, proprio come un cuoco che impara a non sprecare ingredienti.

Sommario tecnico

1. Il Problema

I Modelli Linguistici Multimodali (MLLM) proiettano i token visivi (estrapolati da un encoder visivo, come CLIP) nello spazio di embedding del modello linguistico (LLM). Tuttavia, esiste una tensione strutturale fondamentale: gli encoder visivi sono addestrati per l'allineamento globale immagine-testo, mentre gli LLM elaborano le informazioni come sequenze di token locali (patch).
La domanda centrale è: come viene distribuita l'informazione semantica globale tra i singoli token locali?
Attualmente, non è chiaro se tutti i patch abbiano un significato semantico, se richiedano un'elaborazione estensiva all'interno dell'LLM per diventare comprensibili, o se esistano ridondanze che possono essere sfruttate per migliorare l'efficienza.

2. Metodologia

Gli autori introducono un framework analitico a due livelli, basato su un nuovo strumento di probing chiamato EmbedLens.

• EmbedLens: Uno strumento che interroga direttamente lo spazio di embedding di input dell'LLM. Invece di usare la matrice di "unembedding" per tradurre le rappresentazioni visive in token di testo (come fanno altri metodi), EmbedLens calcola la similarità coseno tra un token visivo target e tutti i token del vocabolario di input dell'LLM. Questo permette di identificare il significato semantico intrinseco dei token visivi prima che entrino nell'elaborazione profonda dell'LLM.
• Analisi di Clustering: Gli autori applicano il clustering basato sulla similarità per mappare l'organizzazione macro-strutturale dei token visivi e tracciarne l'evoluzione attraverso i layer dell'LLM.
• Benchmark di Compressione: Viene creato un benchmark mirato in cui oggetti o testo OCR vengono compressi in un'unica patch visiva per testare la capacità dei token di codificare attributi multipli (es. identità, colore, conteggio).
• Esperimenti di Manipolazione: Vengono eseguiti esperimenti di "pruning" (rimozione) di specifici cluster di token e di "skipping" (salto) di layer sub-livello (come FFN o Attention) per misurare l'impatto sulle prestazioni.

3. Scoperte Chiave e Risultati

Gli autori identificano una sparsità semantica pronunciata e una ridondanza strutturale, suddividendo i token visivi in tre categorie distinte:

A. Tripartizione dei Token Visivi

1. Token Sink (Affondanti):
   • Sono token indipendenti dall'immagine (la loro rappresentazione è quasi identica per input diversi).
   • Svolgono un ruolo puramente strutturale (stabilizzano le distribuzioni di attenzione) ma non portano semantica specifica dell'immagine.
   • Possono essere rimossi senza degradare le prestazioni.
2. Token Dead (Morti):
   • Simili ai sink per indipendenza dall'immagine, ma attirano un'attenzione minima e non influenzano il calcolo del modello.
   • Rappresentano circa il 30% degli input e sono semanticamente vuoti (spesso frammenti di sottoparole o punteggiatura).
   • La loro rimozione può addirittura migliorare le prestazioni riducendo il rumore.
3. Token Alive (Vivi):
   • Costituiscono circa il 60% degli input.
   • Si raggruppano vicino al centro semantico del testo e sono gli unici a portare significato specifico dell'immagine.
   • Sono altamente densi: un singolo token "vivo" può già codificare attributi multipli (oggetto, colore, forma, OCR) prima di entrare nell'LLM.

B. Ridondanza del Calcolo Visivo Interno

• Elaborazione Superflua: Per la maggior parte dei task standard (VQA generale, OCR, mitigazione delle allucinazioni), saltare i layer di attenzione visiva e feed-forward (FFN) all'interno dell'LLM ha un impatto trascurabile o addirittura positivo.
• Bias Introdotto: L'elaborazione interna può talvolta introdurre bias (es. rendere la previsione del colore eccessivamente dipendente dallo sfondo invece che dall'oggetto).
• Allineamento Precoce: I token "vivi" sono già allineati con le rappresentazioni dei layer intermedi dell'LLM, non con lo spazio di embedding iniziale.

C. Ottimizzazione dell'Iniezione

• Poiché i token visivi sono già allineati con i layer intermedi, forzare il loro passaggio attraverso i layer superficiali (shallow layers) è inutile e può essere dannoso.
• L'iniezione diretta dei token visivi nei layer intermedi dell'LLM è sufficiente e più efficiente.

4. Contributi Principali

1. EmbedLens: Un framework di probing pratico e agnostico al modello per l'ispezione a livello di patch dei token visivi, validato su diverse famiglie di modelli (LLaVA, Qwen-VL, InternVL).
2. Evidenza Empirica di Sparsità: La prima dimostrazione che i token visivi si dividono in gruppi "sink", "dead" e "alive", rivelando una massiccia sparsità semantica all'input (circa il 40% dei token è inutile).
3. Ridondanza a Doppio Livello:
   • Il calcolo visivo interno (FFN/Attention) è non necessario per la maggior parte dei task.
   • L'elaborazione nei layer superficiali è spesso dannosa; i token sono già allineati ai layer medi.
4. Insight Meccanistici: Fornisce una visione unificata del flusso semantico, suggerendo architetture più efficienti basate su:
   • Token pruning selettivo (rimozione di sink e dead).
   • Minimizzazione del calcolo visivo.
   • Iniezione nei layer medi (mid-layer injection).

5. Significato e Implicazioni

Questo lavoro cambia la comprensione di come i MLLM elaborano le immagini. Dimostra che la maggior parte dell'elaborazione visiva necessaria avviene prima dell'ingresso nell'LLM (nel proiettore o nell'encoder visivo) e che l'LLM agisce principalmente come un decoder per token già ricchi di significato.

Le implicazioni pratiche sono significative per l'efficienza dei modelli:

• Riduzione dei Costi: Rimuovendo i token morti e i sink, si riduce la lunghezza della sequenza di input, abbattendo i costi computazionali.
• Architetture Efficienti: Progettare modelli che iniettano le immagini direttamente nei layer intermedi e saltano i layer superficiali visivi può portare a modelli più veloci e meno propensi a errori (allucinazioni).
• Interpretabilità: Fornisce strumenti per capire cosa sta guardando il modello e quali parti dell'input sono realmente informative.

In sintesi, il paper suggerisce che i MLLM attuali sono "sovraccarichi" di token ridondanti e che un'architettura più snella, che sfrutta la sparsità intrinseca e l'allineamento precoce, è non solo possibile ma preferibile.