Riepilogo Tecnico: Una Tokenizzazione delle Immagini Più Simile alle Parole per i MLLM

1. Enunciato del Problema

I Modelli Linguistici Multimodali su Larga Scala (MLLM) impiegano tipicamente un encoder visivo pre-addestrato e un Modello Linguistico su Larga Scala (LLM) fisso, collegati da un proiettore visivo. L'obiettivo è mappare i pixel dell'immagine in una sequenza di token all'interno dello spazio di embedding dell'LLM. Tuttavia, gli autori identificano una discrepanza strutturale fondamentale tra i token visivi attuali e i token discreti e semanticamente significativi che gli LLM sono ottimizzati per elaborare.

Il documento evidenzia tre principali discrepanze:

1. Intreccio Semantico: A differenza dei token testuali generati da tokenizzatori discreti (ad es. BPE) che sono unità indipendenti, le caratteristiche delle patch visive provenienti dai Vision Transformer (ViT) sono altamente intrecciate. La ripetuta auto-attenzione negli encoder visivi omogeneizza gli embedding, causando una mescolanza semantica delle patch. I proiettori lineari preservano questa ridondanza, risultando in token visivi altamente correlati e privi di confini semantici distinti.
2. Budget di Token Fisso: I metodi esistenti (ad es. aggregazione a griglia fissa, resampler) producono un numero fisso di token indipendentemente dalla complessità dell'immagine. Ciò porta a ridondanza nelle scene semplici e perdita di dettaglio nelle scene complesse, fallendo nell'imitare la natura a lunghezza variabile delle descrizioni linguistiche.
3. Mancanza di Controllo della Granularità: La tokenizzazione visiva attuale si basa su operazioni spaziali senza un meccanismo principiale per controllare il livello di dettaglio (granularità) per token, a differenza della tokenizzazione testuale che bilancia sotto-parole e parole intere.

Di conseguenza, gli input visivi si comportano diversamente dalle unità "simili a parole" che gli LLM si aspettano, portando a un uso inefficiente della cache KV, a una maggiore latenza e a capacità di ragionamento subottimali.

2. Metodologia: Tokenizzazione Visiva Svincolata (DiVT)

Gli autori propongono DiVT, un approccio di tokenizzazione visiva basato sul clustering progettato per allineare le rappresentazioni visive alla natura discreta dei token degli LLM. DiVT opera senza modificare l'encoder visivo o il backbone dell'LLM, fungendo da proiettore addestrabile.

Il processo consta di quattro fasi:

2.1. Clustering Iniziale delle Patch (Selezione Adattiva dei Centroidi)

Invece di imporre un conteggio fisso di token, DiVT determina dinamicamente il numero di cluster in base alla distribuzione delle caratteristiche delle patch dell'immagine.

• Meccanismo: Calcola una matrice di similarità coseno pairwise delle caratteristiche delle patch. Utilizzando una soglia di similarità $\theta$, costruisce un grafo di vicinato.
• Algoritmo: Un algoritmo greedy seleziona la patch con il grado più alto (più vicini) come centroide. Tutti i vicini entro la soglia vengono assegnati a questo cluster e rimossi dal pool dei candidati. Questo processo si ripete finché non rimangono più patch.
• Risultato: Ciò garantisce che i centroidi siano semanticamente distinti e che il conteggio dei token si adatti alla complessità intrinseca dell'immagine (più token per scene complesse, meno per quelle semplici).

2.2. Raffinamento del Cluster

La selezione greedy iniziale potrebbe assegnare una patch a un centroide subottimale. Per ottenere un migliore svincolo semantico, il metodo riassegna ogni patch al centroide con la similarità più alta, garantendo che ogni cluster contenga patch che condividono una coerenza semantica.

2.3. Formulazione del Token Visivo

Una volta finalizzati i cluster, viene generato un singolo token visivo per ciascun cluster.

• Cross-Attention: Il centroide del cluster funge da query ($Q$), mentre tutte le patch nel cluster servono come chiavi ($K$) e valori ($V$).
• Codifica Posizionale: Embedding posizionali apprendibili vengono iniettati solo nel ramo dei valori per preservare il contesto spaziale senza perturbare i punteggi di attenzione.
• Mascheratura: Una maschera di attenzione ristretta al cluster garantisce che i token aggregino informazioni solo dal proprio cluster, prevenendo la contaminazione incrociata di concetti semantici non correlati.
• Aggregazione: Il risultato viene passato attraverso un MLP per produrre il token finale.

2.4. Controllo della Granularità Semantica

La soglia di similarità $\theta$ agisce come una manopola sintonizzabile per la granularità semantica:

• $\theta$ Alto: Criteri di raggruppamento più rigorosi, risultando in più token a granularità più fine (dettaglio superiore, calcolo superiore).
• $\theta$ Basso: Raggruppamento più ampio, risultando in meno token a granularità più grossolana (dettaglio inferiore, calcolo inferiore).
• Flessibilità nell'Inferenza: Crucialmente, $\theta$ può essere regolato al momento dell'inferenza senza riaddestramento, permettendo ai praticanti di bilanciare il dettaglio rappresentativo contro memoria e latenza.

3. Contributi Chiave

1. Svincolo Semantico: DiVT clusterizza esplicitamente gli embedding delle patch in unità semantiche coerenti, affrontando l'intreccio intrinseco nelle caratteristiche delle patch standard dei ViT.
2. Budget di Token Adattivo: Il metodo alloca dinamicamente il conteggio dei token in base alla complessità dell'immagine, evitando la ridondanza degli approcci a budget fisso.
3. Regolazione dell'Inferenza Senza Addestramento: La capacità di regolare la soglia di similarità $\theta$ durante l'inferenza permette flessibili compromessi costo-prestazioni senza riaddestrare il modello.
4. Agnosticismo verso Encoder e LLM: L'approccio è progettato per funzionare con vari encoder visivi (CLIP, SigLIP, DINOv2) e scala efficacemente verso LLM più grandi (ad es. 13B parametri).

4. Risultati Sperimentali

Gli autori hanno valutato DiVT sui backbone LLaVA-1.5 da 7B e 13B su otto benchmark (MMBench, VQAv2, GQA, MME, MM-Vet, TextVQA, SQA-IMG, POPE).

• Prestazioni vs. Conteggio dei Token: DiVT corrisponde o supera le linee di base (inclusi MLP, ToME, FastV, PruMerge, VisionZip e TokenPacker) utilizzando significativamente meno token.
  • Ad esempio, con ~136.5 token (contro 576 nell'MLP completo), DiVT ottiene prestazioni comparabili su MMBench (66.7 contro 64.3) e VQAv2 (78.2 contro 78.5).
  • Sotto budget stretti (ad es. ~35 token), DiVT supera significativamente altri metodi, dimostrando robustezza dove la riduzione dei token solitamente degrada le prestazioni.
• Confronto con Proiettori: DiVT supera altri proiettori visivi (Resampler, C-Abstractor, Pixel-Shuffle) su compiti di conversazione generale e VQA, rimanendo competitivo su compiti specializzati.
• Analisi Qualitativa: Le mappe di attenzione mostrano che DiVT produce pattern di attenzione più focalizzati e semanticamente coerenti rispetto all'attenzione dispersa dei proiettori MLP standard.
• Controllo della Granularità: Gli esperimenti mostrano che i modelli addestrati con un specifico $\theta$ possono essere valutati con diversi valori di $\theta$ durante l'inferenza con una perdita di prestazioni minima, validando la flessibilità dell'approccio.

5. Significato e Affermazioni

Il documento afferma che DiVT affronta il "divario di modalità" tra input visivi e testuali creando token visivi che si comportano più come "parole". Svincolando esplicitamente le informazioni semantiche e adattando il budget dei token alla complessità dell'immagine, DiVT offre un meccanismo pratico per:

• Ridurre i Costi Computazionali: Ridurre significativamente l'uso di memoria (cache KV) e la latenza diminuendo il numero di token visivi.
• Migliorare la Compatibilità: Rendere gli input visivi più compatibili con le capacità di ragionamento discreto degli LLM.
• Abilitare la Distribuzione Flessibile: Fornire una manopola senza addestramento ai praticanti per bilanciare accuratezza e risorse di calcolo durante l'inferenza.

Gli autori sottolineano che il loro metodo non richiede supervisione esterna (come annotazioni di oggetti) o addestramento multi-fase complesso, affidandosi esclusivamente all'obiettivo di modellazione linguistica per plasmare i token visivi. Ciò rende DiVT una soluzione leggera, plug-and-play per una comprensione multimodale efficiente in termini di costi e allineata all'umano.