Riepilogo Tecnico: Modello Generativo di Linguaggio Unificato con Token Pix e Token Parola

1. Enunciato del Problema

Gli autori identificano limitazioni critiche nei modelli multimodali open-source all'avanguardia attuali (ad esempio, LLaVA, Kimi-2.5, Qwen-2.5-VL) che si basano su Vision Transformer (ViT) pre-addestrati tramite metodi contrastivi come CLIP o SigLIP come encoder visivi. Il documento sostiene che questa architettura soffre di quattro problemi principali:

1. Perdita di Dettaglio: Il ViT codifica le immagini in vettori di caratteristiche simili al testo, che potrebbero non rappresentare dettagli fini come piccoli testi o numeri all'interno di un'immagine.
2. Instabilità (La "Reazione a Catena"): Minime variazioni in un'immagine (ad esempio, un numero di targa che cambia da 1 a 6) causano la modifica di tutti i numeri in virgola mobile nelle caratteristiche codificate, portando a rappresentazioni instabili.
3. Embedding di Token "Falsi": Il ViT genera embedding di token suddividendo i pixel in patch. Questi embedding mancano di parametri realmente regolabili, limitando il loro potere espressivo rispetto ai token parola nei Large Language Models (LLM).
4. Limitazioni dell'Addestramento Supervisionato: CLIP e SigLIP si basano su addestramento supervisionato con dataset limitati, portando a potenziali carenze in scenari fuori distribuzione.

2. Metodologia

Il documento propone un Modello Generativo di Linguaggio Unificato con Token Pix e Token Parola che tratta i pixel dell'immagine come token di prima classe, simili alle parole, eliminando la necessità di un encoder ViT separato. La metodologia consta di tre componenti fondamentali:

2.1 Embedding del Token Pix

Invece di suddividere in patch, il modello assegna un embedding di token unico e apprendibile a ogni singolo pixel.

• Calcolo del Token: Un pixel con valori RGB $(r, g, b)$ è mappato a un valore di token unico utilizzando la formula: $TokenValue = r + g \times L + b \times L^2$, dove $L$ è la lunghezza del canale colore (predefinito 256).
• Spazio di Embedding: Ciò crea un vocabolario di $256^3$ (circa 16,7 milioni) di token. Ogni token possiede il proprio vettore di embedding indipendente e addestrabile di dimensione $d$, consentendo parametri regolabili simili ai token parola.
• Preprocessing Senza Perdita: A differenza dei metodi tradizionali che normalizzano i valori RGB in numeri in virgola mobile (introducendo errori di troncamento), questo metodo utilizza una tokenizzazione basata su interi, garantendo un preprocessing dei dati senza perdita.

2.2 Folding del Colore

Per affrontare la fattibilità computazionale di un vocabolario di 16,7 milioni, gli autori introducono il Folding del Colore.

• Concetto: Un "Fattore di Folding" ($f$) riduce la lunghezza del canale colore da $L$ a $L/f$. Il nuovo valore del colore diventa $(R//f, G//f, B//f)$.
• Razionale: Gli autori sostengono che l'occhio umano non può distinguere minime differenze di colore (ad esempio, variazioni di 8 unità in un canale a 8 bit). Ridurre lo spazio colore (ad esempio, utilizzando un fattore di folding di 16) riduce drasticamente la dimensione del vocabolario dei token (a 4.096 per $f=16$) e il carico computazionale, mantenendo la fedeltà visiva.

2.3 Architettura del Modello Unificato

Il modello integra token parola e token pix in un'unica sequenza generativa.

• Approssimazione Finestra Globale-Locale: Per evitare la complessità $O(N^2)$ dell'attenzione self- globale su lunghe sequenze di pixel, il modello converte la sequenza globale di pixel in un batch di finestre locali.
• Attenzione Finestra Locale: All'interno di ogni finestra, viene eseguita un'attenzione self-multi-head mascherata.
• Approssimazione dell'Attenzione Condizionale Globale: Il modello estrae l'ultimo embedding di token da ogni finestra locale. Questi embedding vengono quindi combinati con gli embedding dei token parola e passati attraverso i successivi decoder transformer. Gli autori affermano che ciò approssima l'attenzione condizionale globale, poiché la probabilità dell'output $Y$ dato l'input è approssimata dalla probabilità data dalle rappresentazioni aggregate delle finestre locali.
• Strategia di Previsione: Il modello prevede il token successivo, che può essere un token parola o il primo token di pixel della finestra locale successiva.

3. Contributi Chiave

1. Tokenizzazione Vera per Pixel: La proposta di "Embedding del Token Pix" in cui ogni pixel ha un embedding indipendente e addestrabile, in contrasto con gli embedding "falsi" basati su patch del ViT.
2. Folding del Colore: Una tecnica innovativa per ridurre la complessità computazionale della tokenizzazione dei pixel quantizzando lo spazio colore in base ai limiti della percezione visiva umana, rendendo fattibile l'addestramento a livello di pixel non supervisionato.
3. Architettura Unificata: Un modello generativo che unifica token di testo e token di immagine in un'unica sequenza, consentendo al modello di eseguire attenzione self e previsione di token su entrambe le modalità simultaneamente.
4. Pre-addestramento Non Supervisionato delle Immagini: Un framework che permette ai modelli di apprendere pattern direttamente da massicci dati di immagini senza etichette supervisionate, rispecchiando il successo del pre-addestramento testuale di GPT-3.

4. Risultati Sperimentali

Gli autori hanno condotto esperimenti focalizzati sul pre-addestramento non supervisionato delle immagini a causa di risorse computazionali limitate.

• Configurazione: Un modello piccolo (120 milioni di parametri) è stato addestrato su 100.000 campioni dal dataset llava-cc3m-pretrain-595k (circa 5 miliardi di token pixel). La dimensione dell'immagine era 224x224 con un fattore di folding del colore di 16.
• Risultati:
  • Le curve di perdita di addestramento e validazione hanno convergito in modo simile al pre-addestramento testuale di GPT-3, ma con una convergenza più rapida rispetto al numero di token pixel elaborati.
  • Il modello ha dimostrato la capacità di apprendere pattern di sequenze di token pixel anche con un basso numero di parametri e dati limitati.
• Limitazioni: Gli autori dichiarano esplicitamente di non aver potuto testare modelli su larga scala o pre-addestramento misto testo-immagine a causa di vincoli di risorse.

5. Significato e Affermazioni

Il documento afferma che questa architettura rappresenta un cambiamento fondamentale nell'apprendimento multimodale:

• Scalabilità: Gli autori ritengono che il modello sia conforme alla legge di scala; man mano che i parametri del modello e i dati di addestramento aumentano, le prestazioni continueranno a migliorare, potenzialmente superando gli attuali approcci basati su ViT.
• Robustezza: Isolando le variazioni dei pixel in specifici embedding di token invece di alterare l'intero vettore di caratteristiche, il modello è più robusto a piccole perturbazioni dell'immagine.
• Potenziale Futuro: Gli autori ipotizzano che questo metodo potrebbe sostituire la pipeline CLIP/SigLIP nella produzione, offrendo un approccio più dettagliato, stabile e scalabile alla comprensione visiva. Esprimono la speranza che, con risorse computazionali sufficienti, il potenziale del modello possa giovare ampiamente all'umanità.

Il documento conclude che il modello proposto unisce con successo token pixel e token parola, consentendo preprocessing senza perdita e pre-addestramento non supervisionato, affrontando così le limitazioni intrinseche degli encoder visivi basati sull'apprendimento contrastivo attuali.