Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation

1. Enunciato del Problema

I Modelli Multimodali Unificati (UMM) attuali fanno tipicamente affidamento su encoder visivi preaddestrati (ad esempio CLIP per la comprensione, VQ-VAE per la generazione) per convertire le immagini grezze in rappresentazioni latenti. Questo approccio modulare introduce diverse limitazioni critiche:

• Disallineamento delle Rappresentazioni: Encoder separati per la comprensione e la generazione creano una discontinuità tra i due compiti, impedendo un'ottimizzazione completamente end-to-end.
• Bias Induttivi: Gli encoder preaddestrati impongono risoluzioni di input fisse e limitano l'accesso a dettagli visivi fini e di basso livello, ostacolando le prestazioni in compiti che richiedono una percezione precisa.
• Complessità Architetturale: La dipendenza da molteplici componenti modulari (encoder, connettori, decoder) complica la pipeline di addestramento e impedisce al modello di apprendere una rappresentazione veramente unificata direttamente dai pixel grezzi.

Gli autori si chiedono: Possiamo costruire un modello multimodale unificato che esegua sia la comprensione che la generazione direttamente dai pixel grezzi, eliminando completamente gli encoder visivi preaddestrati?

2. Metodologia

Il paper introduce Tuna-2, un modello multimodale unificato nativo che opera interamente nello spazio dei pixel. La metodologia è sviluppata attraverso una semplificazione progressiva delle architetture esistenti:

A. Evoluzione Architetturale

Gli autori propongono un'evoluzione in tre fasi per raggiungere il design finale senza encoder:

1. Tuna (Baseline): Utilizza un design modulare standard con un encoder VAE per la generazione e un encoder di rappresentazione (ad esempio SigLIP) per la comprensione.
2. Tuna-R (Intermedio): Rimuove il VAE ma mantiene un encoder di rappresentazione preaddestrato (SigLIP 2). Utilizza un layer di embedding delle patch per convertire le immagini in token per il decoder LLM, eseguendo la generazione nello spazio dei pixel tramite flow matching.
3. Tuna-2 (Finale): Rimuove completamente l'encoder di rappresentazione preaddestrato. Sostituisce encoder complessi con semplici layer di embedding delle patch che tokenizzano direttamente i pixel dell'immagine grezza. L'intero sistema è un singolo decoder Transformer monolitico che elabora congiuntamente token testuali e visivi.

B. Generazione nello Spazio dei Pixel

Invece della diffusione latente, Tuna-2 impiega il rectified flow matching direttamente nello spazio dei pixel:

• Obiettivo: Il modello prevede l'immagine pulita $x_1$ da un campione rumoroso $x_t$ costruito tramite un programma lineare: $x_t = tx_1 + (1-t)x_0$.
• Funzione di Perdita: Minimizza l'errore di previsione della velocità ($v_\theta$), dove $v_\theta = \frac{x_\theta - x_t}{1-t}$.
• Inferenza: Utilizza un risolutore di Euler per denoisare le immagini passo dopo passo.

C. Apprendimento delle Caratteristiche Basato su Mascheramento

Per affrontare la difficoltà di apprendere rappresentazioni robuste nello spazio dei pixel ad alta dimensionalità (che è soggetto a scorciatoie superficiali), gli autori introducono uno schema di mascheramento:

• Meccanismo: Durante l'addestramento, patch casuali dell'immagine vengono mascherate e sostituite con un token di mascheramento apprendibile.
• Doppio Ruolo:
  • Per la Generazione: Costringe il modello a ricostruire patch pulite da input rumorosi parzialmente osservati, creando un compito di denoisaggio più difficile.
  • Per la Comprensione: Agisce come regolarizzatore, costringendo il modello a eseguire ragionamenti sotto osservazione visiva parziale, prevenendo un'eccessiva dipendenza da specifici indizi visivi.

D. Pipeline di Addestramento

Il modello viene addestrato completamente end-to-end in due fasi:

1. Fase 1 (Pre-addestramento): Addestramento congiunto su descrizione di immagini e generazione da testo a immagine (70% dati di comprensione, 30% dati di generazione) utilizzando un backbone da 7B parametri (Qwen2.5-7B-Instruct).
2. Fase 2 (SFT): Fine-tuning supervisionato su dataset di follow-up di istruzioni per immagini, editing e generazione di alta qualità.

3. Contributi Chiave

1. Architettura Tuna-2: Il primo UMM nativo a raggiungere prestazioni all'avanguardia (SOTA) sia nella comprensione che nella generazione eliminando completamente gli encoder visivi preaddestrati, affidandosi esclusivamente agli embedding dei pixel.
2. Validazione Empirica del Design Senza Encoder: Dimostra che, sebbene gli encoder preaddestrati aiutino la convergenza iniziale, un'architettura monolitica senza encoder li supera nella comprensione multimodale, in particolare nei compiti fini, dopo un pre-addestramento sufficiente.
3. Scalabilità nello Spazio dei Pixel: Dimostra che il flow matching nello spazio dei pixel può essere scalato a grandi modelli unificati, competendo con gli approcci nello spazio latente per la generazione e l'editing di immagini ad alta fedeltà.
4. Strategia di Mascheramento: Introduce uno schema di apprendimento basato sul mascheramento che stabilizza l'addestramento nello spazio dei pixel ad alta dimensionalità e migliora la robustezza delle rappresentazioni.

4. Risultati Sperimentali

Gli autori hanno valutato Tuna-2 contro varie baseline (inclusi Tuna, Tuna-R, Show-o2, BAGEL e modelli solo generazione come FLUX.1).

• Comprensione Multimodale (Tabella 1):
  • Tuna-2 raggiunge prestazioni SOTA tra gli UMM nativi in scala 7B su benchmark generali (GQA, MMVet, MMMU) e benchmark centrati sui pixel (V*, CountBench, VisuLogic).
  • Supera significativamente Tuna-R nei compiti di percezione fine, suggerendo che la rimozione del bias induttivo dell'encoder permette un migliore apprendimento dei dettagli visivi di basso livello.
• Generazione di Immagini (Tabelle 2 e 3):
  • Tuna-2 è competitivo con i modelli unificati SOTA su GenEval e DPG-Bench.
  • Sebbene Tuna-R (con encoder) guidi leggermente inizialmente nelle metriche di generazione, Tuna-2 recupera dopo l'SFT.
  • Diversità: Tuna-2 genera immagini significativamente più diversificate rispetto a Tuna-R e Tuna, come giudicato da LLM (GPT-5.4, Claude Opus).
• Editing e Ricostruzione di Immagini (Tabelle 4 e 5):
  • Tuna-2 performa fortemente nell'editing di immagini (ImgEdit), superando molte baseline unificate.
  • Nei compiti di ricostruzione di immagini, Tuna-2 raggiunge una qualità di ricostruzione (PSNR/SSIM) paragonabile a VAE specializzati come FLUX.1, dimostrando che le rappresentazioni nello spazio dei pixel possono codificare fedelmente le informazioni visive.
• Analisi dell'Attenzione (Figura 7):
  • Le visualizzazioni mostrano che Tuna-2 possiede mappe di attenzione più accurate e stabili, focalizzandosi correttamente su regioni visive rilevanti anche quando i prior linguistici sono fuorvianti (ad esempio, identificando una tazza di vetro in un contesto di calcio), mentre i modelli basati su encoder spesso fanno affidamento su prior testuali o distrattori salienti.

5. Significato e Conclusione

Il paper sfida fondamentalmente il paradigma prevalente secondo cui gli encoder visivi preaddestrati sono necessari per l'IA multimodale ad alte prestazioni.

• Cambiamento di Paradigma: Dimostra che l'"apprendimento end-to-end nello spazio dei pixel" è un percorso vitale e superiore per sviluppare rappresentazioni visive più forti, specialmente per compiti che richiedono percezione fine.
• Semplicità: Sottraendo encoder modulari complessi, Tuna-2 semplifica l'architettura a un singolo Transformer, riducendo l'overhead ingegneristico e abilitando una vera ottimizzazione congiunta.
• Direzione Futura: I risultati suggeriscono che i futuri UMM nativi dovrebbero privilegiare la modellazione diretta dei pixel rispetto alla compressione nello spazio latente, poiché quest'ultima può introdurre colli di bottiglia informativi che limitano la capacità del modello di percepire e generare dettagli visivi ad alta fedeltà.

In sintesi, Tuna-2 dimostra che un'architettura semplice, senza encoder, addestrata direttamente su pixel grezzi può superare sistemi complessi basati su encoder nella comprensione, mantenendo al contempo capacità di generazione competitive, offrendo un blueprint scalabile per la prossima generazione di modelli multimodali.