Omni-Diffusion: Unified Multimodal Understanding and Generation with Masked Discrete Diffusion

Il paper presenta Omni-Diffusion, il primo modello linguistico multimodale universale basato esclusivamente su un'architettura di diffusione discreta mascherata che unifica comprensione e generazione di testo, voce e immagini superando o eguagliando le prestazioni dei sistemi esistenti.

L'essenziale

Immagina di avere un chef universale in cucina. Fino a poco tempo fa, gli chef più famosi (i modelli linguistici attuali) cucinavano seguendo una ricetta rigida: dovevano aggiungere un ingrediente alla volta, dall'inizio alla fine, senza poter tornare indietro o saltare passaggi. Se volevano fare una torta (un'immagine) o cantare una canzone (la voce), dovevano prima scrivere la ricetta su un foglio di carta (il testo) e poi affidare la parte finale ad altri chef specializzati.

Omni-Diffusion è come un nuovo tipo di chef magico che cambia completamente le regole del gioco. Ecco come funziona, spiegato in modo semplice:

1. Il Concetto: "Dipingere su un foglio bianco"

Invece di scrivere parola per parola (come fa un autore che scrive un libro), Omni-Diffusion funziona come se avesse davanti un foglio bianco pieno di macchie grigie (queste sono le "maschere").

• Come funziona: Immagina di dover disegnare un gatto. Invece di tracciare prima la testa, poi le orecchie e infine la coda, il modello guarda tutto il foglio contemporaneamente. Indovina quali macchie grigie sono le orecchie, quali sono la coda e quali sono lo sfondo, tutto in un colpo solo. Poi, in pochi secondi, "pulisce" le macchie fino a rivelare l'immagine perfetta.
• La magia: Può fare questo con qualsiasi cosa: testo, immagini o voce. Non ha bisogno di trasformare prima la voce in testo e poi in immagine. Per lui, una parola, un suono e un pixel sono tutti solo "mattoncini" diversi dello stesso gioco.

2. Perché è speciale? (Il "Fatto in Casa" vs. "Catena di montaggio")

I vecchi modelli erano come una catena di montaggio:

1. L'occhio vede l'immagine.
2. Il cervello la descrive in parole.
3. Un altro robot trasforma le parole in una nuova immagine o in una voce.

Omni-Diffusion è come un cervello unico che vede, parla e disegna allo stesso tempo. Ha imparato a "capire" che il suono di un "ciao" e l'immagine di una bocca che si muove sono la stessa cosa, solo in forme diverse. Questo lo rende molto più veloce e coerente.

3. I Trucchi del Mestiere (Come l'hanno addestrato)

Gli scienziati hanno usato tre trucchi intelligenti per insegnare a questo chef:

• Il "Crescendo" (Addestramento a 3 fasi): Non hanno buttato tutto insieme. Prima hanno insegnato al modello a capire le immagini e il testo (come un bambino che impara a riconoscere le forme). Poi hanno aggiunto la voce. Infine, hanno fatto fare al modello esercizi difficili dove doveva ascoltare una domanda su un'immagine e rispondere a voce alta.
• Il "Cuscino Morbido" (Mascheratura attenuata): Quando il modello impara a scrivere frasi lunghe, tende a diventare pigro e a riempire la fine della frase con "nulla" (come se dicesse "e poi... e poi..."). Hanno inventato un trucco per penalizzare gentilmente queste parti vuote, costringendo il modello a essere più preciso e conciso.
• Il "Freno di Sicurezza" (Penalità di posizione): Quando disegna immagini, a volte il modello tende a ripetere lo stesso disegno in alto e in basso (come un tappeto con lo stesso motivo ovunque). Hanno messo un "freno" che dice al modello: "Ehi, non disegnare tutto dall'inizio alla fine contemporaneamente, dai un'occhiata anche al centro!". Questo rende le immagini più naturali e meno ripetitive.

4. I Risultati: Cosa sa fare?

Omni-Diffusion è un vero "tuttofare":

• Vedi un'immagine? Te la descrive.
• Ascolti una domanda? Guarda l'immagine e ti risponde a voce.
• Vuoi un'immagine? Puoi dirglielo a voce ("Disegnami un gatto che vola") e lui lo fa.
• Velocità: Grazie al suo metodo "parallelo" (guarda tutto il foglio insieme), è molto più veloce dei modelli tradizionali che devono scrivere una parola alla volta. Può creare immagini o voci in pochissimi "scatti" (passi), come se scattasse una foto invece di dipingere un quadro.

In sintesi

Omni-Diffusion è il primo modello che tratta testo, voce e immagini come un unico linguaggio universale. Non deve tradurre tra lingue diverse; le capisce tutte allo stesso modo. È come se avessimo dato al computer la capacità di pensare in modo olistico, rendendolo più veloce, più creativo e più capace di interagire con noi in modo naturale, proprio come farebbe un essere umano.

Sommario tecnico

1. Il Problema e il Contesto

Negli ultimi anni, i Modelli Linguistici Multimodali (MLLM) hanno fatto enormi progressi, ma la stragrande maggioranza di essi si basa su un'architettura autoregressiva (che genera token sequenzialmente, uno alla volta). Questo approccio presenta limiti intrinseci, come la difficoltà nel controllare la struttura semantica e il formato di output, e l'inefficienza nel decoding parallelo.

Sebbene i modelli di diffusione (diffusion models) abbiano dimostrato grandi potenzialità nella generazione di immagini e, più recentemente, nel linguaggio naturale (grazie ai modelli di diffusione discreta basati su mascheramento), la loro applicazione in un sistema unificato che gestisca qualsiasi combinazione di input e output (any-to-any) tra testo, voce e immagini è rimasta inesplorata. La maggior parte delle soluzioni attuali utilizza un LLM autoregressivo per il testo e modelli aggiuntivi separati per le altre modalità, creando uno spazio semantico non intrinsecamente allineato.

2. Metodologia: Omni-Diffusion

Omni-Diffusion è il primo modello linguistico multimodale "any-to-any" costruito interamente su un modello di diffusione discreta basato su mascheramento (Masked Discrete Diffusion Model - MDM).

Formulazione Unificata

Il modello tratta testo, voce e immagini come sequenze di token discreti all'interno di uno spazio di rappresentazione condiviso.

• Input: I dati grezzi (testo, audio, immagini) vengono tokenizzati in sequenze discrete.
• Meccanismo: Invece di prevedere il prossimo token (come negli AR), il modello apprende la distribuzione congiunta dei token multimodali mascherando casualmente una parte della sequenza e prevedendo i token originali mancanti.
• Obiettivo: Minimizzare la perdita di entropia incrociata solo sui token mascherati, permettendo al modello di comprendere e generare qualsiasi modalità direttamente dallo stesso spazio latente.

Architettura del Modello

• Backbone: Utilizza Dream-7B, un modello di diffusione linguistica pre-addestrato.
• Tokenizers:
  • Immagine: MAGVIT-v2 (codifica in 8192 token discreti).
  • Voce: SenseVoiceSmall per l'encoding e GLM-4-Voice decoder per il decoding (16384 token discreti).
  • Testo: Estensione del vocabolario del modello base.
• Allineamento: Non vengono utilizzati adattatori complessi o modelli di proiezione separati; l'allineamento avviene direttamente attraverso la previsione congiunta dei token.

Pipeline di Addestramento (3 Fasi)

Per garantire stabilità e allineamento efficace, è stata proposta una strategia di addestramento progressiva:

1. Pre-allineamento Visivo-Linguistico: Addestramento su compiti testo-immagine (captioning e text-to-image) per allineare lo spazio semantico visivo a quello linguistico.
2. Allineamento Giunto Voce-Viso-Linguaggio: Introduzione di dati ASR (riconoscimento vocale) e TTS (sintesi vocale) per allineare la voce al testo e all'immagine.
3. Miglioramento dell'Interazione Visiva Guidata dalla Voce: Fine-tuning su un dataset proprietario chiamato SDVI (Speech-Driven Visual Interaction), che include domande visive parlate e generazione di immagini da comandi vocali.

Strategie di Inferenza Avanzate

Per ottimizzare la qualità e l'efficienza, sono state introdotte tecniche specifiche:

• Decoding basato sull'Entropia: Selezione dei token da decodificare in base alla confidenza (entropia delle probabilità), permettendo il decoding parallelo.
• Penalità di Posizione (Position Penalty): Per la generazione di immagini, si penalizza la decodifica simultanea dall'inizio e dalla fine della sequenza per evitare pattern ripetitivi (es. immagini speculari), migliorando la coerenza visiva.
• Pre-infilling di Token Speciali: Per la voce, si inserisce un token speciale [begin-of-speech] a un punto specifico della sequenza mascherata per guidare il modello a generare prima la risposta testuale e poi quella vocale, migliorando la coerenza logica.
• Assegnazione Adattiva della Lunghezza: Stima dinamica della lunghezza della sequenza di output per ASR e TTS basata sulla lunghezza dell'input, accelerando il processo di campionamento.

3. Risultati Sperimentali

Il modello è stato valutato su una vasta gamma di benchmark, dimostrando prestazioni competitive o superiori rispetto ai sistemi autoregressivi esistenti.

• Compiti di Voce (ASR e TTS): Su LibriSpeech e LibriTTS, Omni-Diffusion supera il modello any-to-any autoregressivo AnyGPT e mostra prestazioni comparabili ai modelli TTS specializzati (come CosyVoice), con un WER (Word Error Rate) significativamente migliore rispetto agli LLM vocali puri.
• Compiti Visivi (VQA e Text-to-Image):
  • VQA: Su benchmark come POPE, MME-Perception e Seed-2-Plus, il modello raggiunge prestazioni paragonabili a LLM visivi specializzati (es. LLaVA, InstructBLIP) e superiori ad altri modelli any-to-any.
  • Text-to-Image: Ottiene allineamento testo-immagine (CLIP-T) e qualità visiva (CLIP-I) superiori rispetto ad altri modelli unificati, avvicinandosi a modelli basati su diffusione esterna.
• Allineamento Multimodale: La generazione di immagini partendo da comandi vocali (Speech-to-Image) mostra una qualità simile alla generazione da testo, confermando un forte allineamento semantico tra le modalità.
• Efficienza di Campionamento: Grazie al decoding parallelo, il modello mantiene alta qualità riducendo drasticamente i passaggi di inferenza (fino a 10 step per le immagini e 0.25x la lunghezza totale per la voce), offrendo un vantaggio significativo in termini di velocità rispetto alle architetture autoregressive.
• Inpainting: Il modello è capace di eseguire inpainting visivo senza ulteriore addestramento, sfruttando la natura del mascheramento per ricostruire regioni mancanti.

4. Contributi Chiave

1. Primo Modello Any-to-Any basato su Diffusione: Introduzione di Omni-Diffusion, che unifica comprensione e generazione di testo, voce e immagini in un'unica architettura di diffusione discreta, eliminando la necessità di modelli separati per ogni modalità.
2. Spazio Semantico Unificato: Dimostrazione che la modellazione diretta della distribuzione congiunta dei token discreti crea uno spazio di rappresentazione intrinsecamente allineato, superando i limiti delle architetture ibride.
3. Tecniche Specializzate: Sviluppo di strategie di addestramento (mascheramento attenuato, pipeline a 3 stadi) e inferenza (penalità di posizione, pre-infilling) specifiche per le caratteristiche dei modelli di diffusione discreta.
4. Efficacia Dimostrata: Prove empiriche che i modelli di diffusione possono competere o superare i sistemi autoregressivi nello scenario multimodale complesso, offrendo al contempo maggiore efficienza computazionale.

5. Significato e Impatto

Omni-Diffusion rappresenta un punto di svolta nella ricerca sull'intelligenza artificiale multimodale. Dimostra che i modelli di diffusione discreta sono una valida alternativa (e potenzialmente superiore) alle architetture autoregressive per i sistemi foundation multimodali.
La capacità di gestire input e output arbitrari (qualsiasi combinazione di testo, voce e immagine) in un'unica architettura, unita alla possibilità di decoding parallelo, apre la strada a sistemi AI più efficienti, flessibili e capaci di interazioni naturali e complesse (es. assistenti vocali che "vedono" e "disegnano" in tempo reale). Questo lavoro suggerisce che il futuro dei modelli multimodali potrebbe spostarsi verso paradigmi di diffusione unificati.