💻 computer science

LaViDa: A Large Diffusion Language Model for Multimodal Understanding

LaViDa introduce una nuova famiglia di modelli Vision-Language basati su meccanismi di diffusione discreta che sfruttano la decodifica parallela e il contesto bidirezionale per ottenere prestazioni competitive, un'inferenza più veloce e una maggiore controllabilità rispetto ai tradizionali modelli autoregressivi.

Autori originali: Shufan Li, Konstantinos Kallidromitis, Hritik Bansal, Akash Gokul, Yusuke Kato, Kazuki Kozuka, Jason Kuen, Zhe Lin, Kai-Wei Chang, Aditya Grover

Pubblicato 2026-07-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Shufan Li, Konstantinos Kallidromitis, Hritik Bansal, Akash Gokul, Yusuke Kato, Kazuki Kozuka, Jason Kuen, Zhe Lin, Kai-Wei Chang, Aditya Grover

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i computer possano "vedere" e "parlare" contemporaneamente. Questo è il regno dei Modelli Vision-Language (VLM), i super-intelligenti assistenti IA in grado di guardare la foto di un tramonto e scriverne una poesia, o di esaminare un grafico complesso e spiegarne le tendenze. Per anni, il modo standard in cui questi modelli pensano è simile a uno studente che sostiene un esame: rispondono una parola alla volta, rigorosamente da sinistra a destra. Scrivono "Il", poi "cielo", poi "è", senza mai tornare indietro per cambiare una parola precedente. Sebbene questo funzioni bene, è lento perché non possono scrivere in parallelo, ed è rigido; se sbagliano la prima parola di una frase, non possono facilmente tornare indietro e correggerla senza ricominciare da capo.

Ma cosa succederebbe se ci fosse un modo diverso? Immaginate che, invece di scrivere una frase parola per parola, iniziate con un foglio bianco pieno di punti interrogativi e riaccendiate lentamente i vuoti, decidendo quali parole vadano dove tutte in una volta, affinando costantemente le vostre scelte finché l'immagine non è chiara. Questa è l'idea alla base dei "modelli di diffusione". Originariamente famosi per creare splendide immagini dal rumore, i ricercatori hanno recentemente provato a usare questo approccio "riempi gli spazi vuoti" per il testo. La grande domanda è: possiamo combinare questo modo di pensare flessibile e parallelo con la capacità di vedere le immagini? Se ci riuscissimo, potremmo ottenere un'IA che non solo è più brava a seguire regole rigide (come scrivere una poesia dove ogni riga inizia con una lettera specifica), ma che è anche molto più veloce perché non deve aspettare che una parola finisca prima di iniziare la successiva.

Entra in scena LaViDa (Large Vision-Language Diffusion Model), una nuova famiglia di modelli IA presentata da ricercatori di UCLA, Panasonic, Adobe e Salesforce. Pensate a LaViDa come al primo "artista multitasking" che utilizza il metodo della diffusione per comprendere le immagini e scriverne. Invece di scrivere una storia una parola alla volta come un robot tradizionale, LaViDa parte da una tela bianca di "maschere" (segnaposti) e rivela gradualmente la risposta, riempiendo i vuoti in un modo che le permette di guardare l'intera frase contemporaneamente.

I ricercatori hanno scoperto che questo approccio ha dei superpoteri. Poiché LaViDa può osservare l'intera struttura della frase prima di finalizzarla, è incredibilmente bravo in compiti che richiedono regole rigide, come completare una poesia in cui ogni riga deve iniziare con una lettera specifica. Nei test, ha schiacciato la concorrenza in questi compiti "vincolati", migliorando le prestazioni del 59% rispetto ai migliori modelli standard. Offre anche una "manopola della velocità" unica per gli utenti: potete dirgli di essere super veloce riempiendo meno spazi vuoti alla volta, o super di alta qualità impiegando più passaggi per affinare la risposta. Nella descrizione di immagini (image captioning), è riuscito a essere quasi 2 volte più veloce dei suoi rivali pur scrivendo descrizioni migliori (ottenendo +4,1 punti in una metrica di qualità chiamata CIDEr).

Tuttavia, il documento nota anche che questo nuovo metodo non è una bacchetta magica che risolve tutto istantaneamente. I ricercatori hanno dovuto inventare alcuni trucchi astuti per farlo funzionare bene. Per prima cosa, hanno creato una tecnica di "mascheramento complementare", che è come dare al modello due diverse versioni di un puzzle da risolvere contemporaneamente in modo che non perda alcun indizio importante. Hanno anche costruito un sistema "Prefix-DLM", che funge da scorciatoia intelligente, permettendo al modello di ricordare l'immagine e la domanda senza doverle rileggere ogni singola volta che indovina una nuova parola.

Nonostante questi successi, il documento sottolinea con cautela dove LaViDa ha ancora spazio per crescere. Sebbene superi altri modelli in molti test di ragionamento e conoscenza generale, a volte fatica a leggere testi minuscoli all'interno delle immagini (OCR) perché ha dovuto comprimere i dettagli dell'immagine per adattarli alla sua memoria. Gli autori suggeriscono che, sebbene i modelli di diffusione siano un'alternativa potente e promettente all'approccio standard "una parola alla volta", stanno ancora imparando come scalare per eguagliare i modelli IA più grandi e voraci di dati. In definitiva, LaViDa dimostra che il metodo del "riempire gli spazi vuoti" non è solo per creare immagini; può essere un modo forte, flessibile e veloce per far comprendere ai computer il nostro mondo visivo.

Sintesi Tecnica: LaViDa - Un Large Diffusion Language Model per la Comprensione Multimodale

Definizione del Problema

I moderni Modelli Vision-Language (VLM) si affidano prevalentemente ad architetture Autoregressive (AR) (ad es. LLaVA, Qwen-VL), che generano testo token per token in una sequenza da sinistra a destra. Sebbene efficaci, questo approccio soffre di limiti intrinseci:

Velocità di Inferenza: La generazione sequenziale è difficile da parallelizzare, portando a un'inferenza lenta.
Controllabilità: I modelli AR faticano in compiti che richiedono un contesto bidirezionale o vincoli strutturali stretti, come il text infilling (ad es. completare una poesia con specifiche sillabe iniziali) o la generazione di output strutturati (ad es. JSON) dove il contenuto deve essere coordinato attraverso la sequenza.

I Modelli di Diffusione Discreta (DM) offrono un'alternativa teorica trattando la generazione come un processo di graduale svelamento (unmasking) dei token. Essi consentono la decodifica parallela e la modellazione del contesto bidirezionale. Tuttavia, la loro applicazione ai compiti multimodali rimane poco esplorata e le adattamenti ingenui affrontano sfide significative in termini di efficienza di addestramento e velocità di inferenza.

Metodologia

Gli autori introducono LaViDa (Large Vision-Language Diffusion Model with Masking), la prima famiglia di VLM basata su modelli di diffusione discreta. L'architettura integra un encoder visivo con un modello di linguaggio di diffusione (DLM) tramite un proiettore MLP, analogamente ai VLM basati su AR come LLaVA.

Architettura Core

Vision Encoder: Utilizza SigLIP-400M per elaborare le immagini in input. Per bilanciare risoluzione e lunghezza della sequenza, le immagini vengono ridimensionate e divise in più viste (quattro viste da $384^2$ e una da $768^2$ ridimensionata a $384^2$ ). Queste vengono codificate e sottoposte a pooling ( $2\times2$ average pooling) per ridurre il conteggio dei token a 980 per immagine prima della proiezione.
Diffusion Language Model: Un Transformer-based DLM (utilizzando backbone LLaDA-8B o Dream-7B) che sostituisce la maschera di attenzione causale dei modelli AR con una maschera non causale (bidirezionale). È addestrato per predire i token puliti $X_0$ data una sequenza parzialmente mascherata $X_t$ e un contesto visivo/prompt.

Innovazioni Tecniche Chiave

Per affrontare le sfide specifiche dell'applicazione dei DM ai compiti vision-language, LaViDa incorpora tre nuove tecniche:

Complementary Masking (Efficienza di Addestramento):
- Problema: L'addestramento standard dei DM maschera i token in modo stocastico. Nei compiti multimodali, i token critici della risposta (spesso brevi e sparsi) potrebbero rimanere non mascherati in un singolo campione, escludendoli dal calcolo della perdita (loss) e causando gradienti disallineati per l'encoder visivo.
- Soluzione: Per ogni campione di addestramento, il modello genera due versioni mascherate ( $X_t$ e $X^C_t$ ) con span corrotti disgiunti. Ciò assicura che ogni token nella sequenza di output contribuisca alla loss. Gli embedding visivi vengono copiati per entrambe le versioni per massimizzare l'efficienza.
Prefix-DLM (Velocità di Inferenza):
- Problema: I DM tipicamente non possono utilizzare la cache KV perché richiedono un'attenzione bidirezionale completa, portando alla ricalcolazione ripetuta di chiavi e valori per l'intero prompt (incluso centinaia di token visivi) ad ogni step di decodifica.
- Soluzione: Viene introdotta una maschera di attenzione specializzata in cui i token visivi e del prompt (il "prefix") possono solo prestare attenzione ad altri token del prefix, mentre i token della risposta possono prestare attenzione a tutti i token. Ciò consente di memorizzare in cache le chiavi e i valori degli embedding visivi e del prompt, riducendo significativamente la latenza.
Timestep Shifting (Trade-off Velocità-Qualità):
- Problema: Gli schemi di masking lineari (svelare un numero fisso di token per step) performano scarsamente con un basso numero di step, degradando la qualità del campione.
- Soluzione: Ispirandosi ai modelli di diffusione per immagini (SD3), gli autori adottano uno schema di spostamento del timestep convesso ( $\alpha = 1/3$ ). Questo svela adattivamente più token nelle fasi iniziali del processo inverso, permettendo una riduzione aggressiva degli step (inferenza più veloce) senza una significativa perdita di qualità.

Risultati Sperimentali

LaViDa è stato valutato su una vasta gamma di benchmark, inclusa la comprensione generale (MMMU, MME), il ragionamento (MathVista, ScienceQA), l'OCR (ChartQA, TextVQA) e i compiti di generazione vincolata.

Performance Competitive: LaViDa raggiunge prestazioni comparabili o superiori alle baseline AR (LLaVA-1.6-7B, Open-LLaVA-Next-Llama3-8B) nella maggior parte dei benchmark. In particolare, LaViDa-8B ottiene il punteggio più alto su MMMU (43.3) tra i modelli comparabili.
Generazione Vincolata: Sui compiti bidirezionali come "Constrained Poem Completion", LaViDa supera significativamente le baseline AR, ottenendo un miglioramento del 59% nel rispetto dei vincoli.
Trade-off Velocità e Qualità:
- Sul captioning COCO, LaViDa supera Open-LLaVA-Next-Llama3-8B di +4.1 CIDEr offrendo al contempo un incremento di velocità di 1.92×.
- Regolando il numero di step di diffusione (NFE), LaViDa offre un trade-off flessibile: al 50% di NFE, è più veloce delle baseline AR pur mantenendo una qualità migliore; al 25% di NFE, è significativamente più veloce con un calo delle prestazioni.
Studi di Ablazione: Il complementary masking ha dimostrato di migliorare le prestazioni di ScienceQA del 67% rispetto al masking standard. La cache Prefix-DLM ha fornito un incremento della velocità di inferenza fino a 3.9× con un costo prestazionale marginale.

Significato e Rivendicazioni

Il paper sostiene che LaViDa dimostra come gli approcci basati sulla diffusione possano scalare competitamente con i modelli autoregressivi per i compiti di vision-language, offrendo al contempo vantaggi unici che i modelli AR non possono facilmente replicare.

Primo del suo genere: LaViDa è presentato come la prima famiglia di VLM basata su modelli di diffusione discreta.
Cambio di Paradigma: Dimostra che i DM non sono solo alternative teoriche ma soluzioni pratiche che offrono un trade-off flessibile tra velocità e qualità e una superiore controllabilità per la generazione strutturata e il text infilling.
Scalabilità: Il lavoro estende il successo dei modelli di diffusione dal dominio del linguaggio (es. LLaDA, Dream) allo spazio della visione, validando che, con le giuste tecniche di addestramento e inferenza (complementary masking, prefix caching, timestep shifting), i DM possono gestire complessi compiti di istruzione multimodale.

Gli autori segnalano limitazioni, in particolare nelle prestazioni OCR (attribuite alla necessaria compressione dei token tramite average pooling) e nel divario attuale tra LaViDa e i modelli AR allo stato dell'arte addestrati su dataset significativamente più grandi. Suggeriscono che il lavoro futuro dovrebbe esplorare lo scaling dei DM con modelli e dati più grandi.