Riepilogo Tecnico: La Dualità della Diffusione, Capitolo II: Campionatori Ψ

Enunciato del Problema

I modelli di diffusione discreta sono emersi come una potente alternativa ai modelli autoregressivi per la generazione di linguaggio e immagini, offrendo decodifica parallela e contesto bidirezionale. Tra questi, i Modelli di Diffusione a Stato Uniforme (USDM) eccellono nella generazione a pochi passi e nelle attività guidate grazie alla loro capacità di auto-correggersi rivedendo più volte i token. Tuttavia, gli USDM affrontano due limitazioni critiche:

1. Stallo della Qualità del Campionamento: I campionatori ancestrali standard per gli USDM non riescono a migliorare la qualità della generazione all'aumentare del numero di passi di campionamento (NFE), a differenza delle loro prestazioni nei regimi a pochi passi.
2. Inefficienza nell'Addestramento: I precedenti tentativi di ridurre il divario di verosimiglianza tra USDM e Modelli di Diffusione Mascherata (MDM) tramite apprendimento curricolare (ad esempio, Duo) sono computazionalmente costosi, richiedendo un elevato utilizzo di memoria e lunghi tempi di addestramento a causa della necessità di materializzare vettori latenti ad alta dimensionalità durante la fase di addestramento.

Sebbene i Modelli di Diffusione Mascherata (MDM) raggiungano generalmente verosimiglianze più elevate, soffrono di errori cumulativi durante l'inferenza perché i token, una volta desmascherati, non possono essere rimascherati. Recenti lavori sui metodi Predittore-Correttore (PC) (ad esempio, ReMDM) hanno migliorato i MDM consentendo il rimascheramento, ma progressi simili per gli USDM sono stati poco esplorati, con i metodi PC esistenti per gli USDM che spesso performano peggio dei campionatori ancestrali.

Metodologia

Il paper introduce Duo++, un framework che affronta queste sfide attraverso due innovazioni principali: i campionatori Ψ per l'inferenza e un curricolo scalabile per l'addestramento.

1. Posteriori Ψ e Campionatori Ψ

Gli autori propongono una famiglia di posteriori non markoviani, denominati posteriori Ψ, che generalizzano i precedenti metodi PC a priori di rumore arbitrari (sia Mascherati che Uniformi).

• Definizione: Il posteriore Ψ è definito come una sovrapposizione lineare del posteriore inverso standard ($q_{s|t}$) e del margine del processo in avanti ($q_s$):
  $$\Psi_{s|t}(\cdot|x^\ell, z^\ell_t) = \kappa_t q_{s|t}(\cdot|z^\ell_t, x^\ell) + (1-\kappa_t) q_s(\cdot|x^\ell)$$
  dove $\kappa_t \in [0, 1]$ è un coefficiente dipendente dal tempo.
• Meccanismo: Questa formulazione permette al campionatore di iniettare rumore (tramite il termine $q_s$) durante il processo di generazione.
  • Per i MDM, ciò abilita il rimascheramento: i token precedentemente decodificati possono essere riportati allo stato mascherato se il denoiser commette un errore, correggendo gli errori cumulativi.
  • Per gli USDM, ciò garantisce che ogni token mantenga una probabilità non nulla di essere campionato, anche se il denoiser gli assegna una probabilità vicina allo zero, impedendo al campionatore di rimanere intrappolato in ottimi locali.
• Garanzia Teorica: I posteriori Ψ sono costruiti per condividere esattamente gli stessi margini del processo di diffusione discreta markoviana standard. Ciò assicura che, dati campioni sufficienti, il processo converga alla corretta distribuzione dei dati.
• Generalizzazione: Il framework ingloba i metodi PC esistenti (ad esempio, ReMDM, Campbell et al., Gat et al.) come casi speciali in cui vengono scelti specifici programmi temporali per $\kappa_t$.

2. Curricolo Scalabile per un Addestramento Più Rapido

Per affrontare il collo di bottiglia computazionale della strategia di apprendimento curricolare proposta in Duo (Sahoo et al., 2025a), gli autori introducono un'implementazione efficiente in termini di memoria.

• Sfruttamento della Sparsità: Il curricolo originale sostituisce gli input di token discreti con rilassamenti softmax a bassa temperatura di latenti gaussiani. Per vocabolari di grandi dimensioni ($K > 100.000$), la materializzazione del vettore di pesi completo a $K$ dimensioni è non fattibile.
• Approssimazione Top-$k$: Gli autori osservano che a basse temperature, la distribuzione softmax è sparsa, concentrando la massa su sole poche voci. Propongono di approssimare la combinazione lineare completa utilizzando solo le prime $k$ voci ($k \ll K$).
• Campionamento Efficiente: Invece di generare il vettore completo e ordinarlo, il metodo utilizza le statistiche d'ordine per campionare direttamente i valori top-$k$ e i loro corrispondenti indici dalle distribuzioni gaussiane sottostanti, senza materializzare il vettore completo.
• Normalizzazione: Viene derivata un'espressione in forma chiusa per approssimare il normalizzatore softmax ($\tilde{Z}$) tenendo conto dei termini top-$k$ campionati e del contributo atteso dei termini non campionati.
• Efficienza: Questo approccio riduce l'utilizzo di memoria di picco del 33% e accelera l'addestramento del 25%, mantenendo le stesse prestazioni in termini di verosimiglianza.

Contributi Chiave

1. Posteriori Ψ: Un framework unificato per la diffusione discreta che introduce posteriori di sovrapposizione non markoviani, abilitando il campionamento Predittore-Correttore per priori di rumore arbitrari (Mascherati e Uniformi) preservando la coerenza marginale.
2. Campionatori Ψ: Una famiglia di campionatori che generalizza i precedenti metodi PC (incluso ReMDM). Sperimentalmente, permettono agli USDM di scalare meglio con gli NFE, chiudendo il divario di prestazioni con i MDM nella generazione di testo e superandoli nella generazione di immagini.
3. Curricolo Efficiente: Una strategia di addestramento scalabile che sfrutta la sparsità dei rilassamenti softmax a bassa temperatura per ridurre significativamente i costi di memoria e computazione senza sacrificare la qualità del modello.

Risultati Sperimentali

Modellazione del Linguaggio (OpenWebText)

• Prestazioni: I campionatori Ψ migliorano significativamente la Perplessità Generativa (Gen. PPL) per gli USDM rispetto al campionamento ancestrale.
• Scalabilità: A differenza del campionamento ancestrale, che stalla all'aumentare degli NFE, i campionatori Ψ continuano a migliorare con più passi. A entropia unigramma abbinata (diversità), Duo++ con campionatori Ψ ottiene una Gen. PPL inferiore rispetto a MDLM con ReMDM.
• Compiti a valle: Duo++ eguaglia le prestazioni del modello Duo originale su compiti di risposta a domande a scelta multipla (ad esempio, ARC, HellaSwag) utilizzando il 25% di FLOPs in meno.

Modellazione delle Immagini (CIFAR-10)

• Qualità: Su CIFAR-10, Duo++ con campionatori Ψ ottiene un FID e un Inception Score (IS) superiori rispetto sia al campionamento ancestrale che a ReMDM.
• Scalabilità: Il miglioramento nella qualità delle immagini è coerente attraverso numeri variabili di passi di campionamento, con Duo++ che supera le varianti di MDLM.

Efficienza nell'Addestramento

• Memoria e Velocità: Il curricolo efficiente proposto riduce l'utilizzo di memoria di picco del 33% e riduce il tempo totale di addestramento del 25% rispetto al curricolo Duo originale.
• Verosimiglianza: I modelli addestrati con il curricolo efficiente raggiungono una perplessità comparabile su LM1B e OpenWebText rispetto ai modelli Duo originali.

Significato e Affermazioni

Il paper sostiene che l'assunzione secondo cui la Diffusione Mascherata sia il futuro inevitabile della modellazione del linguaggio basata sulla diffusione è discutibile. Introducendo i campionatori Ψ, gli autori dimostrano che i Modelli di Diffusione a Stato Uniforme possono raggiungere:

1. Scalabilità Superiore: Prestazioni che continuano a migliorare con l'aumento dei passi di campionamento, a differenza dei campionatori ancestrali.
2. Qualità Competitiva o Superiore: Eguagliare o superare i MDM nella generazione di testo (se accoppiati con il campionamento PC) e superarli nella generazione di immagini.
3. Efficienza Pratica: Una pipeline di addestramento significativamente più efficiente in termini di memoria e tempo rispetto ai precedenti approcci di apprendimento curricolare.

Il lavoro suggerisce che la "dualità" tra diffusione gaussiana e diffusione discreta, combinata con strategie di campionamento non markoviane, offre una via robusta e scalabile per la modellazione generativa discreta, sfidando il dominio degli approcci mascherati.