Riepilogo Tecnico: GDSD: Apprendimento per Rinforzo come Auto-distillazione Guidata del Denoiser per Modelli Linguistici Diffusivi

1. Enunciato del Problema

I Modelli Linguistici Diffusivi su Grande Scala (dLLM) offrono significativi guadagni di efficienza nell'inferenza rispetto ai modelli autoregressivi (ARM) generando più token simultaneamente e rompendo la rigida ordine di generazione da sinistra a destra. Tuttavia, i dLLM attualmente rimangono indietro rispetto agli ARM allo stato dell'arte nella qualità di generazione, rendendo necessarie efficaci metodologie di fine-tuning come l'Apprendimento per Rinforzo (RL).

L'ostacolo centrale nell'applicare il RL ai dLLM è l'intrattabilità della verosimiglianza della policy. Le soluzioni esistenti ricadono generalmente in due categorie:

1. Metodi di Verosimiglianza delle Traiettorie: Stimano le verosimiglianze esatte accumulando le probabilità di transizione. Sebbene non distorte, sono computazionalmente costose e non allineate agli obiettivi del pre-addestramento.
2. Metodi di Verosimiglianza delle Sequenze (ELBO): Utilizzano il Limite Inferiore dell'Evidenza (ELBO) stimato da sequenze mascherate casualmente come surrogato per la vera verosimiglianza. Questi sono computazionalmente efficienti e allineati al pre-addestramento.

Il Problema Centrale: Il documento sostiene che i metodi RL basati su ELBO soffrono di un pregiudizio derivante da un Disallineamento Addestramento-Inferenza (TIM). Questo pregiudizio nasce da due fonti:

• Divario di Verosimiglianza: L'ELBO è un limite inferiore con un divario non trascurabile rispetto alla vera verosimiglianza, introducendo distorsione e varianza nei rapporti di campionamento per importanza utilizzati negli obiettivi del Policy Gradient (PG) o PPO.
• Disallineamento della Distribuzione di Campionamento: L'inferenza del dLLM utilizza il rimascheramento iterativo e la decodifica a blocchi, inducendo una distribuzione di campionamento ($\pi^{rm}_{old}$) che differisce dalla distribuzione della policy di addestramento ($\hat{\pi}_{old}$) stimata tramite ELBO.

Questo disallineamento rende inefficace la correzione per campionamento per importanza, portando a prestazioni degradate e, nei casi più gravi, al collasso catastrofico dell'addestramento.

2. Metodologia: Auto-distillazione Guidata del Denoiser (GDSD)

Gli autori propongono l'Auto-distillazione Guidata del Denoiser (GDSD), un framework che riformula il RL per i dLLM come un problema di auto-distillazione off-policy, aggirando così la necessità di stimare la verosimiglianza ed evitando il pregiudizio TIM.

2.1 Fondamento Teorico

Sotto il RL regolarizzato con KL inverso, la policy ottimale $\pi^*$ ha una soluzione in forma chiusa:
$$\pi^*(x_0) \propto \pi_{old}(x_0)^{1-\beta} \cdot \pi_{ref}(x_0)^\beta \cdot \exp(\psi A(x_0))$$
dove $A(x_0)$ è la funzione di vantaggio, $\beta$ è un coefficiente di regolarizzazione e $\psi$ è un coefficiente di guida.

Gli autori dimostrano che questa policy ottimale induce una distribuzione di denoising guidata (un denoiser "insegnante" $p^*$) per il modello di diffusione mascherato:
$$p^*(x_0|x_t) = p^{ref}_{old}(x_0|x_t) \cdot \exp(\psi A(x_0) - A_t(x_t))$$
dove $p^{ref}_{old}$ è una miscela geometrica delle policy vecchia e di riferimento, e $A_t(x_t)$ è una costante di normalizzazione.

2.2 L'Obiettivo GDSD

Invece di ottimizzare un obiettivo basato sulla verosimiglianza, il GDSD distilla direttamente il denoiser corrente $p_\theta$ dall'insegnante $p^*$ allineando i loro logit. L'obiettivo minimizza la distanza $L_2$ quadrata tra i logit dello studente e quelli dell'insegnante:
$$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log p_\theta(x_0|x_t) - \log p^*(x_0|x_t) \right)^2 \right]$$

2.3 Riformulazione Senza Normalizzazione

Una sfida maggiore nell'implementazione di ciò è la costante di normalizzazione intrattabile $Z_t$ (o $A_t$) nella distribuzione dell'insegnante. Gli autori propongono due soluzioni per eliminarla:

1. Matching Diretto: Sfruttando l'invarianza per traslazione dell'operatore Softmax, la costante può essere ignorata se i logit dello studente corrispondono ai logit non normalizzati dell'insegnante fino a una costante additiva.
2. Centralizzazione dei Logit a Livello di Token (TLC): Per prevenire spostamenti incontrollati della scala dei logit durante gli aggiornamenti iterativi, gli autori propongono di centralizzare i logit. Sottraendo la media dei logit sul vocabolario per ogni posizione del token, la costante di normalizzazione viene completamente eliminata dall'obiettivo.

L'obiettivo pratico finale (con TLC) è:
$$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{old}(x_0|x_t) - \psi A(x_0) \right)^2 + \beta \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{ref}(x_0|x_t) \right)^2 \right]$$
dove $\bar{p}$ denota il modello con logit centralizzati.

3. Contributi Chiave

1. Riduzione all'Auto-distillazione: Il documento stabilisce che il RL regolarizzato con KL inverso per i dLLM è equivalente alla distillazione di un denoiser guidato da un auto-insegnante derivato dalla policy ottimale in forma chiusa.
2. Framework GDSD: Un metodo innovativo di auto-distillazione privo di verosimiglianza che elimina il pregiudizio TIM per progettazione, poiché non si basa su rapporti di campionamento per importanza o surrogati ELBO.
3. Ottimizzazione Senza Normalizzazione: L'introduzione della Centralizzazione dei Logit a Livello di Token (TLC) consente un RL online efficiente senza il calcolo di funzioni di partizione intrattabili.
4. Unificazione Teorica: Il documento dimostra che i metodi esistenti basati su ELBO (es. wd1, DMPO, SPG, UniGRPO) possono essere visti come istanze specifiche di distillazione che utilizzano diverse misure di divergenza (KL in avanti o KL inverso), ma soffrono di inefficienza dei dati o pregiudizio TIM che il GDSD evita.

4. Risultati Sperimentali

Gli autori hanno valutato il GDSD su LLaDA-8B e Dream-7B attraverso sei benchmark:

• Ragionamento Matematico: GSM8K, MATH500
• Pianificazione: Countdown, Sudoku
• Codifica: HumanEval, MBPP

Risultati Chiave:

• Miglioramenti delle Prestazioni: Il GDSD supera costantemente i metodi basati su ELBO allo stato dell'arte. Sul modello Dream-7B, il GDSD ha raggiunto miglioramenti di accuratezza sui test fino al +19,6% nelle attività di pianificazione (Sudoku e Countdown). Su LLaDA-8B, i miglioramenti sono variati dal +0,6% al +5% nei benchmark di pianificazione, matematica e codifica.
• Stabilità dell'Addestramento: Il GDSD ha dimostrato dinamiche di ricompensa durante l'addestramento significativamente più stabili rispetto alle baseline basate su ELBO (es. SPG, ESPO), che hanno mostrato oscillazioni o collassi.
• Studi di Ablazione: È stato dimostrato che il componente di Centralizzazione dei Logit a Livello di Token (TLC) stabilizza ulteriormente l'addestramento e, in alcuni casi (come Sudoku), aiuta il modello a sfuggire ai minimi locali per raggiungere ricompense finali più elevate.

5. Significato e Affermazioni

Il documento afferma che l'auto-distillazione diretta del denoiser offre un'alternativa più stabile ed efficace al RL basato su ELBO per i dLLM. Rimuovendo la dipendenza da surrogati di verosimiglianza, il GDSD evita i pregiudizi strutturali intrinseci negli approcci basati su campionamento per importanza. I risultati suggeriscono che i guadagni di prestazioni osservati non sono dovuti meramente all'ottimizzazione degli iperparametri, ma derivano da una via di ottimizzazione più principiale che allinea l'obiettivo di addestramento alla distribuzione effettiva di inferenza dei dLLM. Gli autori concludono che l'ELBO non è necessario per il RL con i dLLM e che la sua rimozione porta a capacità di allineamento e ragionamento più robuste.