Sintesi Tecnica: Modelli Linguistici da Autoregressivi a Diffusivi Efficienti nei Dati tramite Distillazione On-Policy

1. Definizione del Problema

Il documento affronta le sfide inerenti alla trasformazione di Modelli Linguistici Autoregressivi (ARLM) pre-addestrati in Modelli Linguistici Diffusivi (DLM). Mentre lavori recenti hanno tentato di convertire gli ARLM in DLM sostituendo l'attenzione causale con l'attenzione bidirezionale e ri-addestrando con un obiettivo di diffusione, gli autori identificano due critiche "distorsioni di distribuzione" (distribution shifts) che limitano l'efficienza dell'addestramento e le prestazioni:

1. Discrepanza nella Ritenzione della Conoscenza (Knowledge-Retention Mismatch): La transizione da un obiettivo di previsione del next-token (ARLM) a un obiettivo di diffusione (DLM) può indebolire o scartare la sostanziale conoscenza acquisita durante il pre-addestramento originale dell'ARLM.
2. Discrepanza tra Stato di Addestramento e di Inferenza (Train-Inference State Mismatch): I DLM standard sono addestrati su sequenze corrotte da una mascheratura casuale uniforme (processo forward). Tuttavia, durante l'inferenza, il modello genera sequenze tramite traiettorie di de-mascheratura inversa guidate da euristiche di decodifica basate sulla confidenza. Gli stati incontrati durante l'inferenza differiscono significativamente dagli stati casuali visti durante l'addestramento, portando a un apprendimento subottimale.

I metodi esistenti spesso trattano questo processo come una continuazione del pre-addestramento, fallendo nell'affrontare esplicitamente tali discrepanze o richiedendo dataset proibitivi (trilioni di token) per pre-addestrare i DLM da zero.

2. Metodologia: Modelli Linguistici Diffusivi On-Policy (OPDLM)

Gli autori propongono OPDLM, un framework che converte gli ARLM in DLM utilizzando la Distillazione On-Policy (OPD). Questo approccio inquadra la conversione come un problema di post-addestramento piuttosto che di pre-addestramento.

Meccanismo Core

OPDLM impiega una strategia di "self-OPD" in cui il modello studente genera i propri dati di addestramento, mentre l'originale ARLM funge da insegnante congelato (frozen teacher).

• Modello Studente: Un checkpoint ARLM modificato per utilizzare l'attenzione causale a blocchi (bidirezionale), inizializzato dai pesi dell'ARLM originale.
• Modello Insegnante: L'originale ARLM, congelato.
• Traiettoria di Addestramento (On-Policy): Invece di campionare maschere casuali da un dataset pulito, lo studente DLM campiona le proprie traiettorie di decodifica inversa ($\tau \sim \Gamma^{rev}_{\theta}$). Queste traiettorie rappresentano gli stati effettivi che il modello incontra durante l'inferenza.
• Obiettivo di Distillazione:
  • Da una traiettoria inversa campionata, viene selezionato uno stato parzialmente de-noised $x_t$.
  • Per ogni posizione di token mascherata $i$ in un blocco, la distribuzione predittiva dello studente $p_{\theta}$ è addestrata per corrispondere alla distribuzione dell'insegnante.
  • Fondamentalmente, la distribuzione dell'insegnante è condizionata sul prefisso causale non mascherato della sequenza terminale $x_0$ (l'output finale generato di quella traiettoria). Nello specifico, il target è $p_{ARLM}(\cdot | x_{<b}^0, x_{<i}^0)$.
  • La perdita è una divergenza di Kullback-Leibler (KL) tra la distribuzione del token dell'insegnante e la distribuzione dello studente sulle posizioni mascherate.

Apprendimento Curricolare (Curriculum Learning)

Per affrontare l'instabilità immediatamente dopo la conversione (dove lo studente può generare traiettorie di bassa qualità a causa dello shift strutturale da attenzione causale a block-wise), gli autori introducono un Curriculum della Lunghezza di Rollout (Rollout-Length Curriculum). La lunghezza della generazione on-policy viene aumentata progressivamente da un minimo ($L_{min}$) a un massimo ($L_{max}$) durante i passi di warmup, garantendo che lo studente impari a corrispondere all'insegnante su contesti coerenti prima di affrontare sequenze più lunghe.

3. Contributi Chiave

1. Formulazione dell'ARLM-to-DLM come Post-Training: Il documento dimostra che i DLM possono essere ottenuti senza la fase computazionalmente intensiva del pre-addestramento da zero, posizionando la conversione come una procedura di post-addestramento efficiente.
2. Risoluzione delle Distorsioni di Distribuzione: Addestrando sulle proprie traiettorie inverse (on-policy), OPDLM elimina la discrepanza tra stato di addestramento e di inferenza. Utilizzando l'originale ARLM come insegnante, assicura la ritenzione della conoscenza.
3. Efficienza dei Dati Estrema: Il metodo raggiunge prestazioni competitive utilizzando da 15× a 7.000× meno token di addestramento rispetto alle linee guida consolidate dei DLM (es. LLaDA, Dream, SDAR).
4. Applicabilità Generale e Specifica per Compiti: Il framework dimostra di poter produrre sia DLM general-purpose che modelli specializzati per compiti specifici (es. matematica) senza richiedere un separato stadio di pre-addestramento DLM.

4. Risultati Sperimentali

Gli autori hanno valutato OPDLM (scale 4B e 8B) contro baseline come LLaDA, Dream, SDAR e Fast-dLLM-v2 su benchmark di conoscenza generale, matematica e coding.

• Prestazioni vs Efficienza: OPDLM-8B ha ottenuto risultati solidi su benchmark come AIME-24 (accuratezza 14,7%) e GPQA-Diamond (36,1%) richiedendo solo 0,066 miliardi di token di addestramento e 4,2 × 10¹⁸ FLOPs. Al contrario, le baseline hanno richiesto centinaia di miliardi di token (es. LLaDA-8B ha utilizzato 1.500 miliardi di token).
• Studi di Ablazione:
  • On-Policy vs Off-Policy: Sostituire il campionamento delle traiettorie on-policy con la standard mascheratura casuale (Off-Policy) ha causato cali di prestazioni costanti, confermando che l'addestramento sugli stati di inferenza del modello stesso è il principale motore del successo.
  • Ritenzione della Conoscenza: OPDLM ha mantenuto capacità zero-shot non esplicitamente mirate durante la conversione, inclusi il ragionamento esteso (reasoning all'interno dei tag <thought>) e la generazione multilingue, nonostante l'addestramento su un corpus curato in inglese.
• Efficienza di Inferenza: I modelli supportano la decodifica multi-token. Regolando la soglia di confidenza della decodifica e la dimensione del blocco, gli autori hanno dimostrato un trade-off in cui il throughput può superare i 2-3 token per step con costi moderati in termini di accuratezza.
• Adattamento Specifico per Compiti: Quando addestrato strettamente su dati matematici (dataset MATH), OPDLM-MATH ha superato le baseline standard dei DLM e ha eguagliato modelli specializzati addestrati con RL (TraDo) senza richiedere un DLM pre-addestrato o l'apprendimento per rinforzo con ricompense verificabili.

5. Significato e Rivendicazioni

Il documento afferma che OPDLM stabilisce una nuova frontiera di Pareto per l'efficienza dell'addestramento dei DLM. Sfruttando la distillazione on-policy, gli autori sostengono che la conversione degli ARLM in modelli di diffusione possa essere ottenuta con risorse computazionali minime, rendendo la generazione di testo basata su diffusione accessibile senza il "costo proibitivo" del pre-addestramento da zero.

Gli autori sottolineano che questo approccio consente alla comunità di adattare i futuri ARLM in modelli di diffusione in modo efficiente, preservando la ricca conoscenza dei modelli originali pur ottenendo i vantaggi della decodifica parallela offerti dalla diffusione. Il lavoro è presentato come un percorso pratico per colmare il divario tra la maturità dei modelli autoregressivi e il potenziale vantaggio dei modelli di diffusione.