Riepilogo Tecnico: Non Riaddestrare, Allinea: Adattamento di LM Autoregressivi a LM Diffusivi tramite Allineamento delle Rappresentazioni

Enunciato del Problema

I Modelli Linguistici Diffusivi (DLM) offrono vantaggi distinti rispetto ai modelli autoregressivi (AR) standard, in particolare nella generazione non sequenziale, nell'editing bidirezionale e nella raffinazione iterativa. Tuttavia, la scalabilità dei DLM è computazionalmente costosa. Teoricamente, i DLM devono apprendere $L!$ percorsi di generazione rispetto all'unico percorso da sinistra a destra dei modelli AR, richiedendo spesso risorse di calcolo significativamente maggiori.

Approcci recenti tentano di mitigare questo costo convertendo checkpoint AR preaddestrati in DLM. Sebbene questi metodi riescano ad inizializzare i DLM dai pesi AR, si basano principalmente su un continuo addestramento di denoising con modifiche agli obiettivi, ai pattern di attenzione o alle convenzioni di campionamento. Crucialmente, le ricette esistenti non vincolano esplicitamente il DLM convertito a preservare la geometria delle rappresentazioni interne appresa durante il preaddestramento AR originale. Questo solleva una domanda centrale: è necessario trattare AR e DLM come paradigmi disgiunti che richiedono il riapprendimento delle rappresentazioni linguistiche, oppure la struttura semantica appresa dal preaddestramento AR può essere esplicitamente preservata durante la conversione?

Metodologia: REPR-ALIGN

Gli autori propongono REPR-ALIGN, un metodo di adattamento minimalista che tratta l'addestramento del DLM come un problema di allineamento piuttosto che come un problema di apprendimento delle rappresentazioni. L'ipotesi di fondo è che la parte "difficile" della generazione linguistica consista nell'apprendere strutture semantiche e sintattiche (rappresentazioni), che il preaddestramento AR ha già padroneggiato. Il compito rimanente è semplicemente adattare queste caratteristiche a un meccanismo di decodifica iterativo e di qualsiasi ordine.

Il metodo coinvolge due modelli con architettura identica:

1. Insegnante: Un transformer autoregressivo (AR) preaddestrato e congelato, con attenzione causale.
2. Studente: Un modello linguistico diffusivo mascherato (DLM) con attenzione bidirezionale, inizializzato dagli stessi pesi AR.

Procedura di Addestramento

Durante l'addestramento, il modello studente consuma una sequenza corrotta (con token mascherati) e tenta di prevedere i token mascherati utilizzando un obiettivo standard di denoising mascherato. Contemporaneamente, il modello insegnante congelato elabora la sequenza pulita sotto attenzione causale.

Per preservare la geometria interna del modello AR, gli autori introducono una funzione di perdita di allineamento delle rappresentazioni a livello di strato. Per ogni strato $\ell$ nello stack del transformer, gli stati nascosti dello studente ($h^{(\ell)}_D$) vengono allineati agli stati nascosti dell'insegnante ($h^{(\ell)}_{AR}$) utilizzando una funzione di perdita di similarità coseno.

L'obiettivo totale di addestramento è:
$$\mathcal{L}(\theta) = \mathcal{L}_{diff}(\theta) + \lambda \mathcal{L}_{align}(\theta)$$
Dove:

• $\mathcal{L}_{diff}$ è la perdita standard di cross-entropia di denoising mascherato.
• $\mathcal{L}_{align}$ è la distanza coseno media tra gli stati nascosti dello studente e dell'insegnante su tutti gli strati e le posizioni mascherate.
• $\lambda$ è un iperparametro di ponderazione (predefinito 10).

Le scelte progettuali chiave includono:

• Nessun Adattatore: Il metodo non richiede parametri aggiuntivi né modifiche architetturali oltre al passaggio della maschera di attenzione da causale a bidirezionale.
• Insegnante Congelato: L'insegnante AR rimane congelato, fornendo un sistema di coordinate rappresentativo stabile.
• Convenzione di Spostamento: Il metodo aderisce alla convenzione di spostamento standard utilizzata nell'adattamento AR→DLM per conciliare l'indicizzazione del token successivo con il denoising basato sulla posizione.

Contributi Chiave

1. Identificazione della Conservazione delle Rappresentazioni: Il documento identifica che la conservazione esplicita della geometria delle rappresentazioni interne del modello AR è un ingrediente mancante nelle attuali ricette di conversione AR→DLM.
2. Una Ricetta di Conversione Minimalista: REPR-ALIGN introduce un metodo semplice e privo di adattatori che ancora lo studente DLM all'insegnante AR congelato tramite allineamento coseno a livello di strato. Questo approccio migliora la qualità della conversione e l'efficienza del campionamento attraverso diverse scale di modello.
3. Efficienza in Dati e Calcolo: Gli autori dimostrano che la conversione AR→DLM non è intrinsecamente affamata di dati. Con l'allineamento delle rappresentazioni, l'addestramento su un sottoinsieme minuscolo di dati (0,8 miliardi di token) può superare l'addestramento sull'intero dataset (50 miliardi di token) con lo stesso budget di passi. Inoltre, congelare grandi blocchi (embedding e MLP) migliora il throughput di addestramento fino a 2$\times$ senza degradare la qualità.
4. Validazione della Scalabilità: Gli autori hanno addestrato un "oDLM" da 4 miliardi di parametri utilizzando questa ricetta. Rispetto a Dream-7B (un forte DLM pubblico costruito anch'esso su inizializzazione AR), oDLM ha ottenuto punteggi HumanEval e HumanEval+ pass@10 migliori nonostante l'uso di meno parametri e un budget di dati e calcolo significativamente più leggero.

Risultati Sperimentali

Il metodo è stato valutato su benchmark di generazione di codice (HumanEval, HumanEval+, MBPP, MBPP+) utilizzando checkpoint Qwen3 alle scale 0,6B, 1,7B e 4B.

• Velocità di Adattamento: REPR-ALIGN ha accelerato costantemente l'adattamento. Su HumanEval pass@10, il modello allineato ha superato sia il fine-tuning AR che l'addestramento da zero durante le prime fasi di conversione. A 200k passi, il modello 0,6B ha registrato un guadagno di 6,1 punti e il modello 1,7B un guadagno di 9,4 punti rispetto alla baseline.
• Scalabilità: I benefici dell'allineamento sono cresciuti con la dimensione del modello. Il modello 1,7B ha mostrato miglioramenti assoluti maggiori rispetto al modello 0,6B, suggerendo che le geometrie di preaddestramento AR più grandi sono più preziose da preservare.
• Efficienza dei Dati: L'addestramento su un sottocampione casuale di 0,8 miliardi di token con allineamento ha prodotto punteggi pass@10 più alti rispetto all'addestramento sul flusso completo di 50 miliardi di token allo stesso numero di passi.
• Congelamento: Il congelamento degli embedding dei token e dei blocchi MLP ha aumentato il throughput di circa 2$\times$ mantenendo o migliorando leggermente le prestazioni, supportando la visione che il segnale di apprendimento primario risiede nell'adattamento del meccanismo di denoising, non nel riapprendimento delle rappresentazioni.
• Ablazioni:
  • Metrica: L'allineamento coseno ha superato la distanza L2, suggerendo che il segnale utile è geometrico (direzione) piuttosto che metrico (magnitudine).
  • Peso: $\lambda=10$ ha fornito il compromesso ottimale tra ancoraggio e adattamento.
  • Strati: Allineare tutti gli strati ha fornito il miglior pass@1, mentre gli strati intermedi e superiori sono risultati particolarmente importanti per il pass@10.

Significato e Affermazioni

Il documento afferma che le rappresentazioni linguistiche sono universali indipendentemente dall'ordine di generazione. Riformulando l'addestramento del DLM come un problema di allineamento, gli autori sostengono che l'alto costo del preaddestramento diffusivo è dovuto in larga misura al riapprendimento non necessario di rappresentazioni che il preaddestramento AR ha già fornito.

Il significato di questo lavoro risiede nell'offrire una "tecnica di riferimento" per l'addestramento di modelli linguistici diffusivi che:

• Riduce il Calcolo: Raggiunge prestazioni competitive con una frazione del costo standard di preaddestramento.
• Semplifica l'Addestramento: Rimuove la necessità di adattatori complessi o di pesanti fine-tuning, affidandosi invece a un semplice obiettivo di allineamento.
• Democratizza l'Accesso: Rende fattibile l'addestramento di DLM di alta qualità in regimi a basso volume di dati e con risorse di calcolo limitate.

Gli autori posizionano il loro lavoro come un passaggio dal "riaddestramento" all'"allineamento", suggerendo che i futuri avanzamenti nella generazione discreta potrebbero derivare da un migliore allineamento dei meccanismi piuttosto che da paradigmi di addestramento da zero.