Riepilogo Tecnico: Modellazione Boltzmann Consapevole della Traiettoria Auto-distillata (TABOM)

1. Enunciato del Problema

I Modelli Linguistici a Diffusione (DLM) offrono vantaggi rispetto ai modelli autoregressivi, come una superiore consapevolezza globale e una generazione di token altamente parallela. Tuttavia, il post-addestramento dei DLM tramite il classico Fine-Tuning Supervisionato (SFT) presenta una critica discrepanza tra addestramento e inferenza:

• Addestramento: Lo SFT standard utilizza un obiettivo Negative Evidence Lower Bound (NELBO) con masking casuale uniforme, richiedendo al modello di ricostruire tutti i token mascherati simultaneamente in un singolo passo. Ciò instilla un "bias induttivo uniforme", trattando tutti i token come ugualmente difficili indipendentemente dalla loro prevedibilità intrinseca.
• Inferenza: L'inferenza DLM segue una traiettoria multi-step "dal facile al difficile" guidata dalla confidenza. I token vengono svelati iterativamente, iniziando da quelli con la minima entropia predittiva (massima certezza) e procedendo verso token più incerti.

Il Dilemma:
I recenti tentativi di colmare questo divario utilizzando traiettorie auto-distillate (dove il modello impara dalle proprie tracce di decodifica) hanno prodotto risultati limitati.

1. SFT standard su Verità Terrena (SFT-GT): Migliora le prestazioni nel dominio di addestramento ma causa una grave dimenticanza catastrofica delle capacità fuori distribuzione (OOD).
2. SFT standard su Dati Auto-distillati (SFT-SD): Preserva le capacità OOD (evitando la dimenticanza) ma produce solo guadagni marginali nel dominio di addestramento.
   Il documento ipotizza che, sebbene le traiettorie auto-distillate offrano una barriera di ottimizzazione inferiore, l'applicazione ingenua di obiettivi NELBO standard ad esse non riesce a sfruttare le informazioni strutturate "dal facile al difficile" incorporate nelle traiettorie, portando a prestazioni subottimali.

2. Metodologia: TABOM

Gli autori propongono l'Ottimizzazione Allineata alla Traiettoria tramite Modellazione Boltzmann (TABOM), un framework di post-addestramento che allinea l'obiettivo di addestramento alle dinamiche di decodifica al momento dell'inferenza.

2.1 Fondamento Teorico: Distribuzione Boltzmann Svelata

Gli autori dimostrano teoricamente che la distribuzione svelata durante l'inferenza, sotto una programmazione di decodifica "dal facile al difficile", può essere modellata come una distribuzione di Boltzmann sull'entropia predittiva ideale dei token.

• Proposizione: La probabilità di un insieme svelato $U$ è proporzionale a $\exp(-\beta \sum_{r \in U} H_{ideal}(x_r))$, dove $H_{ideal}$ è l'entropia predittiva.
• Implicazione: Questa formulazione cattura esplicitamente il bias induttivo secondo cui il modello preferisce svelare prima i token "facili" (a bassa entropia). L'obiettivo è minimizzare la divergenza di Kullback-Leibler (KL) tra la distribuzione predetta dal modello e questa distribuzione target di Boltzmann.

2.2 Surrogato Trattabile: Classificazione a Coppie

Ottimizzare direttamente la divergenza KL è intrattabile a causa della necessità di campionamento globale e del calcolo di una funzione di partizione su tutti i possibili stati svelati. TABOM introduce un obiettivo surrogato trattabile basato sulla Classificazione a Coppie:

• Meccanismo: Invece di massimizzare la verosimiglianza globalmente, il metodo impone classifiche relative tra coppie di stati svelati. Se il token $r$ viene decodificato prima del token $s$ in una traiettoria (implicando che $r$ è "più facile"), l'entropia predetta dal modello per $r$ deve essere inferiore a quella per $s$.
• Funzione di Perdita: Viene applicata una perdita di tipo hinge a coppie su finestre di decodifica locali. Per un insieme di token appena svelati $\Delta$, la perdita penalizza i casi in cui l'entropia di un token "più facile" non è sufficientemente inferiore a quella di un token "più difficile":
  $$L_{rank} = \max(0, h_\theta(r) - h_\theta(s) + \gamma)$$
• Finestra Locale: Per evitare rumore derivante dal confronto tra token con difficoltà molto diverse (ad esempio, primo vs ultimo passo), la classificazione viene applicata rigorosamente all'interno di una dimensione di finestra locale fissa $W$ (ad esempio, $W=32$).

2.3 Obiettivo Finale

La perdita totale TABOM combina:

1. Ricostruzione Consapevole della Traiettoria: Una classica perdita di entropia incrociata dove il modello prevede i token appena svelati $\Delta$ dato il contesto dei token svelati in precedenza (sostituendo il masking uniforme).
2. Regolarizzazione di Classificazione a Coppie: La perdita hinge descritta sopra per allineare il panorama dell'entropia con la traiettoria "dal facile al difficile".

$$L_{TABOM} = L_{ricostruzione} + \lambda L_{rank}$$

3. Contributi Chiave

1. Insight Teorico: Il documento definisce formalmente la distribuzione svelata durante l'inferenza come una distribuzione di Boltzmann sulle entropie predittive, identificando il "bias induttivo uniforme" del NELBO standard come la causa radice del disallineamento tra addestramento e inferenza.
2. Innovazione Metodologica: TABOM introduce un obiettivo di classificazione a coppie che allinea l'ordinamento della certezza del modello con le traiettorie di decodifica osservate, senza richiedere calcoli intrattabili della funzione di partizione.
3. Risoluzione Empirica: Il framework risolve il dilemma "dimenticanza vs guadagni marginali". Ottiene miglioramenti sostanziali delle prestazioni nel dominio di addestramento preservando al contempo le capacità fuori distribuzione, mitigando efficacemente la dimenticanza catastrofica.
4. Metrica Diagnostica: Gli autori introducono il Punteggio di Discriminazione della Traiettoria (TDS) per quantificare se un modello preserva le differenze di incertezza a livello di token lungo la traiettoria di decodifica.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due DLM (Dream-7B e LLaDA-8B) nei domini di Generazione di Codice (HumanEval, MBPP) e Ragionamento Matematico (GSM8K, MATH500).

• Guadagni di Prestazione: TABOM ha costantemente superato le linee di base (SFT-GT, SFT-SD, dInfer, T3D).
  • Su Dream-7B (Codice), TABOM ha ottenuto un guadagno di +7.70 su HumanEval e +2.60 su MBPP, rispetto a guadagni marginali per SFT-SD (+1.00, +1.20).
  • Crucialmente, TABOM ha mantenuto le prestazioni OOD (ad esempio, GSM8K è rimasto alto a 81.73 contro il calo a 52.33 osservato in SFT-GT).
• Robustezza: Sotto decodifica parallela a 2 token, TABOM ha mantenuto alte prestazioni, mentre SFT-GT ha subito un grave degrado, evidenziando l'allineamento di TABOM con la distribuzione naturale di inferenza del modello.
• Studi di Ablazione:
  • La rimozione della perdita di classificazione ha portato a guadagni limitati, confermandone la necessità per allineare il panorama dell'entropia.
  • L'applicazione della classificazione a livello globale (senza finestre locali) ha introdotto rumore e degradato le prestazioni, validando la necessità di vincoli di finestra locale.
• Discriminazione della Traiettoria: L'analisi TDS ha mostrato che TABOM ha aumentato significativamente la varianza dell'entropia predittiva attraverso i passi di decodifica (ad esempio, il TDS su HumanEval è passato da 0.035 in SFT-SD a 0.711 in TABOM), dimostrando che il modello ha imparato con successo a distinguere tra token facili e difficili, a differenza dello SFT standard che li tratta in modo uniforme.

5. Significato e Affermazioni

Il documento afferma che TABOM rappresenta un cambiamento fondamentale nel modo in cui le traiettorie auto-distillate vengono utilizzate per i DLM:

• Oltre l'Efficienza: Mentre i precedenti metodi basati su traiettorie si concentravano sulla compressione dei passi di campionamento (accelerazione), TABOM utilizza queste traiettorie per un autentico acquisizione di conoscenza e miglioramento delle prestazioni.
• Allineamento invece di Scorciatoie: Modellando il comportamento di inferenza come una distribuzione di Boltzmann e imponendo una classificazione basata sull'entropia, TABOM allinea il panorama di ottimizzazione del modello con le sue dinamiche di generazione effettive.
• Mitigazione della Dimenticanza Catastrofica: Il metodo espande con successo il confine di conoscenza effettivo dei DLM verso nuovi domini senza sacrificare le capacità pre-addestrate, un comune modo di fallimento dello SFT standard.

Gli autori concludono che TABOM fornisce una soluzione robusta alla discrepanza tra addestramento e inferenza nei Modelli Linguistici a Diffusione, offrendo una strada verso strategie di post-addestramento più efficaci ed efficienti che rispettano la struttura intrinseca "dal facile al difficile" dei processi generativi.