Sintesi Tecnica: Sumi – Modello di Linguaggio a Diffusione Uniforme Aperto da Zero

Definizione del Problema

Sebbene i modelli di diffusione siano emersi come un'alternativa promettente ai modelli di linguaggio autoregressivi (AR), esiste una lacuna significativa nello sviluppo di Modelli di Linguaggio a Diffusione Uniforme (UDLM) su larga scala. A differenza dei Modelli di Linguaggio a Diffusione Mascherata (MDLM), che riempiono i token mascherati in modo irreversibile, gli UDLM consentono l'aggiornamento di qualsiasi token in ogni passaggio, consentendo teoricamente una generazione più flessibile e l'auto-correzione.

Tuttari, nessun UDLM è stato pre-addestrato da zero sia a grandi scale di parametri (miliardi di parametri) che a grandi budget di token (trilioni di token). Gli UDLM esistenti su larga scala sono o checkpoint computazionalmente ottimali addestrati su piccoli budget di token o modelli adattati da architetture AR pre-addestrate (ad esempio, DiffusionGemma). Di conseguenza, il comportamento di una diffusione uniforme nativa su larga scala nel regime ricco di dati rimane inesplorato, mancando di un punto di riferimento pulito per studiare le leggi di scala, la dinamica di generazione e i compromessi rispetto ai baselines stabiliti di AR e MDLM.

Metodologia

Architettura del Modello e Obiettivo di Addestramento

Gli autori introducono Sumi, un UDLM a 7 miliardi di parametri completamente aperto.

• Architettura: Sumi utilizza un Transformer bidirezionale time-agnostic con 36 strati, una dimensione nascosta di 4.096 e MLP SwiGLU. Impiega l'attenzione a query raggruppate (32 teste, 8 gruppi KV), RMSNorm e embedding di input/output non legati. Per mitigare i "sink" dell'attenzione, viene applicata una softmax "off-by-one" nell'attenzione.
• Obiettivo: Il modello è addestrato utilizzando l'obiettivo della Diffusione Discreta Interpolante Generalizzata (GIDD), specificamente nella sua forma riparametrizzata rispetto al Rapporto Segnale-Rumore (SNR).
• Programma di Rumore (Noise Schedule): L'addestramento utilizza rumore uniforme puro con il log-SNR limitato a $\lambda \in [-9, 9]$.
• Tokenizzazione: Viene utilizzato il tokenizer OLMo 3 con una dimensione del vocabolario di 100.278.

Regime di Addestramento

Sumi è stato pre-addestrato da zero su 1,5 trilioni di token utilizzando 288 GPU NVIDIA H100 (per un totale di circa 43.308 ore-GPU).

1. Pre-addestramento (1,3T token): Condotto con una lunghezza di sequenza di 1.184 e un batch size globale di 4.608. La miscela di dati è pesantemente orientata verso contenuti educativi, filtrati e riclassificati tramite punteggi educativi derivati da un classificatore Qwen3-32B distillato.
2. Mid-training (250B token): Due fasi seguono il pre-addestramento:
   • 130B di token alla lunghezza originale (1.184).
   • 120B di token con una lunghezza estesa (4.864).
   • La miscela si sposta verso il codice, la matematica e il ragionamento, comprendendo il 32,5% di dati di coding, 29,7% di matematica, 21,0% di dati generali e 16,8% di ragionamento.

Strategia di Inferenza

• Lunghezza della Canvas: Il modello utilizza una lunghezza della canvas fissa di 2.048 token per tutte le valutazioni. Questa lunghezza è stata scelta perché le prestazioni degradano significativamente su canvas sostanzialmente più brevi o più lunghi.
• Campionamento: Gli autori esplorano il campionamento adattivo basato sulla confidenza rispetto al campionamento ancestrale.
• Protocollo di Valutazione: Tutte le valutazioni utilizzano l' lm-evaluation-harness modificato per il punteggio di diffusione. Per i compiti di verosimiglianza (likelihood), le posizioni oltre la risposta sono riempite con token casuali; per i compiti di generazione, gli aggiornamenti sono limitati alla lunghezza della generazione.

Contributi Chiave

1. Primo UDLM Nativo su Larga Scala: Sumi è il primo UDLM pre-addestrato da zero a una grande scala di parametri (7B) e un grande budget di token (1,5T), fornendo un baseline per studiare la diffusione uniforme nativa.
2. Rilascio Aperto: Gli autori rilasciano i pesi del modello, i checkpoint e l'intera ricetta di addestramento, inclusa una specifica completa della miscela di dati su corpora pubblicamente disponibili.
3. Sonde di Inferenza Esplorative: Il documento presenta analisi direzionali sulle dinamiche di generazione, inclusa la sensibilità alla lunghezza della canvas, l'ordine di impegno dei token, le capacità di decoding parallelo e il potenziale di auto-correzione.

Risultati

Prestazioni nei Benchmark

Sumi è stato valutato su 13 benchmark in quattro categorie e confrontato con modelli AR open (Falcon-7B, Llama 2-7B, OLMo-7B) addestrati su budget di token comparabili.

• Conoscenza Generale e Coding: Sumi è competitivo, ottenendo i punteggi migliori tra i modelli valutati sotto lo stesso protocollo su MMLU, TruthfulQA, HumanEval e MBPP. Ciò è attribuito alla miscela di dati ricca di contenuti educativi e di codice.
• Ragionamento e Matematica: Sumi è competitivo con Llama 2-7B e supera Falcon-7B in compiti come GSM8K e ARC, sebbene resti indietro rispetto a modelli più grandi o addestrati diversamente (ad esempio, LLaDA-8B, Llama 3-8B).
• Senso Comune (Commonsense): Sumi è significativamente meno performante nei benchmark di senso comune (PIQA, HellaSwag, WinoGrande). Gli autori attribuiscono questo divario alla miscela di dati ricca di istruzione, che è stato osservato degradare le prestazioni di senso comune, sebbene notino che il divario sia probabilmente maggiore di quanto la sola composizione dei dati possa spiegare.

Osservazioni sull'Inferenza

• Sensibilità della Canvas: La fluidità della generazione è altamente sensibile alla lunghezza della canvas. Sumi genera in modo fluido entro una banda dipendente dal compito (centrata intorno a 2.048), ma degrada bruscamente al di fuori di questo intervallo, in particolare su canvas brevi.
• Ordine di Impegno (Commitment Order): Sebbene l'obiettivo di addestramento sia indipendente dall'ordine, il campionamento basato sulla confidenza induce un ordine di impegno auto-organizzato. Il modello tende a impegnare i token determinabili precocemente e a posticipare quelli incerti, una struttura non presente nel campionamento ancestrale.
• Decoding Parallelo: Nei compiti di coding (HumanEval, MBPP), il modello supporta un modesto decoding parallelo (impegnando fino a 4 token per step) con una perdita di accuratezza minima. Tuttavia, l'aritmetica multi-step (GSM8K) rimane sensibile all'ordine, degradando immediatamente con i passaggi paralleli.
• Auto-correzione: Un budget di revisione esplicito (che consente passaggi di denoising extra) non produce auto-correzione. Sebbene il modello sovrascriva i token impegnati, queste edizioni sono prevalentemente "viaggi di ritorno" ($A \to B \to A$) piuttosto che miglioramenti diretti, lasciando l'accuratezza finale invariata.

Significato e Rivendicazioni

Il documento posiziona Sumi come una risorsa fondamentale per la comunità per studiare la diffusione uniforme nativa su larga scala. Gli autori sottolineano che le loro sonde di inferenza sono "direzionali piuttosto che conclusive", intese a motivare la ricerca futura su aspetti poco compresi degli UDLM, come:

• I comportamenti di generazione intrinseci della diffusione uniforme rispetto alla diffusione mascherata.
• Le condizioni sotto le quali l'auto-correzione potrebbe essere raggiungibile.
• L'impatto della composizione dei dati sui punti di forza e di debolezza specifici dei modelli di diffusione.

Gli autori dichiarano esplicitamente che Sumi è rilasciato come un modello base pre-addestrato senza fine-tuning per istruzioni o filtraggio della sicurezza, destinato a supportare la ricerca piuttosto che il deployment diretto. Avvertono che il modello eredita i rischi standard associati ai modelli linguistici base, inclusa la possibilità di output dannosi e inesattezze fattuali.