Pretraining Large Language Models with NVFP4

Questo studio introduce un metodo innovativo per l'addestramento stabile ed efficiente di grandi modelli linguistici in formato NVFP4, combinando trasformate di Hadamard casuali, quantizzazione bidimensionale e arrotondamento stocastico, che permette di addestrare un modello da 12 miliardi di parametri su 10 trilioni di token con prestazioni comparabili alla base FP8.

L'essenziale

🚀 Il Segreto per Costruire Cervelli Artificiali più Veloci (e meno affamati)

Immagina di voler costruire un cervello artificiale (un modello linguistico come quelli che usi ogni giorno) che sia così intelligente da risolvere problemi complessi. Per farlo, oggi servono computer enormi che consumano tanta energia e tempo, come se stessi cercando di accendere un intero quartiere solo per accendere una lampadina.

NVIDIA ha scoperto un nuovo modo per farlo: NVFP4. Ma cos'è? È come passare da un camioncino pieno di merci a una moto sportiva: molto più veloce, occupa meno spazio, ma deve essere guidata con una tecnica speciale per non cadere.

Ecco come funziona, spiegato con delle metafore quotidiane.

1. Il Problema: Troppa "Precisione" Spreca Energia

Fino a poco tempo fa, questi cervelli artificiali venivano addestrati usando numeri molto precisi (come se scrivessi una ricetta con grammi e milligrammi). Questo è preciso, ma richiede enormi quantità di energia e memoria.
NVIDIA ha già provato a usare numeri meno precisi (8-bit, come usare "un cucchiaio" invece dei grammi), ma ora vogliono fare un salto di qualità: usare numeri 4-bit (come usare "un pizzico" o "un dito").

• Il vantaggio: Velocità doppia o tripla e metà della memoria necessaria.
• Il rischio: Se usi "un pizzico" per misurare ingredienti delicati, rischi di rovinare la torta. I numeri troppo piccoli si perdono, quelli troppo grandi "esplodono" (diventano infiniti).

2. La Soluzione: NVFP4 (Il "Sistema di Misurazione Intelligente")

NVIDIA ha creato un nuovo formato chiamato NVFP4. Non è solo un modo per scrivere numeri più piccoli, è un sistema intelligente per gestire le eccezioni.

Immagina di dover misurare l'altezza di una folla di persone:

• Il vecchio metodo (MXFP4): Prendi un metro rigido e lo applichi a gruppi di 32 persone. Se c'è un gigante (un "outlier") in mezzo, il metro si piega e non riesci a misurare bene nessuno.
• Il nuovo metodo (NVFP4):
  1. Gruppi più piccoli: Invece di misurare 32 persone insieme, ne misuri solo 16. È più facile gestire le differenze di altezza.
  2. Due livelli di scala: Immagina di avere un righello gigante (livello del gruppo) e un righello piccolo (livello della singola persona). Se c'è un gigante, il righello piccolo si adatta a lui, mentre il righello gigante si assicura che il gruppo non esca dai limiti.
  3. Risultato: Riesci a misurare sia i nani che i giganti senza perdere precisione.

3. I 4 Trucchi del Mago (La Metodologia)

Usare solo il nuovo righello non basta. Per addestrare un modello enorme (12 miliardi di parametri) su 10 trilioni di parole senza impazzire, NVIDIA ha usato quattro trucchi magici:

• 🛡️ I "Guardiani" ad Alta Precisione (Mixed Precision):
  Immagina che il cervello artificiale sia una catena di montaggio. La maggior parte dei lavoratori usa gli attrezzi veloci ma economici (4-bit). Ma NVIDIA ha lasciato alcuni lavoratori chiave (i primi e gli ultimi passaggi) con gli attrezzi di lusso (alta precisione). Se questi "guardiani" fanno un errore, tutta la catena si blocca. Tenerli precisi assicura che il lavoro finisca bene.

• 🌪️ Il Mescolatore di Caos (Random Hadamard Transforms):
  A volte, nei dati, ci sono numeri "strani" e molto grandi (come un picco improvviso) che confondono il sistema. Immagina di avere un mazzo di carte dove un Asso di Picche è enorme e le altre carte sono piccole. Se le mescoli in modo casuale (usando una trasformazione matematica speciale), quell'Asso si "nasconde" tra le altre carte e diventa meno pericoloso. Questo rende i dati più uniformi e facili da gestire.

• 🔄 La Regola del "Specchio Perfetto" (2D Scaling):
  Quando un modello impara, guarda i dati in avanti (come leggere un libro) e poi all'indietro (come correggere gli errori). Il problema è che se usi due righelli diversi per leggere e correggere, ti sbagli. NVIDIA ha creato un sistema che assicura che il righello usato per leggere sia identico a quello usato per correggere, anche se il libro viene girato. Questo evita che il modello si confonda su se stesso.

• 🎲 Il Lancio della Moneta (Stochastic Rounding):
  Quando arrotondi un numero (es. 3.4 diventa 3), spesso lo fai sempre nello stesso modo. Questo crea un "bias" (un pregiudizio) che si accumula. NVIDIA ha detto: "Facciamo un lancio di moneta!". A volte arrotondiamo per eccesso, a volte per difetto, in modo casuale. Questo fa sì che gli errori si cancellino a vicenda nel lungo periodo, invece di accumularsi.

4. Il Risultato: Una Rivoluzione

Hanno provato questo metodo su un modello gigante (12 miliardi di parametri) addestrato su 10 trilioni di parole (una quantità di dati enorme, come leggere tutti i libri del mondo mille volte).

• Il confronto: Hanno messo a confronto il modello addestrato con il nuovo metodo (NVFP4) e uno addestrato con il metodo vecchio (FP8).
• La sorpresa: I risultati sono quasi identici. Il modello NVFP4 ha ottenuto lo stesso punteggio di intelligenza (ad esempio, nel rispondere a domande di cultura generale o matematica) del modello più lento e pesante.
• Il vantaggio: È stato fatto con metà della memoria e molta più velocità.

In Sintesi

NVIDIA ha dimostrato che possiamo costruire i cervelli artificiali del futuro usando "strumenti più leggeri" (4-bit), a patto di usare un sistema di guida molto intelligente (i 4 trucchi descritti).

È come se avessimo scoperto che per guidare una Formula 1 su una pista difficile non serve un motore enorme, ma basta un motore più piccolo se sai esattamente come sterzare, frenare e accelerare. Questo apre la porta a modelli più potenti, più veloci ed economici, che potranno girare anche su computer meno costosi in futuro.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del documento "Pretraining Large Language Models with NVFP4" di NVIDIA, redatto in italiano.

Titolo: Pretraining di Large Language Models con NVFP4

1. Il Problema

L'addestramento dei Large Language Models (LLM) di frontiera richiede investimenti massicci in termini di tempo, potenza di calcolo ed energia, spesso nell'ordine di decine o centinaia di yottaFLOP. Sebbene l'uso della precisione a 8 bit (FP8) sia ormai ampiamente adottato per migliorare l'efficienza, la transizione verso formati a precisione ancora più ridotta, come il 4-bit floating point (FP4), potrebbe sbloccare ulteriori guadagni significativi in termini di velocità computazionale (2-3 volte rispetto all'FP8) e riduzione dell'uso della memoria (metà rispetto all'FP8).

Tuttavia, la quantizzazione a 4 bit presenta sfide critiche:

• Instabilità dell'addestramento: La ridotta gamma dinamica porta a problemi di saturazione e perdita di informazioni.
• Convergenza: I modelli su larga scala addestrati su orizzonti di token lunghi (trilioni) tendono a divergere o a perdere accuratezza rispetto alle baseline a precisione più alta.
• Outlier: La presenza di valori anomali (outlier) nei tensori può degradare drasticamente le prestazioni quando compressi in 4 bit.
• Incoerenza: Le operazioni di quantizzazione devono essere coerenti tra il passaggio in avanti (forward) e quello all'indietro (backward) per rispettare la regola della catena nel calcolo dei gradienti.

2. Metodologia Proposta

NVIDIA introduce un approccio innovativo basato sul formato NVFP4 (un formato proprietario a 4 bit) combinato con una serie di tecniche di stabilizzazione per permettere l'addestramento stabile di modelli su larga scala.

A. Il Formato NVFP4
A differenza dei formati micro-scaling standard (come MXFP4), NVFP4 introduce miglioramenti strutturali:

• Dimensione del blocco ridotta: Passa da 32 elementi (MXFP4) a 16 elementi. Questo riduce la gamma dinamica interna al blocco, adattando meglio i valori al range FP4.
• Fattori di scala più precisi: Utilizza un fattore di scala a livello di blocco in formato E4M3 (invece di UE8M0), sacrificando parte della gamma esponenziale per guadagnare precisione nella mantissa.
• Scalatura a due livelli: Combina un fattore di scala FP32 a livello di tensore con il fattore di blocco E4M3. Questo permette di rappresentare almeno il 6,25% dei valori in un blocco (i valori di picco) con una precisione vicina all'FP8, mentre il resto rimane in FP4.

B. Tecniche di Addestramento Chiave
Per garantire la stabilità su modelli da 12 miliardi di parametri e 10 trilioni di token, il metodo integra quattro componenti fondamentali:

1. Precisione Mista Selettiva (Mixed Precision):

   • La maggior parte dei calcoli (GEMM nei layer lineari) avviene in NVFP4.
   • Tuttavia, i layer più sensibili (circa il 15% dei layer lineari, principalmente quelli finali e i primi due blocchi) vengono mantenuti in BF16 per prevenire la divergenza.
   • Embedding, normalizzazione, attenzione e stati dell'ottimizzatore rimangono in BF16/FP32.

2. Trasformate di Hadamard Casuali (Random Hadamard Transforms - RHT):

   • Utilizzate per distribuire gli outlier in una distribuzione approssimativamente gaussiana, rendendoli più gestibili per la quantizzazione a 4 bit.
   • Applicati specificamente agli input dei gradienti dei pesi (Wgrad) con matrici di dimensione 16x16. L'applicazione su Fprop o Dgrad non ha mostrato benefici significativi o ha peggiorato le prestazioni.

3. Scalatura a Blocchi 2D (2D Block Scaling):

   • Per risolvere il problema dell'incoerenza tra forward e backward pass (dove la trasposizione dei tensori cambia la dimensione del prodotto scalare), i pesi vengono raggruppati e scalati in blocchi 16x16.
   • Questo garantisce che la rappresentazione quantizzata dei pesi sia identica in entrambe le direzioni, preservando la correttezza della regola della catena.

4. Arrotondamento Stocastico (Stochastic Rounding):

   • Applicato esclusivamente ai gradienti durante la quantizzazione.
   • Riduce il bias sistematico introdotto dall'arrotondamento deterministico (es. round-to-nearest), che è particolarmente dannoso per i gradienti su orizzonti di addestramento lunghi.

3. Risultati Sperimentali

Gli autori hanno validato il metodo addestrando un modello ibrido Mamba-Transformer da 12 miliardi di parametri su 10 trilioni di token.

• Confronto con FP8: Il modello addestrato con NVFP4 ha mostrato una curva di perdita di validazione quasi identica a quella della baseline FP8. La differenza relativa di perdita è rimasta costantemente sotto l'1,5% durante la maggior parte dell'addestramento.
• Accuratezza sui Task: Le prestazioni sui benchmark downstream sono state comparabili:
  • MMLU-Pro: 62,58% (NVFP4) vs 62,62% (FP8).
  • MATH: 81,48% (NVFP4) vs 83,32% (FP8).
  • GSM8k: 92,27% (NVFP4) vs 89,08% (FP8).
  • L'unico settore con un leggero calo è stato il coding (MBPP+), probabilmente dovuto a rumore nella valutazione.
• Confronto con MXFP4: In esperimenti su un modello da 8 miliardi di parametri, NVFP4 ha raggiunto una perdita inferiore rispetto a MXFP4. Per eguagliare le prestazioni di NVFP4, MXFP4 ha richiesto circa il 36% in più di token di addestramento, evidenziando l'efficienza superiore di NVFP4.

4. Contributi Chiave

1. Prima dimostrazione pubblica: Questo è il primo addestramento documentato pubblicamente di un modello LLM da miliardi di parametri con precisione a 4 bit su un orizzonte di multi-trilioni di token.
2. Nuovo Formato (NVFP4): Introduzione e validazione di un formato FP4 ottimizzato con blocchi più piccoli e scalatura a due livelli, superiore ai formati micro-scaling standard.
3. Metodologia Completa: Definizione di un set di tecniche (RHT, 2D scaling, stochastic rounding, mixed precision) essenziali per la stabilità su larga scala, dimostrandosi che ogni componente è critico per la convergenza.
4. Supporto Hardware: Il lavoro è stato abilitato dai nuovi Tensor Core delle GPU NVIDIA Blackwell, che supportano nativamente le operazioni NVFP4 e le modalità di arrotondamento stocastico.

5. Significato e Impatto

Questo studio segna un passo fondamentale verso l'efficienza nell'addestramento dei LLM di prossima generazione.

• Efficienza: L'adozione di NVFP4 promette di ridurre drasticamente i costi energetici e i requisiti di memoria, permettendo di addestrare modelli più grandi o di ridurre i tempi di addestramento.
• Scalabilità: Dimostra che la precisione a 4 bit non è più limitata all'inferenza o a modelli piccoli, ma è fattibile per il pre-addestramento di modelli di frontiera.
• Futuro: Apre la strada a futuri lavori che potrebbero estendere queste tecniche a tutti i layer (rimuovendo la necessità di BF16), a modelli con architetture Mixture-of-Experts (MoE) e a scenari di post-training (SFT/RLHF).

In sintesi, NVIDIA ha dimostrato che, con le giuste tecniche algoritmiche e un formato dati ottimizzato, è possibile addestrare modelli LLM complessi con precisione a 4 bit senza sacrificare le prestazioni, aprendo la strada a un'era di addestramento più sostenibile e scalabile.