🤖 machine learning

Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention

Questo articolo introduce Full-Stack FP4, un framework modulare che estende la quantizzazione NVFP4 oltre le proiezioni lineari per includere stati degli ottimizzatori stabili, computazioni Root/Muon e attenzione a precisione mista, raggiungendo prestazioni di pretraining quasi equivalenti a BF16 con significativi guadagni in termini di memoria e velocità su una singola RTX 5090.

Autori originali: Siyu Ding, Mingchuan Ma, Jiabo Tong, Xingrun Xing, Ziming Wang, Guoqi Li

Pubblicato 2026-08-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Siyu Ding, Mingchuan Ma, Jiabo Tong, Xingrun Xing, Ziming Wang, Guoqi Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un enorme cervello digitale come parlare, scrivere e pensare. Questo "cervello" è un Modello di Linguaggio di Grandi Dimensioni (LLM), e per imparare deve elaborare montagne di informazioni. Ma c'è un problema: più impara, più diventa affamato di memoria del computer ed elettricità. È come cercare di riprodurre un film massiccio in alta definizione su un piccolo e vecchio laptop; lo schermo diventa sfocato e la ventola urla. Per risolvere questo problema, gli scienziati hanno cercato di rimpicciolire i numeri che il computer usa per fare i suoi calcoli. Invece di usare numeri super-precisi e pesanti (come una fotografia dettagliata), sono passati all'uso di numeri più piccoli e leggeri (come uno schizzo pixelato). Questo è chiamato "addestramento a bassa precisione". Recentemente, è arrivato un nuovo tipo di numero minuscolo chiamato "FP4" (floating point a 4 bit), che promette di rendere questi enormi cervelli molto più piccoli e veloci. Ma ecco il problema: mentre le parti principali del cervello possono gestire questi numeri minuscoli, le parti "ausiliarie" — come la memoria che conserva per l'apprendimento e i calcoli complessi che compie per comprendere le frasi — continuano a crashare o a confondersi quando costrette a usare numeri così piccoli. È come avere il motore di un'auto da corsa ma provare a farlo funzionare con la catena di una bicicletta; il motore è pronto, ma il resto della macchina non riesce a stare al passo.

Questo articolo introduce un ingegnoso nuovo kit di strumenti chiamato Full-Stack FP4, che agisce come un meccanico capo per questi cervelli digitali. I ricercatori si sono resi conto che non si possono usare le stesse regole dei numeri minuscoli per ogni singola parte del cervello. Alcune parti, come le connessioni principali, possono gestire i numeri minuscoli senza problemi. Ma altre parti, come la "memoria" che il computer usa per ricordare ciò che ha imparato ieri, sono molto sensibili e richiedono un tipo di cura speciale. Il team ha creato un sistema modulare in cui utilizzano diverse "ricette" per diverse parti del cervello. Per le connessioni principali, usano un trucco chiamato LoRA-SVD, che è come mantenere uno schizzo ad alta risoluzione dei dettagli più importanti mentre si usano blocchi pixelati per il resto. Per la memoria, hanno inventato un modo per "levigare" i numeri prima di schiacciarli in scatole minuscole, in modo che non vadano persi. Per la matematica che aiuta il cervello a concentrarsi sulle parole giuste (attenzione), hanno deciso di mantenere le parti più sensibili in alta definizione, lasciando che il resto rimanesse pixelato.

Quando hanno testato questo sistema completo su un modello da 3 miliardi di parametri (un cervello digitale di medie dimensioni) utilizzando 64 miliardi di parole di dati di addestramento, i risultati sono stati impressionanti. Il cervello "Full-Stack FP4" ha imparato quasi esattamente quanto la versione tradizionale ad alta intensità. La differenza nei loro punteggi di apprendimento è stata di un minuscolo 0,838%, un valore quasi impercettibile. Infatti, quando hanno testato quanto bene il cervello fosse capace di rispondere a domande che non aveva mai visto prima, la nuova versione a numeri minuscoli era addirittura leggermente migliore nel indovinare le parole giuste, anche se utilizzava molta meno memoria. Su una singola potente scheda grafica (una RTX 5090), questo nuovo metodo ha reso il processo di apprendimento del cervello da 2,5 a 2,8 volte più veloce per certi compiti e ha utilizzato dal 38% al 42% in meno di memoria rispetto al metodo standard ad alta precisione.

I ricercatori sottolineano con cautela che, sebbene questo funzioni bene per modelli fino a 3 miliardi di parametri, non hanno ancora dimostrato se funzionerà per cervelli ancora più grandi o per periodi di addestramento molto più lunghi. Hanno anche scoperto che non si possono semplicemente lanciare numeri minuscoli su tutto; se si prova a forzare le parti più sensibili del cervello a usare i numeri più piccoli senza queste ricette speciali, l'apprendimento si interrompe. Ma per ora, questo approccio "Full-Stack" mostra che possiamo costruire un'IA più intelligente, veloce ed economica trattando le diverse parti del cervello con il livello di precisione di cui hanno effettivamente bisogno, invece di forzare l'intero sistema a essere "taglia unica".

Riepilogo Tecnico: Full-Stack FP4: Pretraining di LLM Stabile con Proiezioni, Ottimizzatori e Attention Quantizzati

1. Definizione del Problema

I recenti progressi nelle GPU NVIDIA Blackwell hanno reso il supporto nativo ai Tensor Core NVFP4 (4-bit) un obiettivo pratico per il pretraining di Large Language Model (LLM). Sebbene la ricerca esistente abbia dimostrato con successo il pretraining a 4-bit stabile per le proiezioni lineari dei Transformer, rimangono lacune significative in altri moduli critici di addestramento. La maggior parte delle attuali ricette NVFP4 mantiene una precisione superiore (ad esempio, BF16 o FP8) per gli stati dell'ottimizzatore, i calcoli dell'ottimizzatore e i meccanismi di attenzione.

La sfida principale è che questi moduli possied ability strutture numeriche distinte che una regola di quantizzazione uniforme non può affrontare:

Proiezioni Lineari: I segnali del gradiente si indeboliscono durante l'addestramento mentre il rumore di quantizzazione rimane costante, riducendo l'efficacia del continuo addestramento a bassa precisione.
Stati AdamW: Il momento del secondo istante è non negativo, a coda pesante, persistente e sensibile ai valori del denominatore, rendendo l'archiviazione diretta a 4-bit soggetta a distorsioni.
Ottimizzatori Root/Muon: Questi si basano su prodotti di matrici Newton–Schulz ripetuti dove gli errori di iterazione a bassa precisione possono accumularsi e destabilizzare la convergenza.
Attention: L'operatore contiene percorsi sensibili alla softmax (ad esempio, $PV$, $dOV^\top$ ) che richiedono alta precisione, mentre altri percorsi (ad esempio, $QK^\top$ ) sono più robusti alla quantizzazione.

Di conseguenza, manca un framework unificato e modulare che consenta un pretraining NVFP4 nativo e stabile su l'intero stack di addestramento (proiezioni, ottimizzatori e attention) senza fare affidamento su fallback a precisione mista per i componenti critici.

2. Metodologia: Full-Stack FP4

Gli autori presentano Full-Stack FP4, un framework modulare composto da quattro ricette indipendenti e composibili progettate per affrontare le specifiche difficoltà numeriche di ciascun modulo di addestramento.

2.1 Proiezioni Lineari LoRA-SVD

Per mitigare il degrado dei segnali del gradiente nelle fasi avanzate dell'addestramento, gli autori propongono LoRA-SVD.

Meccanismo: Questo metodo parametrizza i pesi come $W = W_{res} + \beta L_2 L_1$ . Mantiene un sottospazio principale compatto ( $L_2 L_1$ ) in BF16 mentre calcola il residuo dominante ( $W_{res}$ ) in NVFP4.
Passaggio Backward: Un passaggio backward vincolato al sottospazio utilizza un vincolo Cholesky-QR per garantire che gli aggiornamenti del ramo low-rank in BF16 siano allineati con il sottospazio principale, mentre il residuo aggiorna la componente NVFP4.
Riallineamento: Il sottospazio viene periodicamente riallineato (ogni 2.048 step) utilizzando la SVD randomizzata per resettare le componenti, garantendo che il sottospazio BF16 rimanga ottimale.

2.2 AdamW a Stato Quantizzato (Q-AdamW)

Per stabilizzare l'archiviazione degli stati di momentum persistenti e a coda pesante in NVFP4:

Primo Istante ( $m_t$ ): Applica il mixing di Hadamard per smussare la distribuzione prima della Stochastic Rounding (SR) e della quantizzazione adattiva a 4/6 bit.
Secondo Istante ( $v_t$ ): Utilizza una pipeline di pre-elaborazione in tre fasi prima dell'archiviazione in NVFP4:
1. Radice Quadrata: Accorcia la coda pesante.
2. Tile Mean: Separa la componente comune positiva (archiviata in BF16) da un residuo approssimativamente a media nulla.
3. Trasformata di Hadamard: Distribuisce l'energia localizzata nel residuo per renderlo più simmetrico.
Ricostruzione: Lo stato viene ricostruito invertendo la trasformata e la separazione della media, quindi elevando al quadrato il risultato. Questa pipeline evita la necessità di operazioni di sottospazio basate su SVD.

2.3 Ottimizzatore Root NVFP4 (Q-Root)

Per le iterazioni Newton–Schulz (NS) utilizzate nell'ottimizzatore Root:

Esecuzione Diretta NVFP4: Invece di una via a precisione mista, i prodotti di matrici NS sono eseguiti direttamente in NVFP4.
Stabilizzazione: La stabilità è ottenuta attraverso coefficienti dipendenti dalla forma (coefficienti $a, b, c$ ottimizzati per specifici rapporti di aspetto delle matrici) e clipping p99 outlier. Questo approccio limita l'amplificazione dell'errore attraverso i successivi passi NS senza richiedere percorsi ausiliari a precisione mista.

2.4 Attention a Precisione Mista (Q-Attn)

Per bilanciare precisione ed efficienza nell'attention:

Divisione della Precisione: Il framework assegna NVFP4 ai percorsi robusti ( $QK^\top$ e $dS$) e mantiene BF16 per i percorsi sensibili alla softmax ($PV$, $P^\top dO$ , e $dOV^\top$ ).
Consistenza: Le viste quantizzate di $Q, K, V$ sono riutilizzate tra i passaggi forward e backward per garantire la consistenza del tensore ed evitare traffico di memoria ridondante.

3. Contributi Chiave

Proiezioni LoRA-SVD: Una riparametrizzazione combinabile che riduce il gap di perdita della sola componente lineare dal 1,40% allo 0,61% rispetto allo standard NVFP4, proteggendo un sottospazio compatto in BF16.
AdamW a Stato Quantizzato: La prima dimostrazione di archiviazione stabile dello stato di momentum AdamW in NVFP4 in una sessione di pretraining integrata, utilizzando una pipeline di stato trasformato che riduce l'errore di ricostruzione del secondo istante di circa il 60%.
Root NVFP4: Un percorso diretto Newton–Schulz a bassa precisione abilitato da coefficienti consapevoli della forma e clipping, che riduce l'errore di iterazione dal ~10% al ~3%.
Attention a Precisione Mista Addestrabile: Una strategia che protegge i percorsi sensibili alla softmax in BF16 pur quantizzando i percorsi forward e backward idonei, consentendo un operatore di pretraining consistente in NVFP4.

4. Risultati Sperimentali

Gli autori hanno valutato il framework su un Transformer da 3 miliardi di parametri addestrato su 64 miliardi di token.

Perdita di Addestramento (Training Loss): Il baseline BF16 ha raggiunto una perdita di 2,267, mentre Full-Stack FP4 ha raggiunto 2,286, con un gap relativo dello 0,838%.
Performance Downstream: La valutazione zero-shot ha mostrato che Full-Stack FP4 ha una perplexity media di 26,665 (rispetto a 26,675 per BF16) e un'accuratezza media di 0,10 punti percentuali inferiore rispetto al baseline BF16.
Studi di Ablazione:
- LoRA-SVD da solo ha ridotto il gap di perdita della sola componente lineare dal 1,40% allo 0,61%.
- Le ricette modulari possono essere abilitate indipendentemente o combinate, con "Full-Stack" che rappresenta la copertura aggregata.
Efficienza Hardware Nativa (RTX 5090):
- Accelerazione Root: Full-Stack FP4 ha ottenuto accelerazioni da 2,50× a 2,83× rispetto a BF16 ottimizzato e da 1,83× a 2,17× rispetto a NVIDIA Transformer Engine (TE) per lo step dell'ottimizzatore Root.
- Risparmio di Memoria: Il framework ha ridotto il picco di memoria AdamW del 37,9%–42,5% rispetto a BF16.
- Risparmio di Tempo: I risparmi di tempo a perdita equivalente sono stati calcolati tra il 56,9% e il 61,9%, tenendo conto del tempo ridotto per step e del leggero aumento di token necessari per eguagliare la perdita BF16.

5. Significato e Limitazioni

Significato:
Il paper dimostra che un approccio "Full-Stack" al pretraining NVFP4 è fattibile, coprendo proiezioni, stati dell'ottimizzatore, calcolo dell'ottimizzatore e attention. Stabilisce che il pretraining nativo a 4-bit può raggiungere prestazioni comparabili a BF16 (entro un gap di perdita <1%) offrendo al contempo sostanziosi benefici di memoria e throughput su hardware di classe Blackwell. Il lavoro fornisce un set di ricette modulari che consente ai professionisti di adottare la bassa precisione in modo incrementale.

Limitazioni:

Scala: Gli esperimenti sono limitati a modelli fino a 3 miliardi di parametri e 64 miliardi di token. Il paper non stabilisce il comportamento a scale di 7B+ o su orizzonti di addestramento più lunghi.
Misurazione dell'Efficienza: L'efficienza hardware nativa è stata misurata su quattro blocchi decoder su una singola RTX 5090, non su un modello distribuito completo.
Stime: I calcoli del risparmio di tempo sono stime cross-setting basate su batch size fisse e non tengono conto dei potenziali guadagni di throughput derivanti dall'aumento della batch size utilizzando la memoria liberata.
Fusione dei Kernel: Alcuni kernel (LoRA backward, attention) non sono ancora completamente fusi, e l'implementazione non utilizza ancora tutte le ottimizzazioni di FlashAttention-4.
Specificità del Formato: Le ricette e le misurazioni sono specifiche per NVFP4 e non rivendicano trasferibilità a MXFP4.