🤖 AI

TetraJet-v2: Accurate NVFP4 Training for Large Language Models with Oscillation Suppression and Outlier Control

TetraJet-v2 è un metodo di training completamente quantizzato a 4 bit end-to-end per i Large Language Models che utilizza la precisione NVFP4 su tutti i livelli lineari e introduce OsciReset e OutControl per sopprimere efficacemente le oscillazioni dei pesi e controllare gli outlier, ottenendo così prestazioni quasi senza perdita con significativi aumenti di velocità rispetto a FP8.

Autori originali: Yuxiang Chen, Yifan Liu, Xiaoming Xu, Pengle Zhang, Michael Beyer, Martin Rapp, Jun Zhu, Jianfei Chen

Pubblicato 2026-05-06

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yuxiang Chen, Yifan Liu, Xiaoming Xu, Pengle Zhang, Michael Beyer, Martin Rapp, Jun Zhu, Jianfei Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a uno studente gigante e brillante (un Modello Linguistico di grandi dimensioni) una quantità enorme di informazioni. Di solito, per farlo in modo efficace, hai bisogno di un'aula di alta qualità e costosa, con illuminazione perfetta e lavagne giganti (calcolo ad alta precisione). Questo costa una fortuna in termini di elettricità e hardware.

Il documento introduce un nuovo metodo chiamato TetraJet-v2 che cerca di insegnare allo stesso studente utilizzando un'aula minuscola e a basso costo, con una piccola lavagna a gesso e luci soffuse (precisione a 4 bit). L'obiettivo è rendere il processo di addestramento 1,67 volte più veloce e molto più economico, senza che lo studente impari cose sbagliate o dimentichi ciò che ha appena appreso.

Ecco come hanno risolto i problemi che solitamente si verificano quando si cerca di insegnare in un'aula di tale "bassa qualità":

1. Il Problema: La "Mano Instabile" (Oscillazione dei Pesi)

Immagina che lo studente stia cercando di scrivere un numero sulla lavagna a gesso. In un'aula perfetta, può scrivere "0,25" esattamente. Ma in questa aula a bassa precisione, può scrivere solo numeri interi o numeri con mezzo (come 0 o 0,5).

Se la risposta vera dello studente è esattamente a metà (0,25), la sua mano inizia a tremare. Un momento scrive "0", il successivo scrive "0,5", poi torna a "0". È bloccato in un ciclo, rimbalzando avanti e indietro. Nel documento, questo viene chiamato Oscillazione dei Pesi. Spreca energia e impedisce allo studente di stabilizzarsi mai sulla risposta corretta.

La Soluzione: OsciReset (Il Trucco del "Centraggio")
Gli autori hanno inventato una tecnica chiamata OsciReset. Immagina un insegnante che osserva la mano dello studente. Non appena vede che lo studente inizia a tremare tra due opzioni, l'insegnante afferra delicatamente il gesso e lo posiziona esattamente al centro della zona sicura (il "centro del contenitore").

Perché funziona: Ferma immediatamente il tremore. Non blocca lo studente (il che fermerebbe l'apprendimento); gli fornisce semplicemente un punto di partenza stabile per continuare ad apprendere in una nuova direzione più fluida. Questa è la prima volta che questo specifico problema di "tremore" viene risolto per questi modelli giganti.

2. Il Problema: Gli "Urlatori Forti" (Outlier)

In un'aula normale, la maggior parte degli studenti parla a un volume normale. Ma in questi modelli giganti, alcune specifiche "canali" (immaginali come microfoni specifici) iniziano improvvisamente a urlare al volume massimo. Questi sono chiamati Outlier.

Poiché la lavagna è così piccola (bassa precisione), se un microfono urla troppo forte, l'insegnante deve abbassare il volume per tutti gli altri affinché quello che urla non rompa la lavagna. Questo significa che i sussurri silenziosi ma importanti degli altri studenti vengono persi nel rumore.

La Soluzione: OutControl (I "Microfoni VIP")
Gli autori hanno realizzato che questi microfoni urlanti sono prevedibili; sono sempre gli stessi pochi canali. Quindi, hanno creato un sistema chiamato OutControl.

Come funziona: Identificano i "microfoni VIP" (gli outlier) all'inizio e forniscono loro un proprio microfono speciale e di alta qualità (mantenendoli in un formato a precisione più elevata come FP8). Il resto degli studenti continua a usare la piccola lavagna economica (FP4).
Risultato: L'urlatore forte non costringe ad abbassare il volume per tutti gli altri, quindi i sussurri silenziosi vengono ancora ascoltati chiaramente.

3. La Lavagna a "Doppio Blocco"

Per assicurarsi che la matematica funzioni perfettamente su questa piccola lavagna, hanno ridisegnato il modo in cui i numeri vengono scritti. Invece di cercare di far stare un numero enorme in un singolo quadratino, utilizzano un sistema a Doppio Blocco.

Immagina un grande gruppo di studenti (un blocco di 128) che condivide un'unica grande riga (una scala globale), ma all'interno di quel gruppo sono divisi in squadre più piccole di 16, ognuna con la propria piccola riga. Questo permette loro di gestire sia numeri molto piccoli che numeri molto grandi senza perdere accuratezza.

I Risultati

Quando hanno messo insieme tutti questi trucchi (il trucco del centraggio, i microfoni VIP e la lavagna a doppio blocco):

Velocità: Hanno addestrato i modelli 1,67 volte più velocemente rispetto allo standard attuale (FP8).
Accuratezza: I modelli hanno appreso quasi altrettanto bene come se fossero stati addestrati nell'aula costosa ad alta precisione. Hanno ridotto il divario di prestazioni tra il metodo economico e quello costoso di oltre il 50%.
Scalabilità: Hanno testato questo metodo su modelli fino a 370 milioni di parametri, addestrandoli su oltre 200 miliardi di parole.

In sintesi: TetraJet-v2 è un nuovo insieme di regole che ci permette di addestrare modelli di IA giganti su hardware molto più economico e veloce, impedendo loro di tremare, proteggendo le voci forti e organizzando la lavagna in modo più efficiente.

Riepilogo Tecnico: TetraJet-v2

1. Enunciato del Problema

Il pre-addestramento dei Large Language Model (LLM) sta diventando sempre più proibitivamente costoso, spingendo la necessità di un Addestramento Completamente Quantizzato a Bassa Precisione (FQT). Sebbene i formati a 4 bit come NVFP4 offrano significativi guadagni di efficienza rispetto a FP8 e BF16, raggiungere un addestramento stabile e quasi privo di perdite a questa precisione rimane una sfida critica. I tentativi precedenti di addestramento completamente a 4 bit hanno subito gravi degradazioni delle prestazioni.

Gli autori identificano due colli di bottiglia primari nell'ottimizzazione che ostacolano l'addestramento completamente in FP4, distinti dal semplice errore di quantizzazione:

Oscillazione dei Pesi: Una modalità di fallimento dominante in cui piccoli aggiornamenti ai pesi master ad alta precisione causano le loro rappresentazioni quantizzate a ribaltarsi ripetutamente tra bin adiacenti (ad esempio, tra 0 e 0,5). Questo fenomeno interrompe l'ottimizzazione, in particolare man mano che i tassi di apprendimento decadono, impedendo al modello di convergere verso un minimo locale stabile.
Caratteristiche Estreme (Outlier): Un piccolo numero di canali di attivazione mostra magnitudini massive, creando intervalli dinamici che l'FP4 non può rappresentare accuratamente. Ciò porta a fattori di scala elevati che schiacciano la precisione dei valori più piccoli all'interno dello stesso gruppo di quantizzazione.

I metodi esistenti, come la ricetta NVFP4 di NVIDIA, spesso si affidano alla precisione mista (mantenendo alcuni blocchi in BF16) o non riescono ad affrontare completamente queste dinamiche di ottimizzazione in un contesto di pre-addestramento da zero.

2. Metodologia: TetraJet-v2

TetraJet-v2 è un metodo FQT end-to-end a 4 bit progettato specificamente per NVFP4, applicando il formato ad attivazioni, pesi e gradienti in tutti i livelli lineari. La metodologia affronta i colli di bottiglia identificati attraverso tre componenti principali:

A. Quantizzazione a Doppio Blocco Non Sbagliata per Livelli Lineari NVFP4

Per massimizzare l'accuratezza entro i vincoli numerici di NVFP4 (che utilizza gruppi da 16 elementi con scala a 8 bit), gli autori propongono uno schema di quantizzazione a doppio blocco:

Struttura: Un blocco esterno di 128 elementi è scalato globalmente, mentre i blocchi interni di 16 elementi sono scalati localmente. Questo evita il calcolo del valore assoluto massimo su tutto il tensore, migliorando la compatibilità hardware e l'accuratezza rispetto alla scalatura per tensore.
Stima del Gradiente Non Sbagliata: Il design del livello lineare garantisce una stima del gradiente non sbagliata mediante:
- Allineamento dei tensori nel passaggio inverso (stimando $\hat{X}$ invece di $X$ ).
- Utilizzo dell'Arrotondamento Stocastico nel passaggio inverso per garantire $E[\text{round}(x)] = x$ , prevenendo il bias nelle aspettative del gradiente.
- Adozione di una forma di gruppo pesi $1 \times 16$ (non quadrata) per una maggiore accuratezza, richiedendo un allineamento specifico per la matrice dei pesi trasposta.

B. OsciReset: Soppressione dell'Oscillazione

Per affrontare l'oscillazione dei pesi, gli autori introducono OsciReset, il primo algoritmo specificamente progettato per sopprimere questo collo di bottiglia nel pre-addestramento degli LLM.

Rilevamento: Il metodo traccia la traiettoria di ottimizzazione dei pesi, calcolando una metrica "Rischio di Oscillazione" definita come il rapporto tra la distanza percorsa dal peso quantizzato ( $dist_Q$ ) e la distanza percorsa dal peso master ( $dist_M$ ). Un rischio elevato indica che un peso sta ribaltando i bin nonostante piccoli aggiornamenti del peso master.
Meccanismo: Quando il tasso di apprendimento è basso e il rischio di oscillazione supera una soglia, il peso master dell'elemento oscillante viene reset al centro del suo attuale bin di quantizzazione.
Vantaggio: A differenza dei metodi precedenti che congelano i pesi o utilizzano una regolarizzazione pesante (che danneggiano l'ottimizzazione globale), OsciReset permette al peso di continuare a ottimizzare su una nuova traiettoria meno soggetta a oscillazioni, senza degradare immediatamente le prestazioni.

C. OutControl: Controllo delle Caratteristiche Estreme

Per gestire le caratteristiche estreme, TetraJet-v2 impiega una strategia ibrida:

Trasformazione Hadamard Casuale (RHT): Applicata ai calcoli del passaggio inverso ($dX $e$ dW$) per distribuire l'energia delle caratteristiche estreme in modo più uniforme tra i canali, mitigando la varianza di quantizzazione.
Mantenimento Statico delle Caratteristiche Estreme: Riconoscendo che i canali delle caratteristiche estreme sono strutturalmente coerenti (canali specifici hanno sempre norme elevate), il metodo identifica i primi $p\%$ (ad esempio, il 10%) di canali di caratteristiche estreme durante una breve finestra di calibrazione. Questi canali sono mantenuti in precisione superiore (ad esempio, FP8) sia per il passaggio in avanti che per quello inverso, mentre il resto della rete rimane in FP4. Questa selezione statica evita l'overhead computazionale degli aggiustamenti dinamici per batch.

3. Contributi Chiave

Quantizzazione a Doppio Blocco Non Sbagliata: Un nuovo design di livello lineare NVFP4 con stima del gradiente non sbagliata e forme di blocco ottimali ( $1 \times 16$ ) per gli LLM, che supera le ricette NVFP4 esistenti.
OsciReset: Il primo algoritmo efficace per sopprimere l'oscillazione dei pesi negli LLM durante il pre-addestramento, risolvendo una fonte primaria di instabilità nell'addestramento a basso numero di bit.
OutControl: Un algoritmo a precisione mista che combina RHT per il passaggio inverso con il mantenimento statico delle caratteristiche estreme per entrambi i passaggi in avanti e inverso per preservare l'accuratezza.
Valutazione Completa: Esperimenti estesi di pre-addestramento sui modelli OLMo-2 (fino a 370 milioni di parametri, 212 miliardi di token) che dimostrano l'efficacia dell'intera pila tecnologica.

4. Risultati Sperimentali

Gli autori hanno valutato TetraJet-v2 su modelli OLMo-2 (70M, 150M e 370M parametri) addestrati da zero.

Riduzione del Divario di Prestazione: TetraJet-v2-full (che incorpora tutti i metodi proposti) ha ridotto il divario di prestazione rispetto all'addestramento in piena precisione (BF16) di una media del 51,3% tra le diverse dimensioni del modello.
Perplessità (PPL): Sul modello da 370M addestrato con 212 miliardi di token, TetraJet-v2-full ha raggiunto una PPL di validazione di 25,11, rispetto a 23,70 per BF16 e 26,20 per la baseline NVFP4 di NVIDIA.
Compiti a valle: Il metodo ha raggiunto la prestazione media più alta tra tutti i metodi FP4 su una serie di benchmark (ARC, BoolQ, MMLU, ecc.), con un modello da 370M che ha raggiunto una precisione media del 43,60%.
Efficienza: Le implementazioni dei kernel CUDA hanno raggiunto un accelerazione end-to-end di 1,67× rispetto a FP8 (TransformerEngine) sull'hardware RTX 5090, verificando guadagni pratici di prestazioni nonostante la complessità aggiuntiva della soppressione dell'oscillazione e del controllo delle caratteristiche estreme.
Studi di Ablazione:
- La rimozione di OsciReset ha portato a una grave degradazione delle prestazioni e a un rimbalzo della perdita.
- OutControl ha migliorato l'accuratezza sia nel passaggio in avanti che in quello inverso.
- Il metodo è risultato robusto rispetto alle scelte degli iperparametri (ad esempio, soglia di oscillazione, tempo di inizio).

5. Significato e Affermazioni

Il documento afferma che TetraJet-v2 rappresenta un passo significativo verso la realizzazione di un pre-addestramento completamente a basso numero di bit (4 bit) degli LLM, rendendolo vitale e competitivo con l'addestramento ad alta precisione.

Ottimizzazione vs. Rappresentazione: Gli autori sottolineano che il divario di prestazioni nell'addestramento a basso numero di bit non è dovuto esclusivamente all'errore di quantizzazione (rappresentazione), ma è criticamente guidato da problemi di ottimizzazione (oscillazione e caratteristiche estreme) che i metodi precedenti non hanno affrontato sistematicamente.
Generalizzabilità: A differenza delle precedenti tecniche di mitigazione dell'oscillazione progettate per i Vision Transformers (che spesso si affidano al fine-tuning o a specifici aggiustamenti degli iperparametri), OsciReset è presentato come un metodo semplice ed efficace applicabile al pre-addestramento degli LLM da zero con una minima sintonizzazione.
Praticità: Raggiungendo un accelerazione di 1,67× rispetto a FP8 mentre riduce il divario di accuratezza con BF16 di oltre il 50%, il lavoro dimostra che l'addestramento completamente quantizzato può offrire sia efficienza computazionale che qualità del modello, potenzialmente riducendo i costi hardware ed energetici della ricerca sui modelli fondazionali.

Gli autori riconoscono le limitazioni riguardanti la scala dei loro esperimenti (fino a 370 milioni di parametri) e l'attuale mancanza di supporto hardware mainstream per strategie a precisione mista come FP6 $\times$ FP4, che hanno esplorato come una potenziale direzione futura per ulteriori guadagni di accuratezza.