💬 NLP

Four Over Six: More Accurate NVFP4 Quantization with Adaptive Block Scaling

Questo articolo introduce "Four Over Six" (4/6), una tecnica adattiva di ridimensionamento dei blocchi per la quantizzazione NVFP4 che riduce l'errore di quantizzazione regolando dinamicamente le scale dei blocchi per gestire meglio i valori elevati, ottenendo così prestazioni di addestramento e inferenza più vicine a BF16 con un sovraccarico computazionale minimo.

Autori originali: Jack Cook, Junxian Guo, Guangxuan Xiao, Yujun Lin, Song Han

Pubblicato 2026-05-08

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jack Cook, Junxian Guo, Guangxuan Xiao, Yujun Lin, Song Han

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover impacchettare un'immensa biblioteca di libri in una valigetta portatile minuscola. I libri rappresentano il "cervello" di un Modello Linguistico di grandi dimensioni (AI), e la valigetta rappresenta la memoria del computer. Per farci stare tutto, devi rimpicciolire i libri.

Per molto tempo, abbiamo utilizzato un metodo chiamato BF16 (un formato standard ad alta precisione) che è come impacchettare i libri in scatole robuste e pesanti. È preciso, ma la valigetta si riempie velocemente. Recentemente, gli ingegneri hanno provato a passare a NVFP4, un formato molto più piccolo. Pensa a NVFP4 come a un set di scatole di origami minuscole e leggere. Ne entrano molte più libri nella valigetta e fanno funzionare l'AI più velocemente, ma c'è un inconveniente: poiché le scatole sono così piccole, alcuni dei "grandi" libri vengono schiacciati, accartocciati o perdono le pagine. Questo "accartocciamento" è chiamato errore di quantizzazione e fa sì che l'AI commetta errori.

Il Problema: Il "Bordo Ruvido" delle Scatole Piccole

Il documento spiega che NVFP4 ha una stranezza specifica. Ha dimensioni specifiche che può contenere: 0,5, 1, 1,5, 2, 3, 4 e 6.

Se un libro è esattamente di dimensione 4, entra perfettamente.
Se un libro è di dimensione 5, non entra. Devi forzarlo nella scatola di dimensione 4 o in quella di dimensione 6.
Se forzi un libro di dimensione 5 nella scatola di dimensione 4, perdi molte informazioni (viene schiacciato). Se lo forzi nella scatola di dimensione 6, sprechi molto spazio (rimbalza dentro).

Gli autori hanno scoperto che lo "schiacciamento" avviene più spesso con i libri che sono quasi grandi quanto la scatola più grande (i valori "quasi massimali"). Nel metodo standard, la valigetta è dimensionata per contenere il libro assolutamente più grande possibile (dimensione 6). Ma questo lascia un enorme spazio vuoto dove i libri di dimensione 5 vengono schiacciati pesantemente.

La Soluzione: "Quattro su Sei" (4/6)

Gli autori, Jack Cook e il suo team, hanno escogitato un trucco intelligente chiamato Quattro su Sei.

Immagina di impacchettare una valigetta. Invece di forzare ogni singolo oggetto per adattarlo a una scatola "Dimensione 6", guardi ogni gruppo di oggetti.

Il Vecchio Modo: Assumi che ogni gruppo abbia bisogno di una scatola "Dimensione 6". Se un gruppo ha un libro di dimensione 5, lo schiacci.
Il Modo 4/6: Controlli il gruppo. Se il libro più grande in quel gruppo specifico è solo di dimensione 5, dici: "Ok, non abbiamo bisogno di una scatola Dimensione 6 per questo gruppo. Usiamo invece una scatola Dimensione 4".

Passando a una scatola più piccola "Dimensione 4" per quel gruppo specifico, il libro "Dimensione 5" (che ora è relativamente più piccolo rispetto al limite della scatola) entra molto più comodamente. Non viene più schiacciato contro il bordo.

L'Analogia:
Pensa a un personaggio di un videogioco che salta.

NVFP4 Standard: Il gioco assume che il personaggio possa saltare fino a 10 piedi. Se prova a saltare 9 piedi, il gioco lo arrotonda a 8 piedi (una grande caduta).
Metodo 4/6: Il gioco controlla il livello specifico. Se la piattaforma più alta è alta solo 6 piedi, cambia il "limite di salto" a 6 piedi. Ora, un salto di 5 piedi viene arrotondato a 6 piedi (o 4 piedi) molto più accuratamente. Il personaggio non cade così lontano.

Come Funziona nella Pratica

Il documento descrive un algoritmo intelligente che esamina ogni piccolo frammento di dati (chiamato "blocco") prima di impacchettarlo:

Prova a impacchettare il frammento in una scatola "Dimensione 6" e calcola quante informazioni vengono perse.
Prova a impacchettare lo stesso frammento in una scatola "Dimensione 4" e calcola la perdita.
Sceglie la scatola che causa meno danni (meno errore).

Di solito, per i frammenti con numeri molto grandi, la scatola "Dimensione 4" è la vincitrice perché fa adattarsi meglio i numeri "quasi massimali".

I Risultati

Il team ha testato questo su un modello AI massiccio chiamato Nemotron 3 Nano (30 miliardi di parametri).

Addestramento: Quando hanno addestrato l'AI usando 4/6, l'AI ha imparato meglio e ha commesso meno errori rispetto al metodo NVFP4 standard. Si è avvicinata molto di più alle prestazioni del metodo pesante e lento "BF16", ma ha mantenuto i vantaggi di velocità e dimensione di NVFP4.
Velocità: Hanno dimostrato che questo "impacchettamento intelligente" non rallenta il computer. Aggiunge meno del 15% di lavoro in più, che è un prezzo minimo da pagare per una precisione molto migliore.
Modelli Esistenti: Hanno anche provato questo su modelli già addestrati (come Llama e Qwen). Anche senza ri-addestramento, l'uso di 4/6 ha reso questi modelli più intelligenti e più precisi in test come la comprensione del testo e i puzzle logici.

La Conclusione

Il documento afferma che essendo semplicemente più intelligenti su quale dimensione di scatola usare per diversi gruppi di dati—usando a volte un "4" invece di un "6"—si può fermare lo "schiacciamento" di informazioni importanti. Questo rende l'AI a bassa precisione (NVFP4) molto più accurata, permettendoci di eseguire modelli AI più grandi e veloci sull'hardware attuale senza che perdano il loro "potere cerebrale".

Hanno persino rilasciato il codice (kernel) in modo che altri possano utilizzare questo metodo di "impacchettamento intelligente" sulle nuove GPU Blackwell di NVIDIA.

Riepilogo Tecnico: Four Over Six (4/6)

Enunciato del Problema

Con la scalatura dei Large Language Models (LLM), cresce l'interesse per formati numerici a bassa precisione come NVFP4, al fine di migliorare la velocità di addestramento e ridurre l'utilizzo della memoria. Tuttavia, la quantizzazione dei modelli in NVFP4 rimane una sfida a causa della perdita di precisione, che degrada le prestazioni del modello.

Il problema centrale identificato in questo lavoro è la dimensione del passo non uniforme intrinseca ai formati in virgola mobile. A differenza dei formati interi, FP4 (nello specifico E2M1) presenta dimensioni del passo dinamiche: 0,5 tra 0 e 2, 1 tra 2 e 4 e 2 tra 4 e 6. Nella quantizzazione in blocchi NVFP4 standard, i valori vengono scalati all'intervallo completo di [-6, 6]. Ciò crea un significativo gap di quantizzazione per i valori vicini al massimo. Nello specifico, quando il valore massimo di un blocco viene scalato a 6, il valore rappresentabile in FP4 "4" corrisponde solo al 66,6% della magnitudine massima del blocco. Di conseguenza, qualsiasi valore compreso tra il 66,6% e il 100% della magnitudine massima del blocco non può essere rappresentato con precisione, portando a grandi errori di quantizzazione per questi valori vicini al massimo.

L'analisi degli autori su Llama-3.1-8B indica che, sebbene gli errori di quantizzazione del fattore di scala abbiano un impatto minimo, l'errore introdotto dall'arrotondamento dei valori vicini al massimo (nello specifico intorno a un valore scalato di 5) è il principale motore del degrado delle prestazioni nei modelli quantizzati in NVFP4.

Metodologia: Four Over Six (4/6)

Il documento introduce Four Over Six (4/6), una modifica all'algoritmo di quantizzazione in blocchi NVFP4 progettata per ridurre l'errore di quantizzazione per i valori vicini al massimo.

Meccanismo Principale

Invece di scalare uniformemente tutti i blocchi al valore massimo FP4 di 6, 4/6 scala adattivamente blocchi specifici fino a un massimo di 4.

NVFP4 Standard (Scala = 6): I valori sono distribuiti su [-6, 6]. Il gap tra i valori rappresentabili 4 e 6 è di 2 unità.
4/6 (Scala = 4): Per i blocchi selezionati, i valori sono distribuiti su [-4, 4]. Il gap tra i valori rappresentabili 3 e 4 è di 1 unità.

Sacrificando la capacità di rappresentare i valori estremi di 5 e 6 in blocchi specifici, il metodo consente una distribuzione più uniforme dei valori rappresentabili nell'intervallo dal 75% al 100% della magnitudine del blocco. Ad esempio, un valore che rappresenta il 75% del massimo di un blocco può essere rappresentato esattamente come "3" in un blocco con scala 4, mentre cadrebbe in un grande gap di errore in un blocco con scala 6.

Algoritmo di Scalatura Adattiva dei Blocchi

Poiché scalare tutti i blocchi a 4 non è universalmente vantaggioso (in quanto riduce l'intervallo dinamico del blocco del 50% rispetto alla scalatura a 6), il metodo impiega un processo di selezione adattiva:

Quantizzazione Doppia: Per ogni blocco, l'algoritmo quantizza i valori due volte: una volta con un fattore di scala di 6 e una volta con un fattore di scala di 4.
Calcolo dell'Errore: L'errore di quantizzazione per entrambe le versioni viene calcolato rispetto ai valori originali ad alta precisione.
Regola di Selezione: L'algoritmo seleziona la scala (4 o 6) che minimizza l'errore. Il documento valuta tre regole di selezione:
- Errore Massimo Minimo
- Errore Assoluto Medio Minimo (MAE)
- Errore Quadratico Medio Minimo (MSE)
- Risultato: Per la Quantizzazione Post-Addestramento (PTQ), MSE produce i migliori risultati. Per il Pre-Addestramento, MAE performa leggermente meglio.

Dettagli di Implementazione

Regolazione della Scala del Tensor: Per prevenire l'overflow nei fattori di scala FP8 E4M3 quando un blocco è scalato a 4 (il che richiede un fattore di scala 1,5 volte più grande rispetto a un blocco scalato a 6), la scala globale del tensor $\alpha$ viene calcolata utilizzando un valore FP8 massimo di 256 invece del standard 448.
Efficienza Hardware: Il metodo è implementato utilizzando le istruzioni PTX della GPU NVIDIA Blackwell (famiglia cvt) all'interno di un kernel CUDA. Tutti i valori intermedi e i calcoli degli errori sono mantenuti nel registro file per minimizzare il sovraccarico di accesso alla memoria.
Sovraccarico: Gli autori riportano che 4/6 aggiunge meno del 15% di sovraccarico computazionale al kernel di quantizzazione NVFP4.

Contributi e Risultati Chiave

1. Prestazioni nel Pre-Addestramento

Gli autori hanno valutato 4/6 sull'architettura del modello Nemotron 3 Nano 30B-A3B utilizzando un dataset di 1 trilione di token.

Riduzione della Loss: 4/6 ha portato la loss di addestramento 13,0% più vicina alla baseline BF16 rispetto alla ricetta di addestramento NVFP4 standard.
Configurazione Ottimale: Sorprendentemente, applicare 4/6 solo alle attivazioni ha prodotto prestazioni comparabili all'applicazione su attivazioni, pesi e gradienti, introducendo al contempo meno sovraccarico computazionale.
Selezione della Scala: Nel pre-addestramento, l'uso di MAE per la selezione della scala ha superato MSE.

2. Quantizzazione Post-Addestramento (PTQ)

Il metodo è stato testato sui modelli Llama 3 e Qwen 3 (che variano da 1B a 70B parametri) attraverso le metriche di perplessità WikiText-2 e C4, combinato con metodi PTQ esistenti (RTN, GPTQ, AWQ, SmoothQuant).

Miglioramento Generale: 4/6 ha migliorato uniformemente le metriche di perplessità quando combinato con AWQ e SmoothQuant, avvicinando la perplessità delle parole rispettivamente del 19,9% e del 5,3% alle prestazioni BF16.
Interazione con GPTQ: 4/6 ha leggermente degradato le prestazioni quando combinato con GPTQ nell'implementazione corrente, sebbene gli autori notino che modificare il processo di ottimizzazione GPTQ per incorporare 4/6 potrebbe produrre miglioramenti futuri.
Compiti a Valle: Su compiti come BoolQ, ARC-Easy, ARC-Challenge e HellaSwag, 4/6 ha migliorato le prestazioni medie dei compiti in quasi tutti i casi quando combinato con AWQ e SmoothQuant.

3. Efficienza

L'implementazione è progettata per acceleratori hardware moderni (NVIDIA Blackwell), assicurando che i benefici della riduzione dell'errore di quantizzazione non siano annullati da un eccessivo sovraccarico computazionale.

Significato e Affermazioni

Il documento afferma che 4/6 è una modifica leggera ed efficiente all'algoritmo di quantizzazione NVFP4 che affronta la specifica debolezza dei formati in virgola mobile riguardo ai valori vicini al massimo.

Precisione vs. Sovraccarico: Raggiunge significativi guadagni di precisione (più vicini alle baseline BF16) con un sovraccarico computazionale minimo (<15%), rendendo l'addestramento NVFP4 più fattibile senza ricorrere a costose fasi di "guarigione" o fallback ad alta precisione.
Compatibilità Hardware: Il metodo è nativamente compatibile con le attuali GPU NVIDIA Blackwell, sfruttando il supporto hardware esistente per NVFP4.
Applicabilità Generale: Sebbene focalizzato su NVFP4, il concetto di scalatura adattiva dei blocchi è presentato come una tecnica generale per migliorare la rappresentazione dei valori vicini al massimo nei formati in virgola mobile scalati a blocchi, sebbene gli autori notino che non è direttamente applicabile a MXFP4 a causa delle differenze nella precisione del fattore di scala (FP8 E8M0 vs. E4M3).

Gli autori concludono che 4/6 rappresenta un passo avanti nel rendere pratici l'addestramento e l'inferenza FP4 a bassa precisione per LLM su larga scala, avvicinando le prestazioni alle baseline ad alta precisione mantenendo al contempo i vantaggi di velocità e memoria della quantizzazione.