💬 NLP

Four Over Six: More Accurate NVFP4 Quantization with Adaptive Block Scaling

Dit artikel introduceert "Four Over Six" (4/6), een adaptieve block-scaling-techniek voor NVFP4-quantisatie die de quantisatiefout vermindert door blokschalen dynamisch aan te passen om beter om te gaan met grote waarden, waardoor trainings- en inferentieprestaties dichter bij BF16 worden benaderd met minimale rekenkundige overhead.

Oorspronkelijke auteurs: Jack Cook, Junxian Guo, Guangxuan Xiao, Yujun Lin, Song Han

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jack Cook, Junxian Guo, Guangxuan Xiao, Yujun Lin, Song Han

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorme bibliotheek vol boeken in een klein, draagbaar koffer te proppen. De boeken vertegenwoordigen het "brein" van een Groot Taalmodel (AI), en de koffer staat voor het geheugen van de computer. Om alles erin te krijgen, moet je de boeken verkleinen.

Lange tijd hebben we een methode gebruikt die BF16 heet (een standaard, hoogprecisie formaat), wat vergelijkbaar is met het verpakken van boeken in stevige, zware dozen. Het is nauwkeurig, maar de koffer raakt snel vol. Onlangs probeerden ingenieurs over te schakelen naar NVFP4, een veel kleiner formaat. Denk aan NVFP4 als een setje tiny, lichtgewicht origamidoosjes. Ze passen veel meer boeken in de koffer en maken de AI sneller, maar er is een addertje onder het gras: omdat de dozen zo klein zijn, worden sommige "grote" boeken platgedrukt, gekreukt of verliezen ze hun pagina's. Deze "kreukeling" wordt kwantisatiefout genoemd, en het zorgt ervoor dat de AI fouten maakt.

Het Probleem: De "Ruwe Rand" van Kleine Dozen

Het artikel legt uit dat NVFP4 een vreemde eigenaardigheid heeft. Het heeft specifieke maten die het kan bevatten: 0,5, 1, 1,5, 2, 3, 4 en 6.

Als een boek precies maat 4 is, past het perfect.
Als een boek maat 5 is, past het niet. Je moet het dwingen in de maat 4-doos of de maat 6-doos.
Als je een maat 5-boek dwingt in een maat 4-doos, verlies je veel informatie (het wordt verpletterd). Als je het dwingt in een maat 6-doos, verspil je veel ruimte (het rammelt erin).

De auteurs ontdekten dat het "verpletteren" het vaakst voorkomt bij boeken die bijna zo groot zijn als de grootste doos (de "near-maximal" waarden). Bij de standaardmethode is de koffer zo ontworpen dat hij het absoluut grootste mogelijke boek (maat 6) kan bevatten. Maar dit laat een enorm gat over waar boeken van maat 5 slecht worden gekreukt.

De Oplossing: "Vier Over Zes" (4/6)

De auteurs, Jack Cook en zijn team, bedachten een slimme truc die Four Over Six (4/6) heet.

Stel je voor dat je een koffer inpakt. In plaats van elk enkel item te dwingen in een "Maat 6"-doos, bekijk je elke groep items.

De Oude Manier: Je gaat ervan uit dat elke groep een "Maat 6"-doos nodig heeft. Als een groep een boek van maat 5 heeft, wordt het verpletterd.
De 4/6 Manier: Je controleert de groep. Als het grootste boek in die specifieke groep slechts maat 5 is, zeg je: "Oké, we hebben geen Maat 6-doos nodig voor deze groep. Laten we in plaats daarvan een Maat 4-doos gebruiken."

Door voor die specifieke groep over te schakelen naar een kleinere "Maat 4"-doos, past het "Maat 5"-boek (dat nu relatief kleiner is ten opzichte van de dooslimiet) veel comfortabeler. Het wordt niet langer tegen de rand verpletterd.

De Analogie:
Denk eraan als een videospelkarakter dat springt.

Standaard NVFP4: Het spel gaat ervan uit dat het karakter tot 10 voet kan springen. Als ze proberen 9 voet te springen, rondt het spel dit af naar 8 voet (een grote daling).
4/6 Methode: Het spel controleert het specifieke niveau. Als het hoogste platform slechts 6 voet hoog is, schakelt het de "springlimiet" om naar 6 voet. Nu wordt een 5-voets sprong veel nauwkeuriger afgerond naar 6 voet (of 4 voet). Het karakter valt niet zo ver.

Hoe Het In De Praktijk Werkt

Het artikel beschrijft een slim algoritme dat voor het inpakken naar elk klein stukje data (een "blok") kijkt:

Het probeert het blok in een "Maat 6"-doos te verpakken en berekent hoeveel informatie er verloren gaat.
Het probeert hetzelfde blok in een "Maat 4"-doos te verpakken en berekent het verlies.
Het kiest de doos die minder schade veroorzaakt (minder fout).

Meestal is voor blokken met zeer grote getallen de "Maat 4"-doos de winnaar, omdat het zorgt dat de "near-maximal" getallen beter passen.

De Resultaten

Het team testte dit op een enorm AI-model genaamd Nemotron 3 Nano (30 miljard parameters).

Training: Toen ze de AI trainden met 4/6, leerde de AI beter en maakte het minder fouten in vergelijking met de standaard NVFP4-methode. Het kwam veel dichter bij de prestaties van de zware, trage "BF16"-methode, maar behield de snelheids- en groottevoordelen van NVFP4.
Snelheid: Ze toonden aan dat deze "slimme inpakking" de computer niet vertraagt. Het voegt minder dan 15% extra werk toe, wat een kleine prijs is voor veel betere nauwkeurigheid.
Bestaande Modellen: Ze probeerden dit ook op al getrainde modellen (zoals Llama en Qwen). Zelfs zonder hertraining maakten deze modellen met 4/6 slimmere en nauwkeurigere prestaties op tests zoals leesbegrip en logische puzzels.

De Conclusie

Het artikel beweert dat door simpelweg slimmer na te denken over welke doosgrootte je voor verschillende groepen data moet gebruiken – soms een "4" in plaats van een "6" – je het "verpletteren" van belangrijke informatie kunt stoppen. Dit maakt lage-precisie AI (NVFP4) veel nauwkeuriger, waardoor we grotere, snellere AI-modellen op huidige hardware kunnen draaien zonder dat ze hun "breinkracht" verliezen.

Ze hebben zelfs de code (kernels) vrijgegeven zodat anderen deze "slimme inpakking"-methode kunnen gebruiken op NVIDIA's nieuwste Blackwell GPU's.

Technische Samenvatting: Four Over Six (4/6)

Probleemstelling

Naarmate Large Language Models (LLM's) schalen, groeit de interesse in numerieke formaten met lage precisie, zoals NVFP4, om de trainsnelheid te verbeteren en het geheugengebruik te verminderen. Het kwantiseren van modellen naar NVFP4 blijft echter uitdagend vanwege precisieverlies, wat de modelprestaties verslechtert.

Het kernprobleem dat in dit werk wordt geïdentificeerd, is de niet-uniforme stapgrootte die inherent is aan floating-point formaten. In tegenstelling tot integer-formaten heeft FP4 (specifiek E2M1) dynamische stapgroottes: 0,5 tussen 0 en 2, 1 tussen 2 en 4, en 2 tussen 4 en 6. Bij standaard NVFP4-blokgeschaalde kwantisatie worden waarden geschaald naar het volledige bereik van [-6, 6]. Dit creëert een aanzienlijke kwantisatiekloof voor waarden die dicht bij het maximum liggen. Specifiek, wanneer de maximale waarde van een blok wordt geschaald naar 6, komt de representeerbare FP4-waarde "4" overeen met slechts 66,6% van de maximale grootte van het blok. Bijgevolg kunnen waarden tussen 66,6% en 100% van de maximale grootte van het blok niet nauwkeurig worden weergegeven, wat leidt tot grote kwantisatiefouten voor deze waarden die dicht bij het maximum liggen.

De analyse van de auteurs van Llama-3.1-8B geeft aan dat, terwijl kwantisatiefouten in de schalingsfactor een minimale impact hebben, de fout die wordt geïntroduceerd door het afronden van waarden die dicht bij het maximum liggen (specifiek rond een geschaalde waarde van 5), de primaire drijvende kracht is van prestatievermindering in met NVFP4 gekwantiseerde modellen.

Methodologie: Four Over Six (4/6)

Het artikel introduceert Four Over Six (4/6), een modificatie van het NVFP4-blokgeschaalde kwantisatie-algoritme die is ontworpen om de kwantisatiefout voor waarden die dicht bij het maximum liggen te verminderen.

Kernmechanisme

In plaats van alle blokken uniform te schalen naar de maximale FP4-waarde van 6, schaalt 4/6 adaptief specifieke blokken naar een maximum van 4.

Standaard NVFP4 (Schaal = 6): Waarden zijn verspreid over [-6, 6]. De kloof tussen de representeerbare waarden 4 en 6 is 2 eenheden.
4/6 (Schaal = 4): Voor geselecteerde blokken zijn waarden verspreid over [-4, 4]. De kloof tussen de representeerbare waarden 3 en 4 is 1 eenheid.

Door het vermogen om de extreme waarden 5 en 6 in specifieke blokken te vertegenwoordigen op te offeren, staat de methode een uniformere verdeling van representeerbare waarden toe in het bereik van 75%–100% van de grootte van het blok. Bijvoorbeeld, een waarde die 75% van de maximale grootte van een blok vertegenwoordigt, kan exact worden weergegeven als "3" in een blok met schaal 4, terwijl het in een blok met schaal 6 in een grote foutkloof zou vallen.

Adaptief Blok-Schalingsalgoritme

Omdat het schalen van alle blokken naar 4 niet universeel voordelig is (aangezien dit het dynamische bereik van het blok met 50% verkleint ten opzichte van schalen naar 6), maakt de methode gebruik van een adaptief selectieproces:

Dubbele Kwantisatie: Voor elk blok kwantiseert het algoritme de waarden twee keer: eenmaal met een schalingsfactor van 6 en eenmaal met een schalingsfactor van 4.
Foutberekening: De kwantisatiefout voor beide versies wordt berekend ten opzichte van de originele hoogprecisie-waarden.
Selectieregel: Het algoritme selecteert de schaal (4 of 6) die de fout minimaliseert. Het artikel evalueert drie selectieregels:
- Minimale Maximale Fout
- Minimale Gemiddelde Absolute Fout (MAE)
- Minimale Gemiddelde Kwadratische Fout (MSE)
- Vinding: Voor Post-Training Quantization (PTQ) levert MSE de beste resultaten op. Voor Pre-Training presteert MAE iets beter.

Implementatiedetails

Tensor-Schaal Aanpassing: Om overloop te voorkomen in de FP8 E4M3-schalingsfactoren wanneer een blok wordt geschaald naar 4 (wat een schalingsfactor vereist die 1,5 keer zo groot is als een blok dat naar 6 wordt geschaald), wordt de globale tensorschaal $\alpha$ berekend met behulp van een maximale FP8-waarde van 256 in plaats van de standaard 448.
Hardware-efficiëntie: De methode is geïmplementeerd met behulp van NVIDIA Blackwell GPU PTX-instructies (familie cvt) binnen een CUDA-kernel. Alle tussentijdse waarden en foutberekeningen worden in het registerbestand bewaard om de overhead van geheugentoegang te minimaliseren.
Overhead: De auteurs rapporteren dat 4/6 minder dan 15% rekenkundige overhead toevoegt aan de NVFP4-kwantisatie-kernel.

Belangrijkste Bijdragen en Resultaten

1. Pre-Training Prestaties

De auteurs evalueerden 4/6 op de Nemotron 3 Nano 30B-A3B-modelarchitectuur met behulp van een dataset van 1 biljoen tokens.

Verliesreductie: 4/6 bracht het trainingsverlies 13,0% dichter bij de BF16-baseline in vergelijking met het standaard NVFP4-trainschema.
Optimale Configuratie: Verassend leverde het toepassen van 4/6 alleen op activaties prestaties op die vergelijkbaar waren met het toepassen ervan op activaties, gewichten en gradiënten, terwijl er minder rekenkundige overhead werd geïntroduceerd.
Schaalselectie: Bij pre-training presteerde het gebruik van MAE voor schaalselectie beter dan MSE.

2. Post-Training Quantization (PTQ)

De methode werd getest op Llama 3 en Qwen 3-modellen (variërend van 1B tot 70B parameters) over WikiText-2 en C4 perplexiteitsmetrieken, gecombineerd met bestaande PTQ-methoden (RTN, GPTQ, AWQ, SmoothQuant).

Algemene Verbetering: 4/6 verbeterde uniform de perplexiteitsmetrieken wanneer gecombineerd met AWQ en SmoothQuant, waardoor de woordperplexiteit respectievelijk 19,9% en 5,3% dichter bij de BF16-prestaties kwam.
GPTQ-interactie: 4/6 degradeerde de prestaties licht wanneer gecombineerd met GPTQ in de huidige implementatie, hoewel de auteurs opmerken dat het aanpassen van het GPTQ-optimalisatieproces om 4/6 op te nemen, toekomstige verbeteringen kan opleveren.
Downstream-taken: Bij taken zoals BoolQ, ARC-Easy, ARC-Challenge en HellaSwag verbeterde 4/6 de gemiddelde taakprestaties in bijna alle gevallen wanneer gecombineerd met AWQ en SmoothQuant.

3. Efficiëntie

De implementatie is ontworpen voor moderne hardware-acceleratoren (NVIDIA Blackwell), zodat de voordelen van verminderde kwantisatiefout niet worden tenietgedaan door excessive rekenkundige overhead.

Betekenis en Claims

Het artikel beweert dat 4/6 een lichtgewicht, efficiënte modificatie is van het NVFP4-kwantisatie-algoritme die de specifieke zwakte van floating-point formaten met betrekking tot waarden die dicht bij het maximum liggen, aanpakt.

Nauwkeurigheid versus Overhead: Het bereikt aanzienlijke nauwkeurigheidswinsten (dichter bij BF16-baselines) met minimale rekenkundige overhead (<15%), waardoor NVFP4-training levensvatbaarder wordt zonder te moeten terugvallen op dure "herstel"-fasen of fallbacks met hoge precisie.
Hardware-compatibiliteit: De methode is natiem compatibel met huidige NVIDIA Blackwell GPU's, waarbij gebruik wordt gemaakt van bestaande hardware-ondersteuning voor NVFP4.
Algemene Toepasbaarheid: Hoewel gefocust op NVFP4, wordt het concept van adaptieve blokschaalering gepresenteerd als een algemene techniek om de representatie van waarden die dicht bij het maximum liggen in blokgeschaalde floating-point formaten te verbeteren, hoewel de auteurs opmerken dat het niet direct toepasbaar is op MXFP4 vanwege verschillen in precisie van de schalingsfactor (FP8 E8M0 versus E4M3).

De auteurs concluderen dat 4/6 een stap voorwaarts is in het praktisch maken van training en inferentie met FP4 met lage precisie voor grote LLM's, waarbij de prestaties dichter bij baselines met hoge precisie worden gebracht terwijl de snelheids- en geheugenvoordelen van kwantisatie behouden blijven.