Pretraining Large Language Models with NVFP4

Dit paper introduceert een stabiele NVFP4-pretraining-methode voor grote taalmodellen die, na het trainen van een 12 miljard parameter tellend model op 10 biljoen tokens, prestaties bereikt die vergelijkbaar zijn met een FP8-basislijn.

De kern

Stel je voor dat je een gigantische, superintelligente robot wilt bouwen die alles over de wereld weet. Om dit te doen, moet je hem laten "leren" door hem miljarden boeken, websites en gesprekken te laten lezen. Dit proces heet pretraining.

Het probleem? Deze robots zijn zo groot dat ze enorme hoeveelheden energie en computerkracht nodig hebben. Het is alsof je een hele stad probeert te verlichten met één kaarsje: het kost te veel tijd en geld.

NVIDIA heeft een nieuwe oplossing bedacht, genaamd NVFP4. Hier is hoe het werkt, vertaald naar simpele taal:

1. Het probleem: De "Grote" Rekenmachine

Normaal gesproken gebruiken deze robots een heel nauwkeurige rekenmethode (zoals FP8 of BF16). Dit is alsof je een recept schrijft met exacte grammen en milliliters. Het resultaat is perfect, maar het kost veel tijd om alles af te wegen.

Om het sneller te maken, willen wetenschappers de robots laten werken met een "snellere, minder nauwkeurige" methode (FP4). Dit is alsof je recepten schrijft in "handvullingen" en "een beetje". Het is veel sneller en bespaart energie, maar het risico is dat je cake niet goed lukt omdat de maten te vaag zijn.

2. De Oplossing: NVFP4 (De Slimme Schaal)

NVFP4 is een nieuwe manier om die "handvullingen" te gebruiken, maar dan heel slim. In plaats van gewoon te schatten, gebruikt NVIDIA een slimme truc om de maten toch nauwkeurig te houden.

Stel je voor dat je een grote berg blokken hebt.

• De oude manier (MXFP4): Je neemt een grote emmer en giet alle blokken erin. Als er één enorm groot blok in zit, moet je de hele emmer zo groot maken dat dat ene blok erin past. Hierdoor zijn de kleine blokjes in de emmer nu heel klein en moeilijk te zien.
• De NVFP4 manier: Je maakt de emmers kleiner (kleinere groepjes). Als er een enorm groot blok in zit, past het precies in die kleine emmer. De kleine blokjes blijven daardoor goed zichtbaar. Dit zorgt ervoor dat de robot niet "verkeerd" gaat rekenen door de grote blokken.

3. De Vier Slimme Trucs (Het Recept)

Om ervoor te zorgen dat de robot niet gek wordt tijdens het leren met deze snelle methode, gebruiken ze vier specifieke technieken:

• De "Veilige Zone" (Gemengde precisie):
  Stel je voor dat je een lange marathon loopt. Je rent de hele weg in lichte schoenen (FP4), maar op de lastigste stukken (de laatste kilometers) loop je even in stevige, zware laarzen (BF16). De robot doet hetzelfde: hij leert bijna alles in de snelle, lichte methode, maar houdt de allerbelangrijkste, meest gevoelige onderdelen (zoals de "hersenen" aan het einde van het netwerk) in de zware, nauwkeurige modus. Zo breekt hij niet.

• De "Wervelwind" (Random Hadamard Transforms):
  Soms heeft de robot een heel groot, vreemd getal (een "uitbijter") dat de hele berekening verstoort. Het is alsof er één gigantische steen in een rivier ligt die het water laat overstromen.
  De oplossing? Ze gooien de stenen in de rivier door een wervelwind (een wiskundige draai). Hierdoor verspreiden die grote stenen zich over de hele rivier en worden ze kleine kiezelstenen. De rivier stroomt weer rustig door.

• De "Spiegel" (2D Scaling):
  Als je een foto bekijkt en hem vervolgens spiegelt, moet het beeld hetzelfde blijven. Bij het leren van de robot gebeurt er soms dat de foto in de ene richting (voorwaarts) anders wordt afgerond dan in de andere richting (achterwaarts). Dat zorgt voor verwarring.
  NVFP4 zorgt ervoor dat de "spiegel" perfect is. Of je nu vooruit of achteruit kijkt, de afbeelding (de getallen) blijft exact hetzelfde. Dit voorkomt dat de robot zichzelf in de war brengt.

• De "Gok" (Stochastic Rounding):
  Als je een getal moet afronden (bijvoorbeeld 3,4 naar 3 of 4), kun je altijd naar beneden afronden. Maar als je dat 100 keer doet, heb je een fout van 40.
  In plaats daarvan doet de robot een gok: 3,4 wordt 60% van de tijd 3 en 40% van de tijd 4. Over de lange termijn is dit gemiddeld perfect. Dit voorkomt dat de robot systematisch in één richting "op drift" raakt.

4. Het Resultaat: Sneller, Beter, Goedkoper

NVIDIA heeft deze methode getest met een robot van 12 miljard "neuronen" (een heel groot brein) die 10 biljoen woorden heeft gelezen.

Het resultaat?

• De robot leerde even goed als de oude, trage methode.
• Hij behaalde bijna exact dezelfde scores op testen (zoals wiskunde en logisch redeneren).
• Maar hij deed het veel sneller en met minder energie.

Conclusie

Dit onderzoek is als het vinden van een nieuwe motor voor een auto. De oude motor (FP8) werkt goed, maar is zwaar en duur. De nieuwe motor (NVFP4) is lichter en sneller. Vroeger dachten we dat een lichte motor niet krachtig genoeg zou zijn voor een zware vrachtwagen, maar met deze slimme trucjes (de wervelwind, de spiegel en de veilige zone) blijkt dat de lichte motor net zo goed presteert.

Dit opent de deur voor een nieuwe generatie AI die we veel sneller en goedkoper kunnen trainen, zodat we binnenkort nog slimmere robots hebben die ons helpen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het NVIDIA-rapport "Pretraining Large Language Models with NVFP4", geschreven in het Nederlands.

Titel: Pretraining van Grootte Taalmodellen met NVFP4

Datum: 6 maart 2026
Auteur: NVIDIA

---

1. Het Probleem

De prestaties van Large Language Models (LLMs) verbeteren naarmate ze groeien in modelgrootte, trainingsdatasetgrootte en datakwaliteit. Het trainen van geavanceerde modellen vereist echter enorme rekenkracht (in de orde van tientallen tot honderden yottaflops), wat leidt tot hoge kosten voor tijd, energie en hardware.

Hoewel 8-bit floating point (FP8) training al breed wordt geadopteerd, biedt de overstap naar nog smaller precisie, zoals 4-bit floating point (FP4), het potentieel om de rekenprestaties met een factor 2 tot 3 te verhogen en het geheugengebruik te halveren. Echter, kwantisatie op dit niveau (FP4) introduceert ernstige uitdagingen:

• Instabiliteit: Trainingsdivergentie door het beperkte dynamische bereik van FP4.
• Convergentieproblemen: Verlies van nauwkeurigheid bij lange trainingshorizons (miljarden tokens).
• Implementatiecomplexiteit: Uitdagingen bij het behouden van consistentie tussen de forward- en backward-passes.

Bestaande 4-bit microscaling-formaten (zoals MXFP4) hebben beperkingen in het hanteren van uitschieters (outliers) en dynamische bereik, wat de trainingskwaliteit belemmert.

2. Methodologie: NVFP4 en Trainingsstrategie

NVIDIA introduceert NVFP4, een verbeterd 4-bit dataformaat, gecombineerd met een specifieke trainingsmethodologie om stabiele pretraining mogelijk te maken.

A. Het NVFP4 Formaat

NVFP4 bouwt voort op het "microscaling" concept maar introduceert cruciale verbeteringen ten opzichte van MXFP4:

• Kleinere blokgrootte: In plaats van blokken van 32 elementen (zoals bij MXFP4), gebruikt NVFP4 blokken van 16 elementen. Dit verkleint het dynamische bereik per blok, waardoor waarden beter passen binnen het FP4-bereik.
• Meer nauwkeurige schaling: NVFP4 gebruikt een E4M3-formaat voor blokschaalfactoren (in plaats van UE8M0). Dit wisselt wat exponent-bereik in voor meer mantisse-bits, wat leidt tot nauwkeurigere schaling.
• Twee-niveau schaling:
  1. Een FP32 per-tensor schaal die de hele tensor in het bereik van een blok brengt.
  2. Een E4M3 per-blok schaal die de waarden binnen het blok naar het FP4-bereik brengt.
     Dit zorgt ervoor dat uitschieters (outliers) met bijna-FP8 precisie worden weergegeven, terwijl de rest in FP4 blijft.

B. Trainingsmethodologie (De 4 Sleutelcomponenten)

Om convergentie te garanderen op een 12B-parameter model over 10 biljoen tokens, combineert het rapport vier technieken:

1. Mixed Precision (Gedeeltelijke hoge precisie):

   • Niet alle lagen worden in FP4 getraind. De meest gevoelige lagen (voornamelijk de laatste lagen van het netwerk) blijven in BF16 of FP8.
   • In het experiment werden de eerste twee blokken en de laatste acht blokken (ongeveer 16% van de lineaire lagen) in BF16 gehouden om divergentie te voorkomen.

2. Random Hadamard Transforms (RHT):

   • Toegepast op de invoer van weight gradient (Wgrad) GEMM-bewerkingen.
   • RHT verspreidt grote uitschieters over de tensor, waardoor ze makkelijker in het smalle FP4-bereik te representeren zijn.
   • De matrixgrootte is ingesteld op 16x16, wat een optimale balans biedt tussen prestaties en het verdelen van uitschieters.

3. Twee-dimensionale (2D) Blokschaling:

   • Om de kettingregel (chain rule) te respecteren, moeten de kwantisatierepresentaties in de forward- en backward-pass consistent zijn.
   • Gewichten worden geschaald in 16x16 blokken (zowel input- als outputkanalen), terwijl activaties en gradients 1D-schaling (1x16) gebruiken. Dit voorkomt dat de backward-pass een andere functie differentieert dan de forward-pass.

4. Stochastisch Afronden (Stochastic Rounding):

   • Toegepast specifiek op gradients (zowel Dgrad als Wgrad).
   • Dit elimineert bias die ontstaat bij deterministisch afronden (zoals "round-to-nearest-even"), wat essentieel is voor stabiele convergentie bij lage precisie.

3. Belangrijkste Resultaten

Het team heeft een 12-miljard parameter hybride Mamba-Transformer model getraind op 10 biljoen tokens met NVFP4 en vergeleken met een FP8-baseline.

• Trainingsverlies: De validatie-loss van NVFP4 volgt die van FP8 zeer nauwkeurig. Tijdens de stabiele fase is het relatieve verliesverschil onder de 1%, en stijgt dit licht tot ongeveer 1,5% aan het einde van de training (tijdens learning rate decay).
• Downstream Taken: De prestaties op benchmarks zijn vergelijkbaar met FP8:
  • MMLU-Pro: NVFP4 behaalde 62,58% vs. 62,62% voor FP8.
  • MATH: 81,48% (NVFP4) vs. 83,32% (FP8).
  • GSM8k: 92,27% (NVFP4) vs. 89,08% (FP8).
  • Alleen bij coderingstaken (MBPP+) was er een lichte achterstand, wat mogelijk te wijten is aan ruis in de evaluatie.
• Vergelijking MXFP4 vs. NVFP4:
  • In een experiment met een 8B-model presteerde NVFP4 aanzienlijk beter dan MXFP4.
  • MXFP4 had 36% meer tokens nodig (1,36T vs. 1T) om dezelfde loss te bereiken als NVFP4, wat aantoont dat NVFP4 efficiënter is in het gebruik van data.

4. Bijdragen en Innovatie

• Eerste publicatie: Dit is naar weten de eerste succesvolle demonstratie van het pretrainen van een miljarden-parameter taalmodel met 4-bit precisie over een horizon van meerdere biljoen tokens.
• NVFP4 Formaat: Een nieuw 4-bit formaat dat de beperkingen van bestaande microscaling-formaten (zoals MXFP4) overwint door kleinere blokgroottes en nauwkeurigere schaling.
• Methodologische Blauwdruk: Een bewezen recept voor stabiele FP4-training dat een combinatie is van mixed precision, RHT, 2D-schaling en stochastisch afronden.
• Hardware-ondersteuning: Het rapport bevestigt dat NVIDIA Blackwell GPU's (GB200/GB300) native ondersteuning bieden voor NVFP4 via Tensor Cores, met een rekenvermogen dat 2x tot 3x hoger is dan bij FP8.

5. Betekenis en Toekomstperspectief

Deze studie markeert een mijlpaal in de efficiëntie van LLM-training. Door NVFP4 te combineren met de voorgestelde methodologie, kan de trainingskosten (rekenkracht en energie) aanzienlijk worden verlaagd zonder in te leveren op modelkwaliteit.

• Efficiëntie: Het verminderen van het geheugengebruik met 50% en het verhogen van de reken snelheid maakt het mogelijk om grotere modellen te trainen of bestaande modellen sneller te trainen.
• Schalbaarheid: De resultaten tonen aan dat 4-bit training schaalbaar is naar zeer grote modellen en datasets, wat essentieel is voor de volgende generatie "frontier" modellen.
• Implementatie: NVIDIA heeft de ondersteuning voor NVFP4-training al volledig geïntegreerd in de Transformer Engine, waardoor ontwikkelaars direct kunnen profiteren van deze efficiëntieverbeteringen.

Kortom, dit rapport bewijst dat 4-bit pretraining niet langer een theoretisch concept is, maar een praktische, stabiele en hoog-presterende realiteit voor de toekomst van AI.