💻 computer science

FP8 is All You Need (Part 1): Debunking Hardware FP64 as the HPC Holy Grail

Dit artikel betoogt dat native hardware FP64 niet langer essentieel is voor high-performance computing, door aan te tonen dat AI-geoptimaliseerde GPU's zoals de NVIDIA B300 volledige FP64-nauwkeurigheid en geheugenbeperkte prestaties kunnen bereiken door FP8-tensor-throughput te combineren met het Ozaki Scheme II, waarmee zij de capaciteiten van vorige generaties overtreffen ondanks hun verminderde native double-precision silicium.

Oorspronkelijke auteurs: Satoshi Matsuoka

Gepubliceerd 2026-06-08

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Satoshi Matsuoka

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Hoge-Precisie" Afgrond

Stel je de wereld van supercomputers voor als een enorm snelwegennetwerk dat ontworpen is om zware vrachtwagens (wetenschappelijke data) te vervoeren. Decennialang was de regel: "Om deze zware vrachtwagens veilig te vervoeren, moet je een specifieke, ultra-sterke brug gebruiken genaamd 'FP64' (Double Precision)."

De paper betoogt echter dat de nieuwe generatie computerchips (specifiek NVIDIA's "Blackwell Ultra" en "Rubin" GPU's) heeft besloten om geen sterke bruggen meer te bouwen. In plaats daarvan bouwen ze duizenden kleine, ongelooflijk snelle rijstroken voor "FP8" (een lage-precisieindeling die wordt gebruikt voor AI).

De Oude Manier: De chip had een sterke brug (FP64) die 40 ton verkeer kon verwerken.
De Nieuwe Manier (B300/Rubin): De chip heeft de sterke brug volledig verwijderd. Nu heeft hij een kleine, wiebelige voetbrug (FP64) die slechts 1,3 ton kan dragen, terwijl de enorme AI-rijstroken (FP8) wel 5.000 ton kunnen verwerken.

Het Resultaat: Als je oude wetenschappelijke software op deze nieuwe chips probeert te draaien, loopt het verkeer vast op de kleine voetbrug. De enorme AI-rijstroken liggen leeg en onbenut. De paper noemt dit de "FP64 Cliff" (de FP64-afgrond).

De Oplossing: Het "Ozaki-schema" (De Magische Vertaler)

De paper stelt een slimme workaround voor. In plaats van te proberen een nieuwe sterke brug te bouwen, waarom gebruiken we de enorme AI-rijstroken niet om te doen alsof ze een sterke brug zijn?

Hier komt de Ozaki Scheme II om de hoek kijken. Beschouw dit als een Meestervertaler die een wiskundige truc gebruikt genaamd de "Chinese Reststelling" (Chinese Remainder Theorem).

De Analogie: Stel je voor dat je een zeer lange, complexe geheime boodschap (een hoog-precisie getal) over een rivier moet sturen, maar de enige beschikbare boot is klein en kan alleen korte, simpele briefjes vervoeren.
De Truc: In plaats van de hele boodschap in één keer te sturen, verdeelt de vertaler de boodschap in 10 of 12 kleine, simpele briefjes (residuen).
De Uitvoering: Hij stuurt alle 10 de briefjes tegelijkertijd over de rivier via de snelle, brede AI-rijstroken.
De Reconstructie: Aan de andere kant wordt er een snelle wiskundige formule (Garner's algoritme) gebruikt om de 10 briefjes weer aan elkaar te naaien tot de originele, perfecte hoog-precisie boodschap.

Omdat de "briefjes" simpel zijn, kunnen de AI-rijstroken ze met een razendsnelle snelheid vervoeren. De paper beweert dat je door dit te doen de snelheid van de AI-rijstroken krijgt, terwijl je de nauwkeurigheid van de oude sterke brug behoudt.

De "Tensor-Memory Equilibrium" (De Nieuwe Verkeerswet)

De auteurs creëerden een nieuw model genaamd de Tensor-Memory Equilibrium (TME) om te bewijzen dat dit werkt.

Het Oude Zichtpunt: "Als de brug zwak is, is het hele systeem traag."
Het Nieuwe Zichtpunt: "Als de brug zwak is, maar de weg die ernaartoe leidt breed genoeg is, kunnen we de auto's gewoon blijven laten rijden."

De paper laat zien dat voor de meeste wetenschappelijke taken (zoals weersimulaties of vloeistofdynamica) de bottleneck niet de wiskunde is, maar de geheugenbandbreedte (hoe snel data in de chip geladen kan worden).

Het Goede Nieuws: Deze nieuwe chips hebben een enorme geheugenbandbreedte.
Het Addertje: De oude rekeneenheden waren te traag om die bandbreedte te benutten.
De Oplossing: Het Ozaki-schema gebruikt de snelle AI-rekeneenheden om de data te verwerken terwijl deze wordt geladen. Hierdoor kan het systeem draaien op de snelheid van de geheugenbandbreedte, in plaats van op de snelheid van de zwakke brug.

De Resultaten: Versnellen Zonder Nauwkeurigheid te Verliezen

De paper rekent de cijfers door voor de nieuwe chips (B300 en Rubin) en vergelijkt ze met de vorige generatie (H100 en B200).

Voor "Zware" Wiskunde (Dense Matrix Multiplication):
- Natieve FP64 op nieuwe chips: Extreem traag (1,3 TFLOPS).
- Ozaki Scheme op nieuwe chips: Super snel (500 TFLOPS).
- Resultaat: De nieuwe chip is 380 keer sneller dan zijn eigen natieve modus en 12 keer sneller dan de beste chip van de vorige generatie.
Voor "Geheugen-Zware" Taken (Stencils, SpMV):
- Deze taken worden meestal beperkt door hoe snel data gelezen kan worden, niet door hoe snel het berekend wordt.
- Natieve FP64: Zit vast op de snelheid van de zwakke brug.
- Ozaki Scheme: Matcht de snelheid van de enorme geheugenbandbreedte.
- Resultaat: De nieuwe chip presteert net zo goed als de oude, "gebalanceerde" chips, maar met veel meer brute kracht beschikbaar voor andere zaken.

Het "Vier-Verdiepingen" Veiligheidsnet

De paper betoogt dat om dit voor elke soort wetenschappelijke code werkend te krijgen, je een "vier-verdiepingen" gebouw nodig hebt:

De FP8-verdieping: De enorme AI-rijstroken (waar de nieuwe chips volop van hebben).
De INT32-verdieping: Een reservebaan voor specifieke wiskundige trucs (FFT).
De FP32-verdieping: Een standaardbaan voor eenvoudige wiskunde.
De FP64-verdieping: De oude sterke brug.

De Conclusie van de Paper: We hebben de 4e verdieping (natieve FP64) niet meer nodig. De eerste drie verdiepingen, gecombineerd met de Ozaki-vertaler, zijn sterk genoeg om het hele gebouw te ondersteunen.

Het Nadeel: Het Vereist "Bouwwerkzaamheden"

De paper geeft toe dat dit geen magie is; het vereist engineering.

Je kunt niet gewoon oude software insteken en verwachten dat het werkt. Je moet de "loodgieterij" (de kernel code) herschrijven om de vertaler te gebruiken.
De Zilveren Rand: De auteur stelt dat omdat AI-coderingsassistenten (zoals degene die gebruikt zijn om deze paper te schrijven) zo goed zijn in het vertalen van patronen, dit "bouwwerk" in maanden, niet in jaren, kan worden voltooid.

Samenvatting

De paper beweert dat het tijdperk waarin we "natieve" double-precision silicon (FP64) nodig hebben, voorbij is. Hoewel NVIDIA's nieuwste chips de hardware hiervoor hebben verwijderd, kunnen we een wiskundige truc (Ozaki Scheme) gebruiken om hun enorme AI-motoren te veranderen in perfecte double-precision rekenmachines.

De Kernboodschap: Je hebt de "Heilige Graal" van FP64-silicon niet meer nodig. Als je genoeg FP8-kracht en de juiste softwarevertaler hebt, is FP8 alles wat je nodig hebt om de meest complexe wetenschappelijke simulaties ter wereld te draaien.

Technische Samenvatting: FP8 is All You Need (Deel 1)

1. Probleemstelling

Het artikel behandelt een kritieke divergentie in de architectuur van High-Performance Computing (HPC) hardware. Terwijl wetenschappelijke simulaties (bijv. Kwantumchromodynamica, CFD, klimaatmodellering) vertrouwen op IEEE 754 dubbele precisie (fp64) rekenkunde voor numerieke stabiliteit, verschuiven moderne data-center GPU's naar workloads met lage precisie voor AI.

De NVIDIA Blackwell Ultra (B300) en de aanstaande Rubin (R200) architecturen exemplificeren deze verschuiving. De B300 levert enorme doorvoer in formaten met lage precisie (10–15 PFLOPS in NVFP4/fp8), maar heeft de native fp64 tensorprestaties doen instorten tot ongeveer 1,3 TFLOPS—een 30× regressie vergeleken met de B200. Dit creëert twee specifieke pathologieën:

Memory-Bound Kernels worden Compute-Bound: Het "ridge point" (waar de limieten van rekenkracht en geheugen elkaar snijden) op de B300 daalt naar 0,16 FLOPS/Byte. Gevolgelijk worden standaard memory-bound kernels zoals Sparse Matrix-Vector vermenigvuldiging (SpMV), stencils en gebatchte GEMV, die voorheen op de limiet van de geheugenbandbreedte draaiden, nu kunstmatig beperkt door de zwakke native fp64 rekenunits.
Dormant Silicon: De enorme low-precision tensor cores (fp8/NVFP4) blijven ongebruikt tijdens fp64-only HPC-workloads, wat een "Dark Silicon" inefficiëntie vertegenwoordigt.

De centrale vraag is of native fp64 silicon nog steeds de "heilige graal" van HPC is, of dat overvloedige fp8 doorvoer gecombineerd met algoritmische emulatie de volledige fp64 nauwkeurigheid en prestaties kan herstellen.

2. Methodologie en Analytisch Model

Het Tensor–Memory Equilibrium (TME) Model

De auteurs introduceren het Tensor–Memory Equilibrium (TME) model, een uitbreiding van het klassieke Roofline-model, om de prestaties van geëmuleerde fp64 op hardware met lage precisie te analyseren. Het model introduceert drie emulatie-specifieke parameters:

$\alpha$ (Compute Multiplier): Het aantal low-precision tensor-core operaties dat nodig is per high-precision operatie (bijv. het aantal moduli $r$ in de Chinese Reststelling benadering).
$\beta$ (Bandwidth Multiplier): De ratio van datatransport in de geëmuleerde kernel versus de native kernel. Cruciaal is de argumentatie van het artikel dat als decompositie en reconstructie op registerniveau worden gefuseerd, $\beta$ de waarde 1 kan benaderen, wat betekent dat de emulatie geen globale geheugenverkeer-overhead toevoegt.
$\gamma$ (Reconstruction Latency): De latentiekosten van het reconstrueren van het uiteindelijke resultaat (bijv. via het Garner-algoritme).

De Ozaki Scheme II

Het artikel maakt gebruik van de Ozaki Scheme II, een methode gebaseerd op de Chinese Reststelling (CRT). In tegenstelling tot de oorspronkelijke "Ozaki I" (mantissa slicing), die kwadratisch schaalt met het aantal slices, deelt Ozaki II matrixvermenigvuldiging op in modulaire rekenkunde over onderling priem moduli.

Fase 1: Schalen van matrices naar integers.
Fase 2: Uitvoeren van low-precision (fp8) GEMMs modulo $m_i$ .
Fase 3: Reconstrueren van het integerproduct met behulp van het Garner-algoritme en het terugschalen naar fp64.

Het artikel past dit specifief aan voor fp8 tensor cores (E4M3), waarbij een kwantisatietruc wordt gebruikt om modulaire rekenkunde te emuleren op floating-point units, aangezien de native int8 doorvoer op de B300/Rubin is gedeprioriteerd.

Implementatiestrategie voor Memory-Bound Kernels

Een kernbijdrage is de identificatie van register-level fusion als het mechanisme om $\beta \to 1$ te drijven. De voorgestelde implementatiestrategie omvat:

Het laden van fp64 operanden in shared memory.
Het decomponeren van operanden in residue vlakken binnen de registers.
Het uitvoeren van $r$ low-precision tensor-core MMAs op deze residue vlakken.
Het reconstrueren van het resultaat via het Garner-algoritme in de registers voordat er naar het globale geheugen wordt geschreven.
Dit zorgt ervoor dat de residue vlakken nooit de HBM raken, waardoor de geheugenbandbreedte behouden blijft.

3. Belangrijkste Bijdragen

Unified Performance Model: De afleiding van het TME-model, dat de crossover arithmetic intensity voorspelt waar emulatie de native fp64 prestaties overtreft, waarbij expliciet rekening wordt gehouden met de $\alpha, \beta, \gamma$ parameters.
Kernel Design Discipline: De identificatie van register-level fusion als een vereiste voor correctheid bij memory-bound kernels. Zonder dit zou de bandbreedte-inflatie ( $\beta > 1$ ) de voordelen van emulatie tenietdoen.
Generationele Projecties: Prestatieprojecties voor B300 en Rubin R200 tonen aan dat Ozaki II + fp8 kan bereiken:
- Memory-Bound Regime: Doorvoer die overeenkomt met de geheugendak (bijv. 4 TFLOPS voor stencils op B300), wat effectief de prestaties herstelt naar het niveau van vóór de ineenstorting.
- Compute-Bound Regime: Doorvoercaps die rond de ~500 TFLOPS (B300) en ~400 TFLOPS (Rubin) liggen, wat de native fp64 plafonds van de vorige generatie (B200, 40 TFLOPS) met een orde van grootte overtreft.
H100 Baseline Vergelijking: Een herbaselining tegen de H100 (de laatste HPC-gebalanceerde GPU). Het artikel demonstreert dat Ozaki II op B300/Rubin de H100 prestaties evenaart of overtreft over alle workloads, terwijl native B300 fp64 tot 50× achteruitgaat op compute-sensitieve taken.
End-to-End Kernel Dekking: Een uitgebreide audit die de resultaten van dit artikel combineert met een begeleidende FFT-analyse [19] en BLAS-1 reductiestrategieën (FP32 + Kahan). De audit concludeert dat elke belangrijke HPC-kernelklasse (GEMM, SpMV, Stencils, FFT, reducties) een pad biedt naar het geheugendak met volledige fp64 nauwkeurigheid op de B300.

4. Resultaten

Speedup Factoren: Op de B300 biedt Ozaki II/fp8:
- ~380× speedup voor Dense GEMM (compute-bound).
- ~24× speedup voor Batched GEMV (B=8).
- ~3,1× speedup voor 7-point Stencils.
- ~1,2× speedup voor SpMV (diep memory-bound).
Rubin Voordeel: Op de Rubin R200 levert de sprong in HBM-bandbreedte (naar 22 TB/s) in combinatie met Ozaki II een 2,75× verbetering op ten opzichte van B300 in het memory-bound regime, en een 6,6× verbetering ten opzichte van H100 over het hele spectrum.
Substraat Keuze: Het artikel bevestigt dat fp8 het superieure substraat is voor Ozaki II op B300/Rubin vanwege de ineenstorting van de int8 doorvoer, wat een 30× hogere emulatie-ceiling biedt over int8 op de B300.
Nauwkeurigheid: De emulatie handhaaft bewijsbare componentwise foutgrenzen die vergelijkbaar zijn met native fp64, mits het aantal moduli $r$ correct wordt gekozen (doorgaans $r \approx 10$ voor fp8).

5. Betekenis en Claims

Het artikel betoogt dat de "heilige graal" van native fp64 silicon niet langer een vereiste is voor geloofwaardige wetenschappelijke berekeningen. In plaats daarvan is de combinatie van overvloedige fp8 tensor doorvoer en Ozaki Scheme II emulatie voldoende om de uitvoering op het geheugendak te herstellen met volledige fp64 nauwkeurigheid over het gehele canonieke HPC-kernel spectrum.

Kernclaims:

Pariteit in Memory-Bound Regimes: Emulatie belast memory-bound kernels niet; met register-level fusion bereikt het pariteit met het geheugendak, net zoals een gezonde native fp64 chip dat zou doen.
Superioriteit in Compute-Bound Regimes: Emulatie presteert vele malen beter dan de native fp64 capaciteiten van de vorige generatie (B200) en de native fp64 units van de huidige generatie.
Strategische Leefbaarheid: De technische investering die nodig is om deze kernels te implementeren is nu haalbaar op een tijdschaal van "maanden in plaats van jaren", gefaciliteerd door moderne AI coding assistants en de standaardisatie van het algoritmische patroon.
Architecturale Implicatie: Toekomstige GPU-ontwerpen moeten zorgen voor voldoende fp8 tensor doorvoer en een fallback-pad (zoals de Kulisch INT32 sub-floor voor spectrale werkzaamheden) in plaats van aan te dringen op native fp64 tensor cores. Het artikel stelt dat "fp8 (met de juiste algoritmische steigers) alles is wat je nodig hebt voor productie HPC."

Het artikel concludeert dat de "post-fp64 era" geen regressie is, maar een strategische heroriëntatie waarbij software-gedefinieerde emulatie de silicon-besparingen van AI-optimalisatie omzet in bruikbare, hoge-precisie wetenschappelijke doorvoer.