💻 computer science

FP8 is All You Need (Part 2): Efficient Ozaki-Bailey Style FFT Through Tensor-core Garner Reformulation and Kulisch Escape Route

Dit artikel stelt "Ozaki-Bailey FFT" voor, een methode die volledig FP64-nauwkeurige 3-D FFT's mogelijk maakt op NVIDIA Blackwell Ultra GPU's door de berekening te herformuleren via FP8 tensor cores en Kulisch fixed-point rekenkunde, waardoor de verminderde native FP64-doorvoer van de hardware wordt overwonnen om een geheugengebonden prestatiegelijkwaardigheid te bereiken.

Oorspronkelijke auteurs: Satoshi Matsuoka

Gepubliceerd 2026-06-24

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Satoshi Matsuoka

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Zware Drager" is zijn Kracht Kwijtgeraakt

Stel je een hoogwaardige computerchip (zoals de nieuwe NVIDIA B300) voor als een enorme bouwplaats. In het verleden had deze bouwplaats een gigantische, supersterke kraan (de FP64 vector pipe) die in staat was om zware, precieze stalen balken (wetenschappelijke berekeningen) met ongelofelijke snelheid op te tillen.

Echter, het nieuwe chipontwerp heeft besloten zich bijna volledig te richten op het bouwen van AI-modellen. Om ruimte te maken voor AI, hebben ze de gigantische kraan vervangen door een vloot kleine, supersnelle bezorgdrones (de FP8 tensor cores). Deze drones zijn geweldig in het verplaatsen van lichte pakketjes (AI-data), maar zijn verschrikkelijk in het tillen van de zware, precieze stalen balken die nodig zijn voor wetenschappelijk werk zoals weersvoorspellingen of natuurkundige simulaties.

Het resultaat? De bouwplaats is zo snel in het verplaatsen van lichte pakketjes dat de site eigenlijk zit te wachten tot de vrachtwagens aankomen (geheugensnelheid), maar de weinige zware kranen die over zijn, zijn zo traag dat als je ze probe bent te gebruiken, het hele project stilvalt.

Het Doel: Een Brug Bouwen naar het "Geheugendak"

De auteurs willen dat wetenschappelijke berekeningen net zo snel draaien als de geheugensnelheid waarmee de vrachtwagens data kunnen leveren. Deze snelheidslimiet wordt de "Memory Roof" genoemd. Momenteel blijft de B300-chip ver onder dit dak omdat de zware kraan te zwak is.

Het paper stelt een slim, drieledig bouwplan voor om de kapotte kraan te omzeilen en het dak weer te bereiken, met gebruik van enkel de hulpmiddelen die de chip al heeft.

De Driedelige Oplossing

1. De "Ozaki-Bailey" Strategie: De Balk Breken in Bakstenen

In plaats van te proberen de zware stalen balk (een complex 3D-wiskundig probleem genaamd een 3D FFT) in één keer op te tillen, breken de onderzoekers het af.

De Metafoor: Stel je voor dat je een gigantisch, fragiel standbeeld moet verplaatsen. Je kunt het niet in zijn geheel tillen. In plaats daarvan breek je het af in duizenden kleine, hanteerbare Lego-steentjes.
De Techniek: Ze gebruiken een wiskundige truc genaamd de Bailey six-step decomposition om het grote wiskundige probleem in kleine stukjes te breken. Vervolgens gebruiken ze het Ozaki-schema, dat deze stukjes vertaalt naar "bakstenen" die de kleine, snelle bezorgdrones (FP8 tensor cores) gemakkelijk kunnen afhandelen.

2. Het "Garner" Probleem: De Bottleneck bij de Assemblage

Zodra de drones alle Lego-steentjes hebben verplaatst, moet je ze weer in elkaar zetten om het standbeeld te herbouwen.

Het Probleem: Op de oude manier van doen (genoemd Recursive Garner) was het weer in elkaar zetten van de bakstenen traag en onhandig. Het was alsof je een miljoen kleine bakstenen met de hand probeerde aan elkaar te lijmen. Op de nieuwe chip duurde deze assemblage-stap 260 milliseconden, wat 20 keer langzamer is dan de snelheid waarmee de geheugenvrachtwagens de bakstenen konden leveren. Dit was de nieuwe bottleneck.
De Fix (Fase A): De auteurs realiseerden zich dat ze de snelle drones konden gebruiken om het "lijmen" voor het eerste deel van de assemblage te doen. Ze splitsen de taak op:
- Fase A: De snelle drones doen het zware werk van de initiële assemblage. Dit gaat super snel.
- Fase B: Het laatste, lastige deel van het in elkaar zetten van het standbeeld. Dit is waar de oude methode faalde.

3. De "Kulisch Ontsnappingsroute": Het Geheime Wapen

Dit is de meest creatieve innovatie van het paper.

Het Probleem: De laatste stap (Fase B) vereist normaal gesproken een zeer precieze, zware rekenmachine (de FP64 pipe) om de getallen op te tellen. Maar op de B300-chip is die zware rekenmachine kapot of traag.
De Oplossing: De auteurs ontdekten een manier om een ander hulpmiddel te gebruiken dat de chip niet heeft afgeschaft: de INT32 pipe (een standaard integer-rekenmachine).
De Metafoor: Stel je voor dat je een enorme hoop zand moet tellen tot op elk korreltje nauwkeurig. De "zware kraan" (FP64) is kapot. Maar je hebt een vloot van telrobots (INT32) die ongelooflijk snel zijn in het optellen van gehele getallen.
- De auteurs realiseerden zich dat als ze de zandkorrels behandelen als eenvoudige gehele getallen en een "brede emmer" (een Kulisch accumulator) gebruiken om ze op te vangen, de telrobots de klus perfect kunnen klaren.
- Ze hebben de kapotte zware kraan helemaal niet nodig. Ze gebruiken simpelweg de snelle telrobots om de uiteindelijke som te berekenen, en gieten het resultaat pas aan het einde één keer in de zware kraan.
Het Resultaat: Deze "Kulisch"-methode zorgt ervoor dat de chip de klus in 18 milliseconden kan voltooien, wat bijna net zo snel is als de snelheid waarmee de vrachtwagens de data kunnen leveren (de Memory Roof).

De "Vier-Verdiepingen-Regel" voor Toekomstige Chips

De auteurs hebben dit proces geanalyseerd en een regelboek voor chipontwerpers gemaakt, de "Four-Floor Codesign Rule". Om ervoor te zorgen dat een chip deze wetenschappelijke taken in de toekomst aankan, moet deze aan één van de twee voorwaarden voldoen:

De Native Floor: Houd de zware kraan (FP64) sterk genoeg om de klus zelfstandig te klaren.
De Kulisch Ontsnappingsroute: Als je de zware kraan verzwakt, moet je de telrobots (INT32) en de bezorgdrones (FP8) sterk genoeg houden om samen het werk te doen.

Het Oordeel over Huidige Chips:

H100 en B200: Zij hebben sterke zware kranen. Ze hebben de truc niet nodig; ze doen gewoon hun werk.
Rubin (Toekomstige Chip): Heeft een iets zwakkere kraan, maar is nog steeds net sterk genoeg om de klus normaal te klaren.
B300 (Het Probleemkind): De zware kraan is 10 keer te zwak. Echter, omdat de telrobots (INT32) en de bezorgdrones (FP8) nog steeds sterk zijn, redt de "Kulisch Ontsnappingsroute" van de auteurs de chip. Ze kunnen deze wetenschappelijke taken nog steeds op topsnelheid uitvoeren, maar alleen als ze deze specifieke software-truc gebruiken.

Samenvatting

Het paper zegt: "Raak niet in paniek als de zware kraan weg is. Als je de klus opdeelt in kleine stukjes, de snelle drones gebruikt om ze te verplaatsen, en de snelle telrobots gebruikt om de uiteindelijke wiskunde te doen, kun je nog steeds de snelheidslimiet van de vrachtwagens bereiken."

Dit bewijst dat zelfs met een chip die primair voor AI is ontworpen, we nog steeds efficiënt hoogwaardige wetenschappelijke berekeningen kunnen uitvoeren, mits we de juiste software-"hacks" gebruiken om het werk rond de ontbrekende hardware te leiden.

Technische Samenvatting: FP8 is All You Need (Deel 2)

1. Probleemstelling

Het artikel behandelt de architecturale verschuiving in NVIDIA's Blackwell Ultra (B300) en Rubin GPU's, waarbij de FP64-vectordoorvoer drastisch is verminderd om prioriteit te geven aan AI-workloads (FP8/FP16 tensor cores). Specifiek is de FP64-vectordoorvoer van de B300 (~1,3 TFLOPS) ongeveer 30× lager dan die van de B200 en onvoldoende om geheugen-gebonden wetenschappelijke workloads, zoals 3D Fast Fourier Transforms (FFT), op het niveau van de geheugenbandbreedte (memory roof) te ondersteunen.

Hoewel het begeleidende artikel [1] aantoonde dat het Ozaki Scheme II (Ozaki-II) emulatieframework de FP64-equivalente doorvoer voor dense matrix-operaties (GEMM, GEMV, Stencils, SpMV) kon herstellen door berekeningen te routeren via FP8 tensor cores, bleef er een kritieke kloof bestaan: de 3D FFT. De FFT presenteert een unieke bottleneck waarbij de reconstructiekosten (Garner-reconstructie) anders schalen dan bij dense GEMM, wat de standaard Ozaki-II benadering inefficiënt of onhaalbaar zou kunnen maken op deze "FP64-gecollapseerde" architecturen.

2. Methodologie

De auteurs stellen Ozaki-Bailey FFT voor, een emulatieframework dat het Ozaki-II residue number system combineert met de Bailey zes-stappen decompositie voor 3D FFT's. De methodologie omvat een drie-delige analyse en herformulering:

A. De $\gamma$ -Roof Analyse

De auteurs analyseren het TME (Tensor-Memory Equilibrium) model voor de FFT-kernel. In tegenstelling tot dense GEMM, waar de compute ( $\alpha$ ) en memory ( $\beta$ ) termen domineren, zorgt de FFT-casus bij een Bailey inner dimension $k \approx \sqrt{N} = 32$ (voor $N=1024$ ) ervoor dat de Garner-reconstructielatentie ( $\gamma$ ) de beperkende factor wordt.

Probleem: Standaard recursieve Garner-reconstructie vereist $O(r^2)$ integer-operaties per output-element. Op de B300 resulteert dit in een wandtijd van ~260 ms, wat ongeveer 20× langzamer is dan de memory roof (12,9 ms).
Herformulering: De auteurs deconstrueren de Garner-reconstructie in twee fasen:
- Fase A: Inwendige producten met mantissa-gesplitste coëfficiënten (forward CRT) gemapt naar FP8/INT8 tensor cores. Deze stap is zeer efficiënt (~0,5 ms).
- Fase B: Een per-output reductie van de Fase A resultaten. In een naïeve implementatie draait dit op de gecollapseerde FP64 vector-pipe, wat een nieuwe bottleneck creëert (~163 ms).

B. De Kulisch Escape Route (Fase B Herformulering)

Om de Fase B bottleneck op te lossen zonder afhankelijk te zijn van de zwakke FP64 vector-pipe, onderzoeken de auteurs klassieke exacte accumulatieschema's. Zij identificeren Kulisch's fixed-point complete-arithmetic accumulator [16, 17] als de oplossing.

Mechanisme: In plaats van floating-point sommatie wordt de reductie uitgevoerd met een brede fixed-point accumulator (160-bit, geïmplementeerd via vijf INT32 registers) op de INT32 SIMT pipe.
Precisie: De accumulatie is exact (geen tussenliggende afronding). De enige afronding vindt één keer plaats, bij de uiteindelijke conversie van de 160-bit integer naar FP64. Dit behoudt volledige FP64-nauwkeurigheid (beter dan naïeve FP64 sommatie, die ~11 ulps aan fout accumuleert).
Prestaties: De INT32-doorvoer van de B300 (~75 TOPS) is ~58× hoger dan de FP64-doorvoer. Het routeren van Fase B naar deze pipe reduceert de geprojecteerde wandtijd naar ~18 ms.

C. Four-Floor Codesign Regel

Het artikel leidt vier "bandwidth-parity floors" (minimale doorvoervereisten relatief aan de geheugenbandbreedte, $BHBM$) af die nodig zijn om memory-roof parity voor FFT's te bereiken:

Native FP64 Floor: $\eta_{FP64} \ge 1,56 \cdot BHBM$ . (B300 faalt hieraan met ~10×).
Naive Ozaki Phase B Floor: $\eta_{FP64} \ge 2,06 \cdot BHBM$ . (Informatief; strikt moeilijker dan native).
Kulisch INT32 Sub-floor: $\eta_{INT32} \ge 8,25 \cdot BHBM$ . (B300 voldoet hieraan met ~14% marge).
FP8 Tensor-Core Floor: $\eta_{FP8} \ge 170 \cdot BHBM$ . (B300 voldoet hieraan met ~3,7× marge).

3. Belangrijkste Bijdragen

Identificatie van de $\gamma$ -Roof: Het artikel stelt vast dat voor 3D FFT's de Garner-reconstructiekosten ( $\gamma$ ) de dominante bottleneck worden bij specifieke probleemgroottes ( $k \approx 32$ ), wat de aanname ongeldig maakt dat alleen compute/memory termen de prestaties bepalen.
Tensor-Core Garner Herformulering: De auteurs introduceren een splitsing van de Garner-reconstructie in Fase A (Tensor Core) en Fase B (SIMT), waardoor de zware taken kunnen worden uitgevoerd door hoog-doorvoedende FP8/INT8 hardware.
Kulisch Fase B Redding: Het artikel stelt voor om de Kulisch fixed-point accumulator op de INT32 SIMT pipe te gebruiken om de Fase B reductie uit te voeren. Dit wordt gepresenteerd als een "software escape route" die FP64-gecollapseerde GPU's in staat stelt volledige FP64-nauwkeurigheid te bereiken zonder native FP64 vector-hardware.
Four-Floor Codesign Regel: Een nieuwe architecturale ontwerpregel wordt voorgesteld. Om volledige FP64 FFT's op post-FP64 hardware te ondersteunen, moet een GPU ofwel voldoen aan de native FP64 floor, OF beide de FP8 tensor-core floor en de Kulisch INT32 sub-floor.
Kwantitatieve Projecties:
- B300: Native FFT is ~124 ms; Recursieve Garner is ~260 ms; Naïve Fase B is ~163 ms. De Kulisch-route projecteert ~18 ms, wat de 12,9 ms memory roof benadert.
- Rubin: Bevindt zich binnen 4% van de native FP64 floor, waardoor emulatie overbodig is.
- H100/B200: Voldoen comfortabel aan de native floor.

4. Resultaten en Claims

Haalbaarheid: Het artikel claimt dat de B300, ondanks de verminderde FP64 vector-pipe, bijna memory-roof prestaties kan bereiken voor volledige FP64 3D FFT's (1024³) enkel door software engineering (Ozaki-Bailey + Kulisch).
Nauwkeurigheid: De Kulisch-methode biedt strikt betere nauwkeurigheid dan naïeve FP64 sommatie (één enkele finale afronding versus geaccumuleerde fout) terwijl deze volledig op de INT32 pipe draait.
Architecturale Implicaties:
- B300: Is "redbaar" voor spectrale codes als het Kulisch-kernel efficiënt wordt geïmplementeerd (uitgaande van 50–70% INT32 SIMT efficiëntie).
- Rubin: Is gebalanceerd voor spectrale codes; emulatie biedt geen versnelling.
- Toekomstig Ontwerp: Het artikel beargumenteert dat de native FP64 floor ( $\eta \ge 1,56 \cdot BHBM$ ) de veilige inkoopdoelstelling blijft. De Kulisch-route is een "redding" voor bestaande sub-floor architecturen, maar mag geen reden zijn voor verdere reducties in FP64 of INT32 silicium in toekomstige generaties. Als zowel FP64 als INT32 worden geschrapt, sluit de escape route.

5. Betekenis

Het artikel concludeert dat de combinatie van Ozaki-II emulatie, de Bailey decompositie en de Kulisch accumulator een end-to-end kernel-coverage audit biedt voor de post-FP64 stack. Het demonstreert dat zelfs met een "diep gecollapseerde" FP64 vector-pipe, volledige FP64 wetenschappelijke computing (specifiek FFT's) niet noodzakelijkerwijs dood is, mits de architectuur voldoende INT32 SIMT doorvoer en FP8 tensor-core capaciteit behoudt.

Het werk motiveert de creatie van een libKulisch bibliotheek om deze brede accumulator-primitieven voor FFT's, SpMV en andere low-operational-intensity reductie-gebonden kernels te implementeren. De auteurs benadrukken dat hoewel de projectie veelbelovend is (~18 ms), de empirische meting van de Kulisch Fase B kernel de directe volgende stap is om de efficiëntie-aannames te valideren.