💻 computer science

FP8 is All You Need (Part 2): Efficient Ozaki-Bailey Style FFT Through Tensor-core Garner Reformulation and Kulisch Escape Route

Dieses Paper schlägt die „Ozaki-Bailey-FFT“ vor, eine Methode, die voll FP64-genaue 3D-FFTs auf NVIDIA Blackwell Ultra GPUs ermöglicht, indem sie die Berechnung durch FP8-Tensor-Cores und Kulisch-Festkomma-Arithmetik neu formuliert und dadurch den reduzierten nativen FP64-Durchsatz der Hardware überwindet, um eine speichergebundene Leistungsparität zu erreichen.

Ursprüngliche Autoren: Satoshi Matsuoka

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Satoshi Matsuoka

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Schwerlast-Heber“ hat seine Kraft verloren

Stellen Sie sich einen Hochleistungs-Computerchip (wie den neuen NVIDIA B300) als eine riesige Baustelle vor. In der Vergangenheit hatte diese Baustelle einen gigantischen, superstarken Kran (die FP64-Vektor-Pipeline), der in der Lage war, schwere, präzise Stahlträger (wissenschaftliche Berechnungen) mit unglaublicher Geschwindigkeit zu heben.

Das neue Chipdesign hat sich jedoch fast ausschließlich darauf konzentriert, KI-Modelle zu bauen. Um Platz für die KI zu schaffen, haben sie den riesigen Kran durch eine Flotte von winzigen, superschnellen Lieferdrohnen (die FP8-Tensor-Kerne) ersetzt. Diese Drohnen sind fantastisch darin, leichte Pakete (KI-Daten) zu bewegen, aber sie sind schrecklich darin, die schweren, präzisen Stahlträger zu heben, die für wissenschaftliche Arbeiten wie Wettervorhersagen oder Physiksimulationen benötigt werden.

Das Ergebnis? Die Baustelle ist so schnell im Bewegen leichter Pakete, dass sie eigentlich auf die Ankunft der Lastwagen wartet (Speichergeschwindigkeit), aber die wenigen schweren Kräne, die übrig geblieben sind, sind so langsam, dass das gesamte Projekt zum Stillstand kommt, wenn man versucht, sie zu benutzen.

Das Ziel: Eine Brücke zum „Speicherdach“ bauen

Die Autoren möchten, dass wissenschaftliche Berechnungen so schnell laufen wie die Speicher-LKW die Daten liefern können. Diese Geschwindigkeitsgrenze wird als „Speicherdach“ (Memory Roof) bezeichnet. Derzeit steckt der B300-Chip weit unter diesem Dach fest, weil sein schwerer Kran zu schwach ist.

Das Papier schlägt einen klugen, dreiteiligen Bauplan vor, um den defekten Kran zu umgehen und das Dach wieder zu erreichen, indem nur die Werkzeuge verwendet werden, die der Chip bereits besitzt.

Die dreiteilige Lösung

1. Die „Ozaki-Bailey“-Strategie: Den Träger in Ziegelsteine zerlegen

Anstatt zu versuchen, den schweren Stahlträger (ein komplexes 3D-Mathematikproblem namens 3D FFT) auf einmal zu heben, zerlegt das Team ihn in Einzelteile.

Die Metapher: Stellen Sie sich vor, Sie müssen eine riesige, zerbrechliche Statue bewegen. Sie können sie nicht im Ganzen heben. Stattdessen zerlegen Sie sie in tausende kleine, handliche Lego-Steine.
Die Technik: Sie verwenden einen mathematischen Trick namens Bailey Six-Step Decomposition, um das große Mathematikproblem in winzige Teile zu zerlegen. Dann nutzen sie das Ozaki-Schema, welches diese Teile in „Ziegelsteine“ übersetzt, die die winzigen, schnellen Lieferdrohnen (FP8-Tensor-Kerne) problemlos handhaben können.

2. Das „Garner“-Problem: Der Engpass beim Wiederzusammenbau

Sobald die Drohnen alle Lego-Steine bewegt haben, müssen Sie diese wieder zusammenfügen, um die Statue wieder aufzubauen.

Das Problem: Auf dem alten Weg, dies zu tun (genannt Recursive Garner), war das Wiederzusammenbauen der Steine langsam und klobig. Es war, als würde man versuchen, eine Million winziger Steine von Hand zusammenzukleben. Auf dem neuen Chip dauerte dieser Schritt des Wiederzusammenbaus 260 Millisekunden, was 20-mal langsamer war, als die Speicher-LKW die Steine liefern konnten. Das war der neue Flaschenhals.
Die Lösung (Phase A): Die Autoren erkannten, dass sie die schnellen Drohnen nutzen können, um das „Verkleben“ für den ersten Teil des Zusammenbaus zu übernehmen. Sie teilten die Aufgabe auf:
- Phase A: Die schnellen Drohnen erledigen das schwere Heben der ersten Montage. Das geht super schnell.
- Phase B: Der finale, schwierige Teil des Zusammenbaus der Statue. Hier versagte die alte Methode.

3. Die „Kulisch-Fluchtroute“: Die Geheimwaffe

Dies ist die kreativste Innovation des Papers.

Das Problem: Der letzte Schritt (Phase B) erfordert normalerweise einen sehr präzisen, schwer ausgebildeten Rechner (die FP64-Pipeline), um die Zahlen aufzusummieren. Aber auf dem B300-Chip ist dieser schwere Rechner geschwächt oder langsam.
Die Lösung: Die Autoren fanden einen Weg, ein anderes Werkzeug zu nutzen, das der Chip nicht reduziert hat: die INT32-Pipeline (einen Standard-Ganzzahl-Rechner).
Die Metapher: Stellen Sie sich vor, Sie müssen einen riesigen Haufen Sand bis auf jedes einzelne Korn genau zählen. Der „schwere Kran“ (FP64) ist kaputt. Aber Sie haben eine Flotte von Zählrobotern (INT32), die unglaublich schnell darin sind, ganze Zahlen zu addieren.
- Die Autoren erkannten, dass sie, wenn sie die Sandkörner als einfache ganze Zahlen behandeln und einen „weiten Eimer“ (einen Kulisch-Akkumulator) verwenden, um sie aufzufangen, die Zählroboter den Job perfekt erledigen können.
- Sie brauchen den kaputten schweren Kran gar nicht erst. Sie nutzen einfach die schnellen Zählroboter für die finale Summe und gießen das Ergebnis erst ganz am Ende einmalig in den schweren Kran.
Das Ergebnis: Diese „Kulisch“-Methmethode ermöglicht es dem Chip, die Aufgabe in 18 Millisekunden abzuschließen, was fast so schnell ist, wie die Speicher-LKW die Daten liefern können (das Speicherdach).

Die „Vier-Etagen-Regel“ für zukünftige Chips

Die Autoren analysierten diesen Prozess und erstellten ein Regelwerk für Chip-Designer, die sogenannte „Four-Floor Codesign Rule“. Um sicherzustellen, dass ein Chip diese wissenschaftlichen Aufgaben in Zukunft bewältigen kann, muss er eine von zwei Bedingungen erfüllen:

Die Native Etage: Behalten Sie den schweren Kran (FP64) stark genug, um die Aufgabe allein zu bewältigen.
Die Kulisch-Fluchtroute: Wenn Sie den schweren Kran schwächen, müssen Sie die Zählroboter (INT32) und die Lieferdrohnen (FP8) stark genug halten, damit sie gemeinsam die Arbeit erledigen können.

Das Urteil über aktuelle Chips:

H100 und B200: Sie haben starke schwere Kräne. Sie brauchen den Trick nicht; sie erledigen den Job ganz normal.
Rubin (Zukünftiger Chip): Er hat einen etwas schwächeren Kran, ist aber immer noch gerade so stark genug, um den Job normal zu erledigen.
B300 (Das „Problemkind“): Sein schwerer Kran ist 10-mal zu schwach. Dennoch retten die Autoren mit ihrer „Kulisch-Fluchtroute“ den Chip, da seine Zählroboten (INT32) und Lieferdrohnen (FP8) immer noch stark genug sind. So können sie diese wissenschaftlichen Aufgaben mit Höchstgeschwindigkeit ausführen, aber nur, wenn sie diesen spezifischen Software-Trick anwenden.

Zusammenfassung

Das Paper sagt: „Geraten Sie nicht in Panik, wenn der schwere Kran weg ist. Wenn Sie die Aufgabe in kleine Teile zerlegen, die schnellen Drohnen zum Bewegen nutzen und die schnellen Zählroboter für die finale Mathematik einsetzen, können Sie immer noch das Geschwindigkeitslimit der Speicher-LKW erreichen.“

Dies beweist, dass wir selbst mit einem Chip, der primlich für KI entwickelt wurde, weiterhin hocheffiziente wissenschaftliche Berechnungen mit hoher Präzision durchführen können, sofern wir den richtigen Software-„Hack“ verwenden, um die Arbeit um die fehlende Hardware herumzuleiten.

Technisches Resümee: FP8 is All You Need (Teil 2)

1. Problemstellung

Das Paper adressiert den architektonischen Wandel bei den NVIDIA Blackwell Ultra (B300) und Rubin GPUs, bei dem der FP64-Vektordurchsatz drastisch reduziert wurde, um KI-Workloads (FP8/FP16 Tensor Cores) zu priorisieren. Speziell ist der FP64-Vektordurchsatz der B300 (~1,3 TFLOPS) etwa 30-mal niedriger als der der B200 und unzureichend, um speichergebundene wissenschaftliche Workloads, wie etwa 3D Fast Fourier Transforms (FFT), am Speicherbandbreiten-Limit (Memory Roof) aufrechtzuerhalten.

Während das Begleitpaper [1] demonstrierte, dass das Ozaki Scheme II (Ozaki-II) Emulations-Framework in der Lage ist, einen FP64-äquivalenten Durchsatz für dichte Matrizenoperationen (GEMM, GEMV, Stencils, SpSpMV) durch die Nutzung von FP8-Tensor-Cores wiederherzustellen, blieb eine kritische Lücke bestehen: die 3D FFT. Die FFT stellt einen einzigartigen Engpass dar, bei dem die Rekonstruktionskosten (Garner-Rekonstruktion) anders skalieren als bei dichten GEMMs, was den Standard-Ozaki-II-Ansatz auf diesen „FP64-kollabierten“ Architekturen potenziell ineffizient oder unpraktikabel macht.

2. Methodik

Die Autoren schlagen Ozaki-Bailey FFT vor, ein Emulations-Framework, das das Ozaki-II Residuen-Zahlensystem mit der Bailey Six-Step-Dekomposition für 3D FFTs kombiniert. Die Methodik umfasst eine dreiteilige Analyse und Reformulierung:

A. Die $\gamma$ -Roof-Analyse

Die Autoren analysieren das TME (Tensor-Memory Equilibrium) Modell des FFT-Kernels. Im Gegensatz zu dichten GEMMs, bei denen die Rechen- ( $\alpha$ ) und Speicher- ( $\beta$ ) Terme dominieren, verursacht der Fall der FFT bei einer Bailey-Innen-Dimension von $k \approx \sqrt{N} = 32$ (für $N=1024$ ), dass die Garner-Rekonstruktionslatenz ( $\gamma$ ) zum bindenden Constraint wird.

Problem: Die standardmäßige rekursive Garner-Rekonstruktion erfordert $O(r^2)$ Integer-Operationen pro Ausgabeelement. Auf der B300 führt dies zu einer Wandzeit von ~260 ms, was etwa 20-mal langsamer ist als das Speicher-Limit (12,9 ms).
Reformulierung: Die Autoren zerlegen die Garner-Rekonstruktion in zwei Phasen:
- Phase A: Skalarprodukte unter Verwendung von Mantissen-geschnittenen Koeffizienten (vorwärts CRT), die auf FP8/INT8 Tensor Cores abgebildet werden. Dieser Schritt ist hocheffizient (~0,5 ms).
- Phase B: Eine per-Output-Reduktion der Phase-A-Ergebnisse. In einer naiven Implementierung läuft dies auf der kollabierten FP64-Vektor-Pipeline, was einen neuen Engpass erzeugt (~163 ms).

B. Der Kulisch Escape Route (Phase B Reformulierung)

Um den Phase-B-Engpass zu lösen, ohne sich auf die schwache FP64-Vektor-Pipeline zu verlassen, untersuchen die Autoren klassische exakte Akkumulationsverfahren. Sie identifizieren den Kulisch Fixed-Point Complete-Arithmetic Accumulator [16, 17] als Lösung.

Mechanismus: Anstatt eine Gleitkomma-Summation durchzuführen, erfolgt die Reduktion mittels eines breiten Fixed-Point-Akkumulators (160-Bit, implementiert über fünf INT32-Register) auf der INT32 SIMT-Pipeline.
Präzision: Die Akkumulation erfolgt exakt (keine Zwischenrundungen). Die einzige Rundung findet einmalig bei der finalen Konvertierung vom 160-Bit-Integer zu FP64 statt. Dies bewahrt die volle FP64-Genauigkeit (besser als eine naive FP64-Summation, die ~11 ulps Fehler akkumuliert).
Performance: Der INT32-Durchsatz der B300 (~75 TOPS) ist ~58-mal höher als ihr FP64-Durchsatz. Die Verlagerung von Phase B hierauf reduziert die projizierte Wandzeit auf ~18 ms.

C. Four-Floor Codesign Rule

Das Paper leitet vier „Bandbreiten-Paritäts-Böden“ (minimale Durchsatzanforderungen relativ zur Speicherbandbreite, $BHBM$) ab, die erforderlich sind, um Speicher-Limit-Parität für FFTs zu erreichen:

Nativer FP64 Floor: $\eta_{FP64} \ge 1.56 \cdot BHBM$ . (B300 verfehlt dies um ~10×).
Naive Ozaki Phase B Floor: $\eta_{FP64} \ge 2.06 \cdot BHBM$ . (Informativ; streng genommen schwieriger als nativ).
Kulisch INT32 Sub-floor: $\eta_{INT32} \ge 8.25 \cdot BHBM$ . (B300 erfüllt dies mit ~14% Marge).
FP8 Tensor-Core Floor: $\eta_{FP8} \ge 170 \cdot BHBM$ . (B300 erfüllt dies mit ~3.7× Marge).

3. Kernbeiträge

Identifizierung des $\gamma$ -Roof: Das Paper stellt fest, dass bei 3D FFTs die Garner-Rekonstruktionskosten ( $\gamma$ ) bei spezifischen Problemgrößen ( $k \approx 32$ ) zum dominanten Engpass werden, was die Annahme entkräftet, dass allein Rechen- und Speicherterme die Performance diktieren.
Tensor-Core Garner Reformulierung: Die Autoren führen eine Aufteilung der Garner-Rekonstruktion in Phase A (Tensor Core) und Phase B (SIMT) ein, was die Nutzung der hochdurchsatzfähigen FP8/INT8-Hardware für die rechenintensiven Aufgaben ermöglicht.
Kulisch Phase B Rettung: Das Paper schlägt vor, die Phase-B-Reduktion mittels des Kulisch Fixed-Point-Akkumulators auf der INT32 SIMT-Pipeline durchzuführen. Dies wird als „Software Escape Route“ präsentiert, die es FP64-kollabierten GPUs ermöglicht, volle FP64-Genauigkeit ohne native FP64-Vektorhardware zu erreichen.
Four-Floor Codesign Rule: Es wird eine neue architektonische Design-Regel vorgeschlagen. Um volle FP64-FFTs auf Post-FP64-Hardware zu unterstützen, muss eine GPU entweder den nativen FP64-Boden erfüllen ODER sowohl den FP8-Tensor-Core-Boden als auch den Kulisch-INT32-Sub-Boden erfüllen.
Quantitative Projektionen:
- B300: Native FFT ist ~124 ms; Rekursive Garner ist ~260 ms; Naive Phase B ist ~163 ms. Der Kulisch-Pfad projiziert ~18 ms und nähert sich damit dem 12,9 ms Speicher-Limit an.
- Rubin: Liegt innerhalb von 4 % des nativen FP64-Bodens, wodurch eine Emulation unnötig wird.
- H100/B200: Erfüllen den nativen Boden problemlos.

4. Ergebnisse und Behauptungen

Machbarkeit: Das Paper behauptet, dass die B300 trotz ihres reduzierten FP64-Vektorpipes durch Software-Engineering (Ozaki-Bailey + Kulisch) eine nahezu Speicher-Limit-Performance für volle FP64 3D FFTs erreichen kann.
Genauigkeit: Die Kulisch-Methode bietet eine strikt bessere Genauigkeit als eine naive FP64-Summation (einzelne finale Rundung gegenüber akkumuliertem Fehler), während sie vollständig auf der INT32-Pipeline läuft.
Architektonische Implikationen:
- B30 B300: Ist für Spektral-Codes „rettbar“, sofern der Kulisch-Kernel effizient implementiert wird (unter der Annahme einer 50–70 % INT32 SIMT-Effizienz).
- Rubin: Ist ausgewogen für Spektral-Codes; Emulation bietet keinen Geschwindigkeitsvorteil.
- Zukünftiges Design: Das Paper argumentiert, dass der native FP64-Boden ( $\eta \ge 1.56 \cdot BHBM$ ) das sichere Beschaffungsziel bleibt. Der Kulisch-Weg ist eine „Rettung“ für bestehende Sub-Floor-Architekturen, sollte aber nicht dazu führen, FP64 oder INT32 in zukünftigen Generationen weiter zu reduzieren. Wenn sowohl FP64 als auch INT32 gekürzt werden, schließt sich der Escape Route.

5. Bedeutung

Das Paper schließt mit der Feststellung, dass die Kombination aus Ozaki-II Emulation, der Bailey-Dekomposition und dem Kulisch-Akkumulator eine End-to-End Kernel-Coverage Audit für den Post-FP64-Stack bietet. Es zeigt, dass selbst mit einem „tief kollabierten“ FP64-Vektorpipe das volle FP64-Scientific Computing (speziell FFTs) nicht zwangsläufig am Ende ist, sofern die Architektur über ausreichenden INT32 SIMT-Durchsatz und FP8-Tensor-Core-Kapazität verfügt.

Die Arbeit motiviert die Entwicklung einer libKulisch-Bibliothek zur Implementierung dieser Wide-Accumulator-Primitiven für FFTs, SpMV und andere Reduktions-gebundene Kernel mit geringer Operational Intensity. Die Autoren betonen, dass die Projektion zwar vielversprechend ist (~18 ms), die empirische Messung des Kulisch Phase B Kernels jedoch der nächste notwendige Schritt ist, um die Effizienzannahmen zu validieren.