Technisches Resümee: FP8 ist alles, was Sie brauchen (Teil 1)

1. Problemstellung

Die Arbeit adressiert eine kritische Divergenz in der Hardwarearchitektur für Hochleistungsrechnen (HPC). Während wissenschaftliche Simulationen (z. B. Quantenchromodynamik, CFD, Klimamodellierung) auf der IEEE 754 Double-Precision (fp64)-Arithmetik für numerische Stabilität beruhen, bewegen sich moderne Rechenzentrum-GPUs zunehmend auf Low-Precision-KI-Workloads zu.

Die NVIDIA Blackwell Ultra (B300) und die kommende Rubin (R200) Architekturen exemplifizieren diesen Wandel. Die B300 liefert einen massiven Durchsatz in Low-Precision-Formaten (10–15 PFLOPS in NVFP4/fp8), hat jedoch die native fp64-Tensorleistung auf etwa 1,3 TFLOPS kollabieren lassen – eine 30-fache Regression gegenüber der B200. Dies führt zu zwei spezifischen Pathologien:

1. Speichergebundene Kerne werden berechnungsgebunden: Der „Ridge Point“ (wo sich Rechen- und Speicherlimits schneiden) sinkt bei der B300 auf 0,16 FLOPS/Byte. Infolgedessen werden Standard-speichergebundene Kerne wie Sparse Matrix-Vector Multiplication (SpMV), Stencils und Batched GEMV, die zuvor am Speicherbandbreitenlimit liefen, nun künstlich durch die schwachen nativen fp64-Recheneinheiten begrenzt.
2. Dormant Silicon (Ruhender Silizium): Die massiven Low-Precision-Tensor-Cores (fp8/NVFP4) bleiben während fp64-exklusiver HPC-Workloads im Leerlauf, was eine „Dark Silicon“-Ineffizienz darstellt.

Die zentrale Frage ist, ob nativer fp64-Silizium weiterhin der „Heilige Gral“ des HPC bleibt oder ob ein reichlicher fp8-Durchsatz kombiniert mit algorithmischer Emulation die volle fp64-Genauigkeit und Performance wiederherstellen kann.

2. Methodik und Analytisches Modell

Das Tensor–Memory Equilibrium (TME) Modell

Die Autoren führen das Tensor–Memory Equilibrium (TME) Modell ein, eine Erweiterung des klassischen Roofline-Modells, um die Performance von emulierter fp64 auf Low-Precision-Hardware zu analysieren. Das Modell führt drei emulationsspezifische Parameter ein:

• $\alpha$ (Compute Multiplier): Die Anzahl der Low-Precision-Tensor-Core-Operationen, die pro High-Precision-Operation erforderlich sind (z. B. die Anzahl der Moduli $r$ im Chinese Remainder Theorem Ansatz).
• $\beta$ (Bandwidth Multiplier): Das Verhältnis des Datentransfers im emulierten Kernel gegenüber dem nativen Kernel. Entscheidend ist hierbei das Argument der Autoren, dass bei einer Fusion von Dekomposition und Rekonstruktion auf Register-Ebene $\beta$ gegen 1 gehen kann, was bedeutet, dass die Emulation keinen globalen Speicherverkehr-Overhead verursacht.
• $\gamma$ (Reconstruction Latency): Die Latenzkosten der Rekonstruktion des Endergebnisses (z. B. via Garner-Algorithmus).

Das Ozaki Scheme II

Die Arbeit nutzt das Ozaki Scheme II, eine Methode basierend auf dem Chinesischen Restsatz (CRT). Im Gegensatz zum ursprünglichen „Ozaki I“ (Mantissen-Slicing), welches quadratisch mit der Anzahl der Slices skaliert, zerlegt Ozaki II die Matrixmultiplikation in modulare Arithmetik über paarweise koprimen Moduli.

• Phase 1: Skalierung der Matrizen zu Ganzzahlen.
• Phase 2: Durchführung von fp8-GEMMs modulo $m_i$.
• Phase 3: Rekonstruktion des ganzzahligen Produkts mittels Garner-Algorithmus und Reskalierung auf fp64.

Die Arbeit passt dies spezifisch für fp8-Tensor-Cores (E4M3) an und nutzt einen Quantisierungs-Trick zur Emulation modularer Arithmetik auf Floating-Point-Einheiten, da die native Int8-Durchsatzrate auf B300/Rubin depriorisiert wurde.

Implementationsstrategie für speichergebundene Kerne

Ein zentraler Beitrag ist die Identifizierung der Register-Level-Fusion als Mechanismus, um $\beta \to 1$ zu treiben. Die vorgeschlagene Implementationsstrategie umfasst:

1. Laden der fp64-Operanden in den Shared Memory.
2. Dekomposition der Operanden in Residuen-Ebenen (residue planes) direkt innerhalb der Register.
3. Ausführung von $r$ Low-Precision-Tensor-Core MMAs auf diesen Residuen-Ebenen.
4. Rekonstruktion des Ergebnisses via Garner-Algorithmus in den Registern vor dem Zurückschreiben in den Global Memory.
   Dies stellt sicher, dass die Residuen-Ebenen niemals den HBM berühren, wodurch die Speicherbandbreite geschont wird.

3. Zentrale Beiträge

1. Unified Performance Model: Die Ableitung des TME-Modells, das den Crossover-Punkt der Arithmetischen Intensität vorhersagt, an dem Emulation die native fp64-Performance übertrifft, unter expliziter Berücksichtigung der $\alpha, \beta, \gamma$ Parameter.
2. Kernel Design Discipline: Die Identifizierung der Register-Level-Fusion als Korrektheitsanforderung für speichergebundene Kerne. Ohne diese würde die Bandbreiteninflation ($\beta > 1$) die Vorteile der Emulation zunichtemachen.
3. Generationelle Projektionen: Performance-Projektionen für B300 und Rubin R200 zeigen, dass Ozaki II + fp8 erreichen kann:
   • Memory-Bound Regime: Ein Durchsatz, der das Speicher-Roof erreicht (z. B. 4 TFLOPS für Stencils auf B300), was die Performance effektiv auf das Niveau vor dem Kollaps zurückführt.
   • Compute-Bound Regime: Durchsatz-Decken von ~500 TFLOPS (B300) und ~400 TFLOPS (Rubin), was die native fp64-Decke der vorherigen Generation (B200, 40 TFLOPS) um eine Größenordnung übertrifft.
4. H100 Baseline Vergleich: Eine Neubewertung gegenüber der H100 (dem letzten HPC-balancierten GPU-Modell). Die Arbeit zeigt, dass Ozaki II auf B300/Rubin die H100-Performance in allen Workloads erreicht oder übertrifft, während die native B300 fp64-Leistung bei rechenintensiven Aufgaben um bis zu das 50-fache regrediert.
5. End-to-End Kernel Coverage: Ein umfassendes Audit, das die Ergebnisse dieser Arbeit mit einer begleitenden FFT-Analyse [19] und BLAS-1 Reduktionsstrategien (FP32 + Kahan) kombiniert. Das Audit kommt zu dem Schluss, dass jede wichtige HPC-Kernklasse (GEMM, SpMV, Stencils, FFT, Reduktionen) einen Pfad zum Speicher-Roof bei voller fp64-Genauigkeit auf der B300 bietet.

4. Ergebnisse

• Speedup-Faktoren: Auf der B300 liefert Ozaki II/fp8:
  • ~380× Speedup für Dense GEMM (compute-bound).
  • ~24× Speedup für Batched GEMV (B=8).
  • ~3,1× Speedup für 7-Punkt-Stencils.
  • ~1,2× Speedup für SpMV (tief speichergebunden).
• Rubin Vorteil: Auf der Rubin R200 führt der Sprung in der HBM-Bandbreite (auf 22 TB/s) in Kombination mit Ozaki II zu einer 2,75× Verbesserung gegenüber der B300 im speichergebundenen Regime und einer 6,6× Verbesserung gegenüber der H100 über das gesamte Spektrum.
• Substratwahl: Die Arbeit bestätigt, dass fp8 das überlegene Substrat für Ozaki II auf B300/Rubin ist, aufgrund des Kollapses des Int8-Durchsatzes, was einen 30× höheren Emulations-Ceiling-Vorteil gegenüber Int8 auf der B300 bietet.
• Genauigkeit: Die Emulation hält beweisbare komponentenweise Fehlerschranken ein, die mit nativer fp64 vergleichbar sind, sofern die Anzahl der Moduli $r$ korrekt gewählt wird (typischerweise $r \approx 10$ für fp8).

5. Bedeutung und Thesen

Die Arbeit argumentiert, dass der „Heilige Gral“ des nativen fp64-Siliziums keine Voraussetzung mehr für glaubwürdiges wissenschaftliches Rechnen ist. Stattdessen ist die Kombination aus reichlich vorhandenem fp8-Tensor-Durchsatz und Ozaki Scheme II Emulation ausreichend, um die Ausführung am Speicher-Roof bei voller fp64-Genauigkeit über das gesamte kanonische HPC-Kernel-Spektrum hinweg wiederherzustellen.

Zentrale Thesen:

• Parität in Memory-Bound Regimes: Emulation benachteiligt speichergebundene Kerne nicht; mit Register-Level-Fusion erreicht sie Parität mit dem Speicher-Roof, genau wie ein gesunder nativer fp64-Chip.
• Überlegenheit in Compute-Bound Regimes: Emulation übertrifft die nativen fp64-Kapazitäten der vorherigen Generation (B200) und der aktuellen Generation massiv.
• Strategische Lebensfähigkeit: Der Engineering-Aufwand zur Implementierung dieser Kerne ist nun auf einer Zeitskala von „Monaten statt Jahren“ handhabbar, begünstigt durch moderne KI-Coding-Assistenten und die Standardisierung des algorithmischen Musters.
• Architektonische Implikation: Zukünftige GPU-Designs sollten ausreichenden fp8-Tensor-Durchsatz und einen Fallback-Pfad (wie den Kulisch INT32 Sub-Floor für Spektral-Arbeiten) sicherstellen, anstatt auf nativen fp64-Tensoren zu beharren. Die Arbeit postuliert, dass „fp8 (mit dem richtigen algorithmischen Scaffolding) alles ist, was man für produktives HPC braucht“.

Die Arbeit schließt mit der Feststellung, dass die „Post-fp64-Ära“ keine Regression ist, sondern eine strategische Neuausrichtung, bei der softwaredefinierte Emulation die Silizium-Einsparungen aus der KI-Optimierung in nutzbaren, hochpräzisen wissenschaftlichen Durchsatz umwandelt.