Double-Precision Matrix Multiplication Emulation via Ozaki-II Scheme with FP8 Quantization

Diese Arbeit stellt eine neuartige Methode vor, die es ermöglicht, die Ozaki-II-Scheme zur Emulation von FP64-Matrixmultiplikation auf FP8-MMA-Einheiten anzuwenden, wodurch im Vergleich zum Ozaki-I-Ansatz die Anzahl der erforderlichen FP8-Multiplikationen signifikant reduziert und eine effiziente Berechnung auf zukünftigen GPU-Architekturen ermöglicht wird.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Architekt, der einen riesigen, extrem präzisen Wolkenkratzer bauen muss. In der Welt des Supercomputing (HPC) ist diese Aufgabe die Doppelgenauigkeits-Matrixmultiplikation (DGEMM). Das ist die mathematische Basis für alles von Wettervorhersagen bis hin zu Simulationen von Atomkernen.

Früher hatten die Computerbausteine (GPUs) spezielle Werkzeuge für diese feine, langsame Arbeit (FP64). Aber in den letzten Jahren haben sich die Hersteller darauf konzentriert, Werkzeuge für künstliche Intelligenz (KI) zu bauen. Diese KI-Werkzeuge sind extrem schnell, aber sie arbeiten nur mit groben, einfachen Zahlen (wie FP8 oder INT8).

Das Problem: Die neuen Supercomputer (wie NVIDIAs "Rubin" oder "Blackwell Ultra") haben die feinen Werkzeuge für die präzise Arbeit fast ganz entfernt oder stark verkleinert. Sie sind jetzt vollgepackt mit den schnellen, aber groben KI-Werkzeugen.

Die Frage lautet: Wie baut man einen präzisen Wolkenkratzer, wenn man nur noch grobe, schnelle Werkzeuge hat?

Hier kommt die Lösung der Autoren ins Spiel: Ein cleverer Trick namens "Ozaki-II-Schema", der jetzt auch mit den neuen FP8-Werkzeugen funktioniert.

Die Analogie: Der Bau mit Lego-Steinen

Stellen Sie sich vor, Sie müssen eine riesige Zahl (z. B. eine sehr genaue Messung) berechnen, aber Ihr Taschenrechner kann nur kleine, einfache Zahlen addieren.

1. Der alte Weg (Ozaki-I):
   Man nimmt die große Zahl und zerlegt sie in viele kleine, einfache Teile (wie Lego-Steine). Man berechnet jeden Teil einzeln und setzt sie am Ende wieder zusammen.

   • Nachteil: Man braucht sehr viele Lego-Steine (viele Rechenoperationen), um die Genauigkeit zu erreichen. Das ist langsam, auch wenn die einzelnen Steine schnell verarbeitet werden.

2. Der neue Weg (Ozaki-II mit FP8):
   Die Autoren haben einen noch clevereren Trick gefunden. Statt einfach nur viele Steine zu stapeln, nutzen sie eine Art "mathematisches Puzzle", das auf dem chinesischen Restsatz basiert (ein alter mathematischer Trick, um große Zahlen aus kleinen Resten zu rekonstruieren).

   • Das Problem mit FP8: Früher funktionierte dieser Trick nur mit "INT8" (ganzzahligen Zahlen). Wenn man versuchte, ihn mit "FP8" (Fließkommazahlen) zu machen, passte das Puzzle nicht zusammen, weil FP8 einen "Exponenten" (eine Art Zehnerpotenz) hat, der bei den alten Tricks stört.
   • Die Lösung der Autoren: Sie haben das Puzzle neu gezeichnet. Sie nutzen eine Mischung aus zwei Methoden:
     • Ein Teil des Puzzles wird mit einer Methode namens Karatsuba gelöst (eine Art, große Multiplikationen in kleinere zu zerlegen).
     • Der andere Teil nutzt einen Trick, bei dem sie bestimmte Zahlen so wählen, dass der störende Exponent einfach wegfällt (Modulare Reduktion).

   Das Ergebnis: Sie können die präzise Berechnung mit den schnellen FP8-Werkzeugen durchführen, aber sie brauchen deutlich weniger Rechenschritte als beim alten "viele Steine stapeln"-Verfahren.

Warum ist das wichtig?

Stellen Sie sich vor, Sie haben zwei Arten von Arbeitern:

• INT8-Arbeiter: Sehr schnell, aber sie können nur ganze Zahlen zählen.
• FP8-Arbeiter: Auch sehr schnell, aber sie können Dezimalzahlen (wie 3,14) verarbeiten.

In den neuen Computern sind die INT8-Arbeiter teilweise durch FP8-Arbeiter ersetzt worden. Die Autoren zeigen nun, wie man mit den FP8-Arbeitern genauso präzise bauen kann wie mit den alten INT8-Arbeitern, ohne dabei die Geschwindigkeit zu verlieren.

Der Vergleich:

• Ozaki-I (der alte Trick mit FP8): Benötigt etwa 121 Rechenschritte, um die Genauigkeit zu erreichen.
• Ozaki-II (der neue Trick mit FP8): Benötigt nur etwa 36 Rechenschritte.

Das ist wie der Unterschied zwischen einem Bau, bei dem man 121 kleine Steine einzeln setzen muss, und einem, bei dem man nur 36 große, vorgefertigte Module braucht.

Das Fazit für den Alltag

Die Autoren haben eine Art "Übersetzer" entwickelt. Dieser Übersetzer nimmt die komplexen, präzisen Aufgaben, die Supercomputer normalerweise nur langsam lösen können, und wandelt sie so um, dass die neuen, extrem schnellen KI-Chips sie blitzschnell bearbeiten können.

Warum sollten wir das wissen?

1. Zukunftssicherheit: Wenn die Computerhersteller die präzisen Werkzeuge weiter entfernen, können wir trotzdem weiterhin präzise wissenschaftliche Berechnungen durchführen.
2. Effizienz: Es spart Energie und Zeit, weil die neuen Chips voll ausgenutzt werden.
3. Flexibilität: Es funktioniert auch auf Hardware, die gar keine "ganzzahligen" (INT8) Werkzeuge mehr hat, sondern nur noch die "Dezimal"-Werkzeuge (FP8).

Kurz gesagt: Die Autoren haben einen Weg gefunden, wie man mit den schnellen, groben Werkzeugen der KI-Ära trotzdem die feine, präzise Arbeit der Wissenschaft erledigen kann – ohne dabei die Geschwindigkeit zu opfern. Sie haben das Puzzle so umgebaut, dass es perfekt in die neue Maschine passt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Double-Precision Matrix Multiplication Emulation via Ozaki-II Scheme with FP8 Quantization" auf Deutsch:

1. Problemstellung und Hintergrund

In High-Performance-Computing (HPC)-Anwendungen ist die Gleitkommaarithmetik mit doppelter Genauigkeit (FP64) nach wie vor unverzichtbar, um numerische Genauigkeit und Stabilität zu gewährleisten. Allerdings haben sich die Leistungssteigerungen bei FP64-Arithmetik in den letzten Hardware-Generationen als eher moderat erwiesen. Im Gegensatz dazu bieten Low-Precision-Arithmetikformate (wie INT8, FP8, FP16) aufgrund des AI-Booms massive Durchsatzsteigerungen.

Ein spezifisches Problem entsteht jedoch durch den Trend bei neuen NVIDIA-Architekturen (z. B. Blackwell Ultra, Rubin), bei denen die Ressourcen für INT8-Operationen drastisch reduziert wurden, während die Unterstützung für Low-Precision-Floating-Point-Formate (FP8) priorisiert wird.

• Das Ziel: Die Emulation von Double-Precision General Matrix-Matrix Multiplication (DGEMM) unter Nutzung von FP8-Matrix-Multiply-Accumulate (MMA)-Einheiten.
• Die Herausforderung: Bisherige Methoden zur DGEMM-Emulation basieren oft auf dem Ozaki-II-Schema, das für INT8 optimiert ist. Eine direkte Übertragung dieses Algorithmus auf FP8 ist nicht möglich, da das ursprüngliche Schema auf festkomma-basierter Modulararithmetik und exakter ganzzahliger Repräsentation beruht, was bei FP8 (mit Exponenten und Mantisse) nicht ohne Weiteres funktioniert.

2. Methodik und vorgeschlagene Lösung

Die Autoren schlagen eine neuartige Methode vor, die das Ozaki-II-Schema an FP8-Einheiten (speziell FP8 E4M3) anpasst. Der Kernansatz besteht darin, die FP64-Matrizen in mehrere niedrigpräzise Matrizen zu zerlegen und deren Produkte über den Chinesischen Restsatz (CRT) wiederherzustellen.

Die Lösung gliedert sich in folgende technische Innovationen:

• Analyse der Limitierungen: Eine direkte Quantisierung auf FP8 E4M3 scheitert, da der darstellbare Bereich ganzer Zahlen in FP8 (ca. -16 bis 16) zu klein ist, um die benötigte Dynamik für FP64-Genauigkeit zu erreichen.
• Karatsuba-basierte Erweiterung: Um den darstellbaren Bereich zu erweitern, werden die Matrizen als Summe zweier FP8-Matrizen dargestellt ($A' = s \cdot A^{(1)} + A^{(2)}$). Durch Anwendung der Karatsuba-Methode kann das Produkt mit nur drei FP8-Multiplikationen berechnet werden. Dies erlaubt die Wahl größerer Moduli ($p_\ell \le 513$).
• Hybride Methode (Modulare Reduktion ohne Karatsuba): Um die Anzahl der benötigten Matrixmultiplikationen weiter zu senken, wird eine hybride Strategie entwickelt:
  • Für quadratische Moduli ($p_\ell = s^2$) wird eine spezielle modulare Reduktion verwendet, die die teure Karatsuba-Rekonstruktion umgeht.
  • Für nicht-quadratische Moduli wird die Karatsuba-Methode beibehalten.
  • Dies reduziert die benötigte Anzahl der Moduli von 14 (bei reiner INT8-Nutzung) auf 12 für FP8, um FP64-Genauigkeit zu erreichen.
• Wahl von FP8 vs. FP16/FP4: Die Autoren begründen, warum FP8 der richtige Kompromiss ist. FP16/BF16 erfordern bei gleicher Genauigkeit eine Blockierung, die die Effizienz der MMA-Einheiten mindert. FP4 bietet zu wenig Kapazität für die notwendigen Zwischensummen ohne Rundungsfehler. FP8 bietet mit 3 Mantissenbits (effektiv 4 Bits) und FP32-Akkumulation den optimalen Bereich für fehlerfreie Berechnungen bei $k \le 2^{16}$.

3. Wichtige Beiträge

1. Algorithmische Anpassung: Erste Demonstration, wie das Ozaki-II-Schema für FP8-MMA-Einheiten adaptiert werden kann, indem die inhärenten Unterschiede zwischen Festkomma (INT) und Gleitkomma (FP) überwunden werden.
2. Hybrider Algorithmus: Entwicklung einer Methode, die quadratische Moduli nutzt, um die Anzahl der FP8-Multiplikationen im Vergleich zu einer reinen Karatsuba-Erweiterung zu minimieren (Reduktion von 36 auf 37 Multiplikationen für 12 Moduli im Vergleich zu 121 bei Ozaki-I).
3. Leistungsmodellierung: Erstellung analytischer Leistungsmodelle für INT8- und FP8-basierte Emulationen, die Durchsatz, Speicherbandbreite und Overhead berücksichtigen.
4. Open-Source-Bibliothek: Bereitstellung einer portablen GPU-Bibliothek für NVIDIA und AMD, die sowohl INT8- als auch FP8-Ozaki-II-Methoden unterstützt und bitgenaue Reproduzierbarkeit garantiert.

4. Ergebnisse und Evaluation

Die Methoden wurden auf NVIDIA RTX 5080 und HGX B200 Systemen evaluiert.

• Genauigkeit: Die FP8-basierte Emulation erreicht in „Accurate Mode" eine Genauigkeit, die der nativen FP64-Berechnung (via cuBLAS) und der INT8-basierten Emulation nahe kommt. Besonders bei kleinen $k$-Werten zeigt die FP8-Methode eine engere Schätzung der Fehlergrenzen als die INT8-Methode.
• Durchsatz (Throughput):
  • Auf der RTX 5080 (mit vergleichbaren INT8/FP8-Leistungen) ist die INT8-Emulation um den Faktor 1,3 bis 2,9 schneller als die FP8-Emulation.
  • Auf dem B200 (mit reduzierter INT8-Leistung) bleibt die INT8-Emulation schneller, aber der Vorsprung schwindet.
  • Prognose für Rubin/B300: Da diese Architekturen INT8-Ressourcen drastisch reduzieren, wird erwartet, dass die FP8-Emulation auf zukünftigen Systemen die einzige praktikable Option für hochperformante FP64-Emulation bleibt.
• Speicherverbrauch: Die FP8-Methode benötigt deutlich mehr Arbeitsspeicher (Workspace) als die INT8-Methode (z. B. 55 GB vs. 27 GB für $16384^3$), da FP8-Exponenten für die Darstellung ganzer Zahlen ineffizient genutzt werden und mehr temporäre Puffer benötigt werden.
• Modellvalidität: Die analytischen Leistungsmodelle stimmen gut mit den gemessenen Werten überein und bestätigen, dass die FP8-Emulation auf zukünftigen Hardware-Generationen (Rubin) potenziell über 200 TFLOP/s erreichen könnte.

5. Bedeutung und Fazit

Das Paper zeigt, dass die Emulation von FP64-Matrixmultiplikation auf modernen, FP8-dominierten Architekturen möglich ist, auch wenn INT8-Ressourcen fehlen.

• Für aktuelle Hardware: Die INT8-basierte Ozaki-II-Emulation bleibt aufgrund geringeren Speicherverbrauchs und höherer Effizienz vorzuziehen, solange INT8-Ressourcen verfügbar sind.
• Für zukünftige Hardware: Mit dem Wegfall starker INT8-Unterstützung (wie bei NVIDIA Rubin) wird die vorgeschlagene FP8-Methode zum entscheidenden Enabler, um die notwendige numerische Genauigkeit von HPC-Anwendungen auf Low-Precision-Hardware aufrechtzuerhalten.
• Technische Implikation: Die Arbeit liefert einen wichtigen Baustein für die Zukunft des Mixed-Precision Computing, indem sie zeigt, wie man algorithmische Schemata, die ursprünglich für Integer-Arithmetik entwickelt wurden, erfolgreich auf Floating-Point-Hardware überträgt.

Zusammenfassend bietet die vorgestellte Methode einen robusten Weg, um die Lücke zwischen der hohen Genauigkeit von FP64 und der hohen Durchsatzleistung von FP8-Hardware zu schließen, insbesondere in einer Ära, in der die Hardware-Entwicklung sich von Integer- zu Floating-Point-Low-Precision verschiebt.