Double-Precision Matrix Multiplication Emulation via Ozaki-II Scheme with FP8 Quantization

Dit paper introduceert een nieuwe techniek om dubbelprecisie-matrixvermenigvuldiging te emuleren met FP8-hardware via het Ozaki-II-schema, wat een efficiëntere oplossing biedt dan bestaande methoden door het aantal benodigde FP8-matrixvermenigvuldigingen aanzienlijk te verminderen.

De kern

Stel je voor dat je een enorme, ingewikkelde puzzel moet oplossen. In de wereld van supercomputers (HPC) is die puzzel het vermenigvuldigen van gigantische getallenmatrijzen. Om dit nauwkeurig te doen, gebruiken wetenschappers normaal gesproken FP64 (dubbel precisie). Dit is als het gebruik van een ultra-nauwkeurige, gouden liniaal. Het is betrouwbaar, maar helaas: de snelheid van deze gouden linialen is de afgelopen jaren nauwelijks toegenomen.

Aan de andere kant zijn er de AI-chips (zoals die in je telefoon of gamingcomputer) die ontworpen zijn om heel snel, maar minder nauwkeurig te rekenen. Ze gebruiken kleine, goedkope linialen zoals FP8 of INT8. Deze kunnen duizenden berekeningen per seconde doen, maar ze zijn niet precies genoeg voor de zware wetenschappelijke puzzels.

Het Probleem: De Nieuwe Chips

De makers van de nieuwste supercomputers (zoals de NVIDIA Rubin en Blackwell Ultra) hebben een vreemde keuze gemaakt. Ze hebben de capaciteit voor de snelle, maar "stompe" INT8-rekeners flink verkleind, omdat AI steeds meer gebruik maakt van FP8 (een soort "drijvende komma" in plaats van gehele getallen).

Dit creëert een probleem:

1. We hebben de nauwkeurigheid van de gouden liniaal (FP64) nodig.
2. De nieuwe chips zijn razendsnel met FP8, maar slecht met INT8.
3. Bestaande methoden om FP64 te "nabootsen" met INT8 werken niet meer goed op deze nieuwe chips.

De Oplossing: De Ozaki-II Methode (De "Bakkerij")

De auteurs van dit paper hebben een nieuwe manier bedacht om de nauwkeurigheid van de gouden liniaal te halen, terwijl ze de snelle FP8-machines gebruiken. Ze gebruiken een techniek die Ozaki-II heet.

Laten we dit vergelijken met het bakken van een enorme taart:

De Oude Methode (INT8):
Stel je voor dat je een taart moet bakken, maar je hebt alleen kleine, vierkante bakvormen (INT8). Je kunt de taart in stukjes hakken, in die vormpjes bakken en ze weer aan elkaar lijmen. Dit werkt perfect als je veel van die vierkante vormpjes hebt. Maar de nieuwe keukenapparatuur heeft die vierkante vormpjes niet meer; ze hebben alleen ronde, FP8-vormpjes.

De Nieuwe Methode (FP8 met Ozaki-II):
De auteurs zeggen: "Oké, we hebben geen vierkante vormpjes, maar we hebben wel ronde FP8-vormpjes. Laten we een nieuwe techniek bedenken."

Ze gebruiken een slimme truc die lijkt op Karatsuba-vermenigvuldiging (een wiskundige hack). In plaats van de taart in één keer te bakken, splitsen ze de ingrediënten op in drie kleinere delen. Ze bakken deze drie delen apart in de FP8-vormpjes en gebruiken daarna een slimme formule om ze weer samen te voegen tot één perfecte taart.

Het Geniale Detail:
Normaal gesproken zou je voor elke "taart" drie keer hoeven te bakken (drie vermenigvuldigingen). Maar de auteurs hebben ontdekt dat je voor sommige specifieke vormen van de taart (de "kwadratische moduli") een nog slimmere weg kunt nemen. Je kunt dan een deel van de berekening overslaan omdat je weet dat het resultaat nul is. Hierdoor heb je minder bakbeurten nodig dan je eerst dacht.

Waarom FP8 en niet FP16?

Je zou kunnen vragen: "Waarom gebruiken ze niet de iets grotere FP16-vormpjes?"

• FP8 is als een heel specifiek, compact gereedschap dat precies past in de nieuwe machines.
• FP16 is grover. Als je FP16 gebruikt, moet je de taart in nog kleinere stukjes hakken om dezelfde nauwkeurigheid te krijgen. Dat kost meer tijd en energie.
• De auteurs tonen aan dat FP8 de "sweet spot" is: het is snel genoeg voor de nieuwe chips, maar nauwkeurig genoeg om de FP64-illusie te creëren.

Wat betekent dit voor de toekomst?

Dit onderzoek is als het vinden van een nieuwe receptuur voor de bakkerij.

• Voor de oude keuken (met veel INT8): De oude methode is nog steeds het snelst.
• Voor de nieuwe keuken (NVIDIA Rubin/Blackwell): De oude methode werkt niet meer goed. De nieuwe FP8-methode is de enige manier om de taart (de wetenschappelijke berekening) snel en nauwkeurig te bakken.

Conclusie in één zin:
De auteurs hebben een slimme, hybride techniek bedacht die het mogelijk maakt om de uiterst nauwkeurige rekenkracht van supercomputers te behouden, zelfs op de nieuwste hardware die is ontworpen voor snelle, minder nauwkeurige AI-berekeningen. Ze hebben de "gouden liniaal" dus in een "snelle plastic liniaal" verpakt, zodat hij toch perfect werkt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Double-Precision Matrix Multiplication Emulation via Ozaki-II Scheme with FP8 Quantization", geschreven in het Nederlands.

Titel: Emulatie van dubbelprecisie-matrixvermenigvuldiging via het Ozaki-II-schema met FP8-quantisatie

1. Probleemstelling en Achtergrond

In High-Performance Computing (HPC) is rekenen in dubbelprecisie (FP64) essentieel voor numerieke nauwkeurigheid en stabiliteit. Echter, de prestatieverbeteringen voor FP64-arithmetiek op recente hardware zijn beperkt. Tegelijkertijd bieden low-precision formaten (zoals INT8, FP8, FP16) een veel hogere doorvoer, vooral gedreven door AI-werklasten.

Een kritieke trend in nieuwe GPU-architecturen (zoals NVIDIA Blackwell Ultra en Rubin) is de drastische vermindering van INT8-rekenkracht ten gunste van low-precision floating-point formaten zoals FP4 en FP8.

• Het probleem: Bestaande methoden om FP64-matrixvermenigvuldiging (DGEMM) te emuleren met lage precisie, zoals het Ozaki-II-schema, zijn optimaal ontworpen voor INT8-eenheden. Ze vertrouwen op vaste-kommarepresentaties (fixed-point) en modulaire rekenkunde.
• De uitdaging: Het Ozaki-II-schema kan niet direct worden toegepast op FP8-eenheden (zoals E4M3) omdat de algoritmes afhankelijk zijn van eigenschappen die specifiek zijn voor gehele getallen (zoals exacte modulaire reductie zonder afrondingsfouten). Een naïeve vervanging van INT8 door FP8 faalt vanwege de beperkte dynamische range en de aanwezigheid van exponentvelden in FP8, wat leidt tot onnauwkeurigheid of inefficiëntie.

2. Methodologie: Het Voorgestelde FP8-Ozaki-II-schema

De auteurs stellen een nieuwe methode voor om DGEMM te emuleren met behulp van FP8 Tensor Cores, specifiek het FP8 E4M3-formaat met FP32-accumulatie. De kern van de oplossing ligt in een hybride aanpak die twee technieken combineert:

A. Beperkingen van directe quantisatie
Directe toepassing van Ozaki-II op FP8 is beperkt omdat FP8 E4M3 slechts gehele getallen van -16 tot 16 exact kan representeren. Dit beperkt de modulus ($p_\ell$) tot zeer kleine waarden, wat de totale dynamische range ($P$) te klein maakt voor FP64-nauwkeurigheid.

B. Karatsuba-gebaseerde extensie
Om de range te vergroten, worden de matrices opgesplitst in een som van twee FP8-matrices (een Karatsuba-achtige decompositie). Dit vereist echter dat de sommen van deze matrices ook exact in FP8 kunnen worden weergegeven, wat de effectieve range nog steeds beperkt en veel matrixvermenigvuldigingen vereist.

C. Modulaire reductie zonder Karatsuba (De Innovatie)
De auteurs introduceren een nieuwe techniek voor specifieke moduli die perfecte kwadraten zijn ($p_\ell = s^2$).

• Door $s$ zo te kiezen dat $s^2 = p_\ell$, wordt de term $s^2 A^{(1)}B^{(1)}$ modulo $p_\ell$ gelijk aan nul.
• Hierdoor kan het product worden berekend met slechts drie FP8-matrixvermenigvuldigingen zonder de complexe Karatsuba-reconstructie te hoeven gebruiken voor deze specifieke moduli.
• Dit stelt de auteurs in staat om grotere moduli (tot 1089) te gebruiken, wat de totale precisie aanzienlijk verhoogt.

D. Hybride Strategie
De methode gebruikt een hybride set van moduli:

1. Voor kwadratische moduli: Gebruik de nieuwe modulaire reductietechniek (vereist 3 FP8-vermenigvuldigingen per modulus).
2. Voor niet-kwadratische moduli: Gebruik de standaard Karatsuba-methode.
   Door deze combinatie kan het systeem FP64-nauwkeurigheid bereiken met minder moduli dan een puur Karatsuba-benadering.

3. Belangrijkste Bijdragen

1. Analyse van INT8 vs. FP8: Een duidelijke uitleg waarom het originele INT8-Ozaki-II-algoritme niet direct werkt met FP8 (door het gebrek aan exactheid bij modulaire reductie met exponenten).
2. Nieuw Algoritme: De ontwikkeling van een FP8-gebaseerd Ozaki-II-schema dat Karatsuba-extensies combineert met een geoptimaliseerde modulaire reductie voor kwadratische moduli.
3. Efficiëntie: De methode reduceert het aantal benodigde FP8-matrixvermenigvuldigingen aanzienlijk ten opzichte van eerdere FP8-benaderingen (zoals Ozaki-I) en maakt FP64-emulatie mogelijk op hardware met beperkte INT8-capaciteit.
4. Open Source: Beschikbaarstelling van een portable GPU-bibliotheek voor NVIDIA en AMD die zowel INT8- als FP8-Ozaki-II ondersteunt.
5. Performance Modellen: De ontwikkeling van analytische modellen voor doorvoer en geheugengebruik, inclusief een nieuw model voor INT8-Ozaki-II.

4. Resultaten en Vergelijking

De auteurs hebben hun methode getest op NVIDIA RTX 5080 en B200 GPU's en vergeleken met bestaande INT8- en FP8-methoden.

• Aantal Vermenigvuldigingen:

  • FP8 Ozaki-I: Vereist ~121 matrixvermenigvuldigingen voor FP64-nauwkeurigheid.
  • FP8 Ozaki-II (voorgesteld): Vereist slechts 36 matrixvermenigvuldigingen (bij 12 moduli).
  • INT8 Ozaki-II: Vereist ~14-15 matrixvermenigvuldigingen.
  • Conclusie: De voorgestelde FP8-methode is veel efficiënter dan FP8-Ozaki-I, maar vereist nog steeds ongeveer 2,5x meer vermenigvuldigingen dan INT8-Ozaki-II.

• Doorvoer (Throughput):

  • Op hardware met sterke INT8-ondersteuning (zoals B200) is de INT8-methode sneller (tot 2,9x sneller op RTX 5080) en gebruikt minder werkgeheugen. Dit komt omdat INT8 natuurlijker aansluit bij de vaste-kommalogica van Ozaki-II.
  • Op hardware met beperkte INT8-capaciteit (zoals B300/Rubin) is de FP8-methode de enige praktische optie voor hoge precisie, aangezien INT8-prestaties daar drastisch zijn verlaagd.
  • De FP8-methode bereikt op de B200 ongeveer 64 TFLOP/s (accurate mode), wat aanzienlijk hoger is dan native FP64 (37 TFLOP/s), maar lager dan INT8-emulatie.

• Geheugengebruik:

  • De FP8-methode heeft een groter werkgeheugenverbruik (55 GB voor grote matrices) dan de INT8-methode (27 GB) vanwege de noodzaak om residu's in meerdere FP8-matrices op te slaan en intermediatere resultaten in INT16.

• Nauwkeurigheid:

  • De methode bereikt bitwise-reproduceerbare resultaten en voldoet aan de eisen voor dubbelprecisie (FP64) in HPC-toepassingen.

5. Betekenis en Conclusie

Dit paper is van groot belang voor de toekomst van HPC op moderne GPU-architecturen:

1. Overbrugging van Hardware-Trends: Het biedt een oplossing voor de verschuiving in GPU-ontwerp (zoals bij NVIDIA Rubin) waar INT8-resources worden ingekrompen ten gunste van FP8. Zonder deze methode zou FP64-emulatie op deze nieuwe hardware onmogelijk of zeer inefficiënt zijn.
2. Complementaire Benadering: Hoewel INT8-Ozaki-II op de huidige generatie hardware (zoals B200) nog steeds de snelste en meest geheugenefficiënte optie is, is de voorgestelde FP8-methode cruciaal voor de volgende generatie hardware.
3. Technische Innovatie: De combinatie van Karatsuba-decompositie met een slimme modulaire reductie voor kwadratische getallen in het FP8-domein is een unieke algoritmische doorbraak die de efficiëntie van low-precision emulatie aanzienlijk verbetert.

Kortom, de auteurs hebben een brug geslagen tussen de eisen van hoge precisie (FP64) en de realiteit van moderne, floating-point-gedreven hardware, waardoor HPC-toepassingen ook op toekomstige GPU's met beperkte INT8-capaciteit hoogwaardige berekeningen kunnen blijven uitvoeren.