A Precision Emulation Approach to the GPU Acceleration of Ab Initio Electronic Structure Calculations

Dit onderzoek toont aan dat INT8-gebaseerde emulatie via de SCILIB-Accel-toolkit de prestaties van FP64-ab-initio-elektronenstructuurberekeningen op GPU's kan versnellen zonder code-aanpassingen, terwijl de nauwkeurigheid behouden blijft door adaptieve precisiestrategieën.

De kern

Stel je voor dat je een zeer complexe, dure receptuur hebt om een perfecte soufflé te bakken. In de wetenschappelijke wereld is deze soufflé een simulatie van hoe atomen zich gedragen (elektronenstructuur). Traditioneel wordt dit gedaan met een "gouden lepel" (FP64-rekenkracht): extreem nauwkeurig, maar traag en duur.

Deze paper vertelt het verhaal van een groep onderzoekers die een slimme truc hebben bedacht om diezelfde soufflé te maken met een "plastic lepel" (INT8-rekenkracht), die veel sneller is en in grote hoeveelheden voorhanden is, maar normaal gesproken niet nauwkeurig genoeg lijkt.

Hier is de uitleg in simpele taal, met behulp van analogieën:

1. Het Probleem: De "Gouden Leppel" is aan het verdwijnen

Vroeger waren supercomputers gebouwd voor wetenschappers die alles tot op de laatste decimaal nauwkeurig wilden weten. Ze gebruikten dubbele precisie (FP64). Maar nu is er een revolutie in de kunstmatige intelligentie (AI). AI-bedrijven hebben enorme hoeveelheden rekenkracht nodig, maar ze hoeven niet altijd tot op de laatste decimaal precies te zijn. Ze gebruiken daarom "plastic lepels" (INT8-chips), die veel sneller zijn en minder stroom verbruiken.

Het probleem? De nieuwe, krachtigste computers (zoals de NVIDIA Blackwell) zijn zo gericht op AI, dat de "gouden lepels" (FP64) erin soms zelfs verdwijnen of erg traag zijn. Wetenschappers staan nu voor een dilemma: hun oude, nauwkeurige software werkt niet goed op deze nieuwe, snelle machines.

2. De Oplossing: De "Illusie" van Precisie

De onderzoekers zeggen: "Waarom proberen we de oude software niet te laten werken met de snelle plastic lepels, maar dan zo slim dat het lijkt alsof we de gouden lepel gebruiken?"

Ze gebruiken een techniek die ze "Emulatie" noemen.

• De Analogie: Stel je voor dat je een schilderij moet maken. De oude methode gebruikt verf van hoge kwaliteit, maar het duurt lang. De nieuwe methode gebruikt goedkope, snelle verf. Als je die goedkope verf in heel kleine laagjes aanbrengt en ze slim combineert, kun je een schilderij maken dat er voor het blote oog exact hetzelfde uitziet als het dure exemplaar.
• De Truc: Ze gebruiken een techniek (het Ozaki-scheme) die een grote, moeilijke berekening opdeelt in duizenden kleine, simpele stukjes. Deze stukjes worden berekend met de snelle INT8-chips en daarna weer samengevoegd tot één groot, nauwkeurig antwoord.

3. De Magische Tool: De "Vertaler"

Om dit te laten werken zonder dat wetenschappers hun hele code opnieuw hoeven te schrijven, gebruiken ze een hulpmiddel genaamd SCILIB-Accel.

• De Analogie: Stel je voor dat je een boek in het Frans wilt lezen, maar je spreekt alleen Nederlands. In plaats van het hele boek te vertalen (wat veel werk is), heb je een slimme bril op (SCILIB-Accel). Zodra je een Frans woord ziet, vertaalt de bril het direct in je hoofd naar het Nederlands.
• In dit geval "vertaalt" de bril de oude, trage berekeningen naar de snelle, nieuwe chips, terwijl de wetenschapper niets hoeft te veranderen aan hun programma.

4. Het Experiment: De Soufflé-test

Ze hebben dit getest op een zeer complexe simulatie genaamd MuST (een softwarepakket voor het berekenen van atoomgedrag).

• Ze hebben gekeken of de "plastic lepel" methode dezelfde resultaten gaf als de "gouden lepel".
• Het Resultaat: Het bleek verrassend goed te werken!
  • Bij de allerlaagste precisie (31 bits) was het resultaat net niet goed genoeg om de berekening te voltooien (de soufflé zakte in).
  • Maar bij een iets hogere instelling (55 bits) was het resultaat exact hetzelfde als met de dure gouden lepel, maar dan 1,7 keer sneller.

5. Waarom werkt dit? (De "Afweging")

Je zou denken dat elke kleine fout in de berekening van atomen leidt tot een ramp. Maar de natuur is slim.

• De Analogie: Stel je voor dat je een heel groot, onrustig meer meet. Als je op één plek een kleine fout maakt in het meten van een golfje, maakt dat voor de totale hoeveelheid water in het meer niet uit. De fouten "middelen" zichzelf uit.
• In de wetenschap van atomen (DFT) zijn de totale energieberekeningen zo stabiel dat kleine rekenfouten in de details (bij de randen van de berekening) de eindresultaten nauwelijks beïnvloeden. De onderzoekers hebben bewezen dat je die "plastic lepels" kunt gebruiken zonder de wetenschappelijke waarheid te verliezen.

Conclusie: De Toekomst

Deze paper is een oproep om te stoppen met het denken in "oud vs. nieuw".

• Vroeger: We moesten wachten tot de hardware precies paste bij onze software.
• Nu: We kunnen onze software slim aanpassen (via emulatie) om de snelste, meest energiezuinige hardware te gebruiken die er is, zelfs als die hardware oorspronkelijk voor AI is gemaakt.

Het is alsof je ontdekt dat je met een racefiets (AI-chip) net zo snel door de stad kunt komen als met een dure limousine (traditionele supercomputer), zolang je maar weet hoe je het stuur goed vasthoudt. Dit opent de deur voor snellere, goedkopere en groenere wetenschappelijke ontdekkingen.

Technische samenvatting

Probleemstelling

Traditionele High-Performance Computing (HPC) toepassingen, zoals kwantumchemische simulaties en klimaatmodellen, zijn historisch gebaseerd op CPU's en vereisen dubbele precisie (FP64) voor numerieke nauwkeurigheid. Tegelijkertijd heeft de snelle opkomst van kunstmatige intelligentie (AI) geleid tot de ontwikkeling van gespecialiseerde hardware (zoals NVIDIA Tensor Cores en AMD Matrix Cores) die geoptimaliseerd zijn voor lage precisie (INT8, FP16) en hoge doorvoer.

Dit creëert een dilemma voor wetenschappelijke centra:

1. Moderne GPU's (zoals de NVIDIA Blackwell- en Rubin-series) hebben soms een verminderde of zelfs bijna afwezige FP64-prestatiecapaciteit ten gunste van AI-werklasten.
2. Het handmatig porten van legacy CPU-codes naar GPU's is arbeidsintensief en vaak onpraktisch voor de wetenschappelijke gemeenschap.
3. Bestaande automatische offload-tools (zoals NVBLAS) leiden vaak tot hoge overhead door data-overdracht tussen CPU en GPU, wat de prestaties in de praktijk vermindert.

De kernvraag is hoe men traditionele FP64-werklasten kan versnellen op moderne AI-gedreven hardware zonder de code te wijzigen en met behoud van de vereiste wetenschappelijke nauwkeurigheid.

Methodologie

De auteurs presenteren een aanpak die INT8-gebaseerde emulatie combineert met automatische BLAS-offloading om FP64-matrixvermenigvuldigingen (GEMM) op GPU's te emuleren.

• Software-Stack:
  • SCILIB-Accel: Een automatisch offload-tool dat BLAS-aanroepen (zoals ZGEMM) van CPU naar GPU verplaatst. Het maakt gebruik van cache-gecoherente Unified Memory Architecture (UMA) op systemen zoals NVIDIA Grace-Hopper, waardoor data-overdrachtskosten worden geminimaliseerd.
  • GEMMul8 & Ozaki-schema's: Om FP64-berekeningen uit te voeren op INT8-hardware, gebruiken de auteurs het Ozaki-schema. Dit decomposeert hoge precisie-matrices in meerdere lage precisie-componenten.
    • Ozaki-I: Splitst matrices op basis van significante bits.
    • Ozaki-II (gebruikt in GEMMul8): Gebruikt de Chinese Reststelling (CRT) om matrices om te zetten naar gehele getallen, deze te vermenigvuldigen met kleine, onderling ondeelbare moduli, en het resultaat te reconstrueren. Dit biedt betere controle over nauwkeurigheid en prestaties dan Ozaki-I.
• Implementatie:
  • De methode vereist geen code-aanpassingen of hercompilatie van de bestaande CPU-toepassing.
  • Via LD_PRELOAD en dynamische linkers worden cuBLAS-aanroepen transparant onderschept en omgeleid naar de emulatie-implementatie.
  • De precisie is instelbaar (tunable) via omgevingsvariabelen (aantal mantisse-bits of aantal moduli), waardoor een balans kan worden gevonden tussen snelheid en nauwkeurigheid.
• Testomgeving:
  • De studie is uitgevoerd op de MuST-suite (Multiple Scattering Theory), specifiek de LSMS-module (Locally Self-consistent Multiple Scattering), die lineair schaalt met het aantal atomen ($O(N)$).
  • Hardware: NVIDIA GB200 (NVL4 node).
  • Benchmark: Een niet-collineaire magnetisme-studie van een FeNi3-alloy.

Belangrijkste Bijdragen

1. Integratie van Emulatie en Offloading: Het paper demonstreert voor het eerst de succesvolle integratie van INT8-gebaseerde FP64-emulatie met een cache-gecoherente automatische offload-tool voor een complexe ab initio elektronenstructuurcode.
2. Behoud van Algoritmen: In tegenstelling tot traditionele mixed-precision benaderingen waarbij specifieke solvers moeten worden aangepast, behoudt deze methode de integriteit van het originele algoritme en de code.
3. Tunbare Precisie: Het biedt een systeem voor het dynamisch instellen van de emulatieprecisie, waardoor onderzoekers kunnen kiezen voor de laagste precisie die nog steeds wetenschappelijk geldig is, zonder de code te wijzigen.
4. Hardware-Optimalisatie: Het toont aan hoe AI-gedreven hardware (INT8 Tensor Cores) effectief kan worden gebruikt voor traditionele HPC-taken, wat de convergentie van AI- en HPC-hardware bevordert.

Resultaten

De experimenten op de FeNi3-benchmark leverden de volgende inzichten op:

• Nauwkeurigheid:
  • De nauwkeurigheid hangt sterk af van het aantal gebruikte bits/moduli.
  • Lage precisie (31 bits/10 moduli) resulteerde in fouten tot $10^{-2}$ in de Green-functie $G(z)$, maar kon desondanks convergeren voor totale energie (door de variatiële principes in DFT).
  • Hogere precisie-instellingen (55 bits/16 moduli) bereikten fouten van $10^{-10}$, wat vergelijkbaar is met de variatie tussen verschillende FP64-compiler-versies.
  • Fysieke observabelen (totale energie per atoom, magnetisch moment, elektronische lading) kwamen overeen met de FP64-baseline voor alle instellingen die convergentie bereikten.
• Prestaties:
  • De emulatie op INT8 Tensor Cores leverde een gemiddelde snelheidswinst van 1,7x op ten opzichte van de native FP64-offloading op de GPU.
  • De snelste instellingen (hoge precisie GEMMul8) boden de beste trade-off tussen numerieke nauwkeurigheid en doorvoer.
• Stabiliteit: De LSMS-methode bleek robuust tegen quantisatieruis. Fouten in de Green-functie werden effectief gemiddeld tijdens de contourintegratie, waardoor de totale energie stabiel bleef zelfs bij lagere precisie.

Betekenis en Conclusie

Dit werk markeert een paradigmaverschuiving in wetenschappelijk computing:

• Toekomstvisie: Het pleit voor een herbeoordeling van de precisie-eisen in wetenschappelijke toepassingen. Niet alle berekeningen vereisen strikt FP64; veel kunnen profiteren van lagere precisie met emulatie.
• Hardware Synergie: Het lost het conflict op tussen de beschikbaarheid van AI-geoptimaliseerde hardware en de behoeften van traditionele HPC. Door INT8-emulatie te gebruiken, kunnen wetenschappers de extreme rekenkracht van moderne GPU's benutten zonder hun software te herschrijven.
• Aanbeveling: De auteurs roepen hardwareontwikkelaars en computatie-wetenschappers op tot samenwerking om data-types te ontwerpen die zowel AI als wetenschappelijke simulaties optimaal bedienen.

Samenvattend bewijst deze studie dat precision emulation een krachtige, generieke oplossing is om de kloof tussen AI-hardware en wetenschappelijke simulaties te overbruggen, met aanzienlijke prestatiewinsten zonder in te leveren op de nauwkeurigheid van de resultaten.