Electron-phonon physics at the exascale: A hybrid MPI-GPU-OpenMP framework for scalable Wannier interpolation

Dit artikel introduceert een hybride MPI-GPU-OpenMP-framework voor de EPW-code dat de berekening van elektron-fonon-matrixelementen via Wannier-interpolatie tot 29 keer versnelt en de schaalbaarheid tot duizenden GPU-nodes mogelijk maakt, waardoor berekeningen voor exascale-platforms zoals stanene-nanobandjes nu uitvoerbaar zijn.

De kern

Elektronen, Trillingen en de Exascale-Revolutie: Een Simpele Uitleg

Stel je voor dat je een enorme, complexe machine bouwt: een nieuwe chip voor je telefoon of een superkrachtige batterij. Om te begrijpen hoe deze machine werkt, moet je kijken naar de kleinste onderdelen: elektronen (de ladingsdragers) en fononen (de trillingen van het materiaal, alsof atomen dansen).

In de natuurkunde noemen we de interactie tussen deze twee de "elektron-fonon koppeling". Dit is cruciaal voor alles: van hoe goed een materiaal elektriciteit geleidt, tot hoe het licht absorbeert of zelfs hoe supergeleiding werkt.

Het probleem? Het berekenen van deze interacties is als het proberen te voorspellen van het weer in elke hoek van een stad, maar dan met atomen. Het is zo complex dat het zelfs de krachtigste supercomputers van een paar jaar geleden bijna platlegde.

Dit is waar dit nieuwe onderzoek van pas komt. De auteurs hebben een nieuwe, razendsnelle software ontwikkeld (een upgrade van een programma genaamd EPW) die deze berekeningen niet alleen mogelijk maakt, maar ook 29 keer sneller doet dan voorheen.

Hier is hoe ze dat deden, vertaald in alledaagse termen:

1. Het Probleem: De "Stad" van Atomen

Stel je voor dat je de interactie tussen elektronen en trillingen moet berekenen in een heel groot netwerk.

• De oude methode (EPW 5.9): Dit was alsof je één enkele postbode had die elke brief (elke berekening) één voor één moest bezorgen. Hij liep van deur tot deur, maar er waren miljoenen brieven. Het duurde eeuwen.
• Het nieuwe probleem: De computers werden steeds krachtiger, maar de software liep vast omdat de postbode te veel tijd kwijt was aan het organiseren van de post (communicatie tussen de computers) in plaats van het bezorgen zelf.

2. De Oplossing: Een Super-Logistiek Team

De onderzoekers hebben het systeem volledig herontworpen. Ze gebruiken nu een hybride team van drie soorten werknemers die perfect samenwerken:

• De MPI (De Coördinatoren): Dit zijn de managers die het werk verdelen over verschillende gebouwen (supercomputer-knopen). Ze zorgen dat niemand in de weg loopt.
• De OpenMP (De Teamleden binnen een gebouw): Binnen één gebouw werken meerdere mensen samen aan één taak, zodat ze sneller klaar zijn.
• De GPU (De Super-Snelle Robots): Dit is het geheim. De onderzoekers hebben de zwaarste, meest repetitieve taken gegeven aan speciale grafische kaarten (GPUs).
  • Analogie: Stel je voor dat de CPU (de normale computer) een meesterchef is die een ingewikkeld gerecht bedenkt. De GPU is een legioen van 100 snelle keukenhulpen die duizenden aardappels tegelijk kunnen schillen. De chef (CPU) geeft de opdracht, en de hulpen (GPU) doen het werk in een flits.

3. De "Truc": Slimme Hergebruik

Een groot probleem bij het gebruik van robots (GPUs) is dat het overbrengen van data van de chef naar de robots te langzaam gaat.

• De oplossing: De onderzoekers hebben ontdekt dat ze dezelfde grote stapel gegevens (de "coarse-grid matrix") maar één keer hoeven te uploaden naar de robot. Vervolgens kan de robot die gegevens duizenden keren hergebruiken voor verschillende berekeningen zonder dat ze weer terug hoeven te gaan naar de chef.
• Dit bespaart enorm veel tijd, net als wanneer je een recept één keer opschrijft en het 100 keer gebruikt, in plaats van het elke keer opnieuw te typen.

4. Het Resultaat: Van "Onmogelijk" naar "Klaar"

Met deze nieuwe methode (EPW 6.1) zijn ze in staat geweest om iets te doen dat voorheen onmogelijk leek:

• Ze hebben de elektronen- en trillingsinteracties berekend voor een stanine-nanoribon (een heel dunne stripje tin) die zo breed is als een menselijk haar (ongeveer 20 nanometer).
• Dit materiaal bevat ongeveer 100 atomen in één eenheid. Voorheen was dit te groot om te berekenen; het zou dagen of weken duren op de beste computers.
• Met de nieuwe software duurde het minder dan 5 minuten op een van 's werelds snelste computers (Aurora).

Waarom is dit belangrijk voor jou?

Dit klinkt als pure wetenschap, maar het heeft grote gevolgen:

1. Snellere Ontwikkeling: Wetenschappers kunnen nu nieuwe materialen voor elektronica, zonnepanelen en quantumcomputers veel sneller testen en ontwerpen.
2. Efficiëntie: We kunnen materialen vinden die minder energie verbruiken of beter warmte afvoeren.
3. Toekomst: Omdat de software werkt op verschillende soorten computers (van NVIDIA tot Intel), is het klaar voor de toekomst. Het is een "exascale"-tool, wat betekent dat het klaar is voor de volgende generatie supercomputers die nog krachtiger zijn.

Kortom: De onderzoekers hebben een slechte, trage postbode vervangen door een super-efficiënt logistiek team met legioenen robots. Hierdoor kunnen we nu de "dans" van atomen in enorme, complexe materialen in minuten zien, in plaats van in jaren. Dit opent de deur naar een nieuwe wereld van super-snelle en super-efficiënte technologieën.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Electron-phonon physics at the exascale: A hybrid MPI-GPU-OpenMP framework for scalable Wannier interpolation", geschreven in het Nederlands.

Probleemstelling

De interactie tussen elektronen en fononen (e-ph) is fundamenteel voor het begrijpen van vele materiaaleigenschappen, zoals elektrische geleidbaarheid, supergeleiding en optische absorptie. De EPW-code (Electron-Phonon Wannier) is de standaardsoftware voor het berekenen van deze interacties vanuit eerste principes. Echter, voor voorspellende nauwkeurigheid zijn uiterst fijne roosters in de Brillouin-zone vereist, wat leidt tot extreme rekentijden.

De uitdagingen zijn tweeledig:

1. Rekencomplexiteit: De berekening van de e-ph matrixelementen op fijne roosters is computatievraagsintensief, zelfs op moderne supercomputers.
2. Hardware-evolutie: De opkomst van exascale-supercomputers (zoals Vista, Perlmutter en Aurora) vereist een verschuiving van CPU-only naar GPU-versnelling. Bestaande versies van EPW (tot v5.9) waren grotendeels gebaseerd op MPI-parallelisatie en waren niet geoptimaliseerd voor GPU-architecturen, wat leidde tot inefficiënt gebruik van de enorme rekenkracht en geheugenbandbreedte van deze systemen.

Methodologie

De auteurs hebben een hybride MPI-GPU-OpenMP-framework ontwikkeld voor EPW (versie 6.1) om de interpolatie van e-ph matrixelementen te versnellen. De aanpak combineert algoritmische optimalisatie met hardware-geoptimaliseerde software:

1. Algoritmische Refactoring (Geneste Lussen):

   • In plaats van een simpele enkele lus over alle $k$- en $q$-punten, wordt een geneste-lus-algoritme gebruikt.
   • De berekening wordt opgesplitst in twee stappen:
     • Stap 1: Een Fourier-transformatie (FT) over de fonon-Wigner-Seitz-vectoren ($R_p$) voor elke $q$-punt.
     • Stap 2: Een FT over de elektron-Wigner-Seitz-vectoren ($R_e$) en rotaties voor de fijne $k$-roosters.
   • Dit reduceert de rekencomplexiteit aanzienlijk, vooral wanneer het aantal $k$-punten ($N_k$) veel groter is dan het aantal fononvectoren ($N_p$).

2. Twee-niveau MPI Parallelisatie:

   • Pool-parallelisatie: Verdeelt de $k$-lussen (binnenste lus) over MPI-processen.
   • Image-parallelisatie: Verdeelt de $q$-lussen (buitenste lus) over MPI-communicatoren ("images").
   • Dit elimineert de MPI+IO-overhead die eerder een bottleneck vormde bij het laden van data voor elke $q$-iteratie.

3. GPU-versnelling en Data-locatie:

   • De eerste stap (FT over $R_p$) wordt uitbesteed aan de GPU. Hoewel dit een matrix-vector product (GEMV) is met lage rekenintensiteit, profiteert het enorm van de hoge geheugenbandbreedte van GPU's (bijv. NVIDIA A100/H200, Intel Max).
   • Data-beheer: De grof-rooster e-ph matrix wordt in het GPU-geheugen geladen en daar hergebruikt voor de hele interpolatiestap, waardoor kostbare CPU-GPU data-overdrachten worden geminimaliseerd.
   • Hybride threading: Binnen elke MPI-rank worden OpenMP-threads gebruikt om de $k$-lussen parallel te draaien op de CPU-kernen, terwijl de GPU de zware matrixbewerkingen uitvoert. Dit overwint de beperking van "één MPI-rank per GPU".

4. Portable Implementatie:

   • De code maakt gebruik van OpenACC en OpenMP offloading directives.
   • Door gebruik te maken van vendor-geoptimaliseerde bibliotheken (cuBLAS voor NVIDIA, oneMKL voor Intel, rocBLAS voor AMD), is de code performance-portable over verschillende GPU-architecturen zonder de numerieke nauwkeurigheid te verliezen.

Belangrijkste Bijdragen

• EPW v6.1: De eerste productie-klare versie van EPW met volledige GPU-ondersteuning voor de kerninterpolatiemodule.
• Hybride Schaalbaarheid: Een uniek framework dat MPI, GPU en OpenMP combineert, waardoor schaalbaarheid mogelijk is tot duizenden GPU-nodes.
• Eliminatie van IO-bottlenecks: Door de data-structuur aan te passen en de MPI+IO-overhead te verwijderen via de image-parallelisatie, wordt de schaalbaarheid drastisch verbeterd.
• Numerieke Identiteit: De GPU-versie levert exact dezelfde numerieke resultaten op als de CPU-versie (double-precision), wat essentieel is voor wetenschappelijke reproduceerbaarheid.

Resultaten

De auteurs hebben de prestaties getest op drie leidende supercomputers: Vista (TACC, NVIDIA), Perlmutter (NERSC, NVIDIA) en Aurora (ALCF, Intel).

1. Snelheidswinst:

   • In vergelijking met EPW v5.9 (single MPI) bereikt EPW v6.1 een snelheidswinst van 19 tot 29 keer op deze systemen.
   • De stap van v5.9 naar v6.0 (twee-niveau MPI) gaf een 3-5x versnelling.
   • De stap van v6.0 naar v6.1 (GPU + OpenMP) gaf een extra 5-6x versnelling.
   • De totale wall-time voor een typische silicium-berekening daalde van uren naar minder dan 5 minuten (soms <2 minuten).

2. Schaalbaarheid:

   • Op het Aurora-systeem (tot 1.024 GPU-nodes, 6.144 GPUs) werd bijna ideale sterke schaalbaarheid waargenomen voor de e-ph interpolatie.
   • De communicatie-overhead is verwaarloosbaar dankzij de "embarrassingly parallel" aard van de $q$-lussen in het geneste algoritme.

3. Grootschalige Toepassing (Stanene Nanoribbons):

   • De auteurs toonden de kracht van de code aan door topologische stanene nanoribbons (ZSNRs) te simuleren met een breedte tot 19,4 nm (98 atomen per eenheidscel).
   • Voor deze systemen groeit het grof-rooster matrixgeheugen exponentieel (tot 458 GB), wat eerder onbereikbaar was voor eerdere EPW-versies.
   • EPW v6.1 maakte het mogelijk om fonongelimiteerde transportberekeningen uit te voeren voor systemen die eerder als "onhandelbaar" werden beschouwd.
   • De studie onthulde nieuwe fysische inzichten, zoals een niet-triviale temperatuurafhankelijkheid van de geleidbaarheid veroorzaakt door thermische verbreding en topologische randtoestanden.

Betekenis

Dit werk markeert een mijlpaal in de computationele materiaalkunde:

• Exascale-klaar: EPW is nu volledig voorbereid voor gebruik op exascale-platforms, wat het mogelijk maakt om complexe materialen met honderden atomen per eenheidscel te bestuderen.
• Toekomstgericht: De ontwikkeling opent de deur voor high-throughput screening van materialen voor elektronica, optoelektronica en quantumtechnologieën.
• AI/ML Data: Het genereren van grote, nauwkeurige datasets voor e-ph interacties wordt nu haalbaar, wat essentieel is voor het trainen van AI/ML-modellen in de materiaalkunde.
• Referentie: De gebruikte hybride strategie (MPI-GPU-OpenMP) en de portabele implementatie via directives dienen als een blauwdruk voor andere kwantumchemische en gecondenseerde materie-codes om GPU-versnelling te integreren.

Kortom, de auteurs hebben een barrière doorbroken die het onderzoek naar elektron-fonon fysische processen in complexe, grote systemen beperkte, en hebben een robuust, schaalbaar en portabel framework geleverd voor de volgende generatie supercomputer-toepassingen.