Multi-GPU Hybrid Particle-in-Cell Monte Carlo Simulations for Exascale Computing Systems

Dit artikel presenteert een portable, multi-GPU hybride MPI+OpenMP-implementatie van BIT1 die door middel van geoptimaliseerde geheugentechnieken, OpenMP-targettaken en openPMD/ADIOS2 I/O aanzienlijke verbeteringen in schaalbaarheid en prestaties voor Particle-in-Cell Monte Carlo-simulaties mogelijk maakt op heterogene exascale-systemen zoals Frontier.

De kern

Stel je voor dat je een gigantische, chaotische danszaal hebt met miljarden dansers (de deeltjes in een plasma). Je wilt precies voorspellen hoe deze dansers zich gedragen, hoe ze botsen en hoe ze bewegen. Dit is wat wetenschappers doen met plasma-simulaties, en het is essentieel om bijvoorbeeld schone kernfusie-energie te ontwikkelen (zoals in een toekomstige ITER-reactor).

Deze paper beschrijft hoe een team van onderzoekers een oude, trage dansvloer heeft omgebouwd tot een hyper-snel, exa-schaal dansfeest dat werkt op de krachtigste supercomputers ter wereld.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Verkeersopstopping"

Vroeger draaide deze simulatie (genaamd BIT1) op gewone computers. Maar nu we naar de nieuwste supercomputers gaan (met duizenden grafische kaarten, of GPU's), ontstond er een groot probleem.

• De Analogie: Stel je voor dat elke danser een kaartje heeft met hun positie. In de oude versie moesten de dansers bij elke stap naar de "hoofdadministratie" (de CPU) rennen om hun kaartje te laten zien, een nieuwe instructie krijgen, en dan weer terugrennen.
• Het Resultaat: De danszaal zat vol met mensen die alleen maar liepen en wachtten, in plaats van te dansen. De computer verloor enorm veel tijd met het verplaatsen van data, in plaats van het berekenen van de bewegingen. Dit noemen ze "data movement overhead".

2. De Oplossing: De "Vaste Woonplaats" op de Dansvloer

De onderzoekers hebben de BIT1-software volledig herschreven om dit op te lossen. Ze hebben drie slimme trucs toegepast:

A. De "Vaste Woonplaats" (Persistent Device-Resident Memory)

In plaats van dat de dansers elke seconde naar de administratie moeten, krijgen ze nu een eigen appartementje op de dansvloer zelf.

• Hoe het werkt: Alle data (wie zit waar, hoe snel bewegen ze) blijft direct op de GPU-kaarten wonen. Ze hoeven niet heen en weer te reizen.
• Het effect: De dansers kunnen direct met elkaar praten en bewegen. Geen reistijd meer, alleen maar dansen.

B. De "Strakke Lijn" (Contiguous 1D Data Layout)

Vroeger waren de dansers opgeslagen in een ingewikkeld 3D-gebouw (species, cel, deeltje). Om bij een specifieke danser te komen, moest je door muren en trappen.

• De verandering: Ze hebben alles omgebouwd tot één lange, rechte rij (een 1D-lijst).
• De Analogie: Het is alsof je in plaats van een doolhof, een lange supermarktloper hebt. Je loopt gewoon rechtdoor en pakt alles wat je nodig hebt. Dit maakt het voor de computer veel sneller om de data te vinden.

C. De "Meester-DJ" (Hybrid MPI + OpenMP & Asynchroniteit)

De computer gebruikt nu een slimme mix van besturingssystemen (MPI en OpenMP).

• De Analogie: Stel je voor dat je een enorme danszaal hebt met duizenden DJ's. In het oude systeem wachtte elke DJ tot de vorige klaar was voordat hij mocht draaien.
• De nieuwe aanpak: De "Meester-DJ" geeft nu opdrachten aan alle DJ's tegelijk. Sommige DJ's draaien muziek (rekenen), terwijl andere DJ's alvast de volgende nummers klaarzetten (communicatie). Ze werken parallel en asynchroon. Niemand staat stil; iedereen doet iets nuttigs op hetzelfde moment.

3. De Resultaten: Van "Slof" naar "Exa-Snelheid"

De onderzoekers hebben dit getest op de krachtigste computers ter wereld, waaronder Frontier (de snelste supercomputer ter wereld, met 16.000 GPU's).

• Snelheid: Ze hebben de simulatie 17 keer sneller gemaakt op één enkele machine.
• Schalen: Op de Frontier-supercomputer konden ze de simulatie draaien op 16.000 GPU's tegelijk.
• Efficiëntie: Zelfs met duizenden computers die tegelijkertijd data moeten opslaan en analyseren (zoals het maken van video's van de dans), bleef het systeem stabiel. De "dans" werd niet vertraagd door de "administratie".

4. Waarom is dit belangrijk?

Dit is niet alleen een technisch succes; het opent de deur naar de toekomst.

• Kernfusie: Om schone energie te maken, moeten we plasma's begrijpen die heet zijn als de zon. Deze simulaties helpen ons te zien hoe we die hitte kunnen temmen.
• Toekomstbestendig: De software werkt nu op zowel Nvidia als AMD chips. Het is alsof ze een auto hebben gebouwd die rijdt op benzine, elektriciteit én waterstof. Het maakt niet uit welke "brandstof" (hardware) de supercomputer van de toekomst gebruikt; de software werkt wel.

Samenvattend

De onderzoekers hebben een oude, trage simulatie getransformeerd in een hyper-efficiënte machine. Ze hebben de data laten "wonen" waar het rekenen gebeurt, de organisatie van de data gestroomlijnd tot één lange lijn, en alle rekenkracht tegelijkertijd laten werken zonder dat ze elkaar in de weg zitten. Hierdoor kunnen we nu plasma's simuleren op een schaal die eerder onmogelijk was, wat een enorme stap is voor de toekomst van schone energie.

Technische samenvatting

Titel: Multi-GPU Hybrid Particle-in-Cell Monte Carlo Simulaties voor Exascale Computersystemen

Auteurs: Jeremy J. Williams et al. (KTH, Max Planck Institute, Universiteit van Ljubljana, etc.)

---

1. Het Probleem

Deeltjes-in-cell (PIC) Monte Carlo (MC) simulaties zijn essentieel voor de plasmastichting, maar ondervinden toenemende uitdagingen op heterogene High-Performance Computing (HPC) systemen (zoals pre-exascale en exascale systemen). De bestaande MPI-only implementaties van de code BIT1 stuiten op de volgende beperkingen bij de overgang naar GPU-versnelde supercomputers:

• Excessieve dataverplaatsing: Het herhaaldelijk overbrengen van grote deeltjesarrays tussen host (CPU) en device (GPU) memory veroorzaakt grote overhead.
• Synchronisatiekosten: Inefficiënt gebruik van meerdere accelerators per node en hoge synchronisatiekosten tussen MPI-processen.
• Portabiliteit: Moeilijkheden bij het draaien op zowel Nvidia als AMD GPU-architecturen zonder vendor-specifieke code.
• I/O-flessenhalsen: Traditionele I/O-methoden kunnen de schaalbaarheid beperken bij grote datasets en frequente diagnostiek.

2. Methodologie

De auteurs presenteren een draagbare, multi-GPU hybride MPI+OpenMP-implementatie van BIT1. De kern van de oplossing ligt in het optimaliseren van het geheugenbeheer, de data-layout en de asynchrone uitvoering.

• Hybride Parallelisme: Combinatie van MPI voor domeindecompositie tussen nodes en OpenMP voor gedeeld geheugen parallelisme binnen een node, specifiek gericht op GPU-offloading.
• Persistent Device-Resident Memory: In plaats van data elke tijdstap te verplaatsen, worden grote arrays (zoals positie en snelheid van deeltjes) persistent op de GPU bewaard. Dit wordt gerealiseerd via #pragma omp target enter/exit data regio's.
• Geoptimaliseerde Data Layout: De oorspronkelijke 3D-arrays (x[species][cell][particle]) zijn herschikt naar contigu 1D-arrays. Dit verbetert het geheugentoegangspatroon en verhoogt de bandbreedte-efficiëntie op GPU's.
• Geheugenbeheer (Pinned Memory):
  • Overgang van Unified Memory (UM) naar Pinned Host Memory (PinM) voor grotere arrays.
  • Op Nvidia: Compile-time geselecteerde gepinde memory.
  • Op AMD: Gebruik van OpenMP memory allocators (omp_init_allocator met pinned=true) om expliciet geheugen te plaatsen en pinning te forceren. Dit ondersteunt asynchrone kopieën en GPU DMA.
• Asynchrone Multi-GPU Executie: Gebruik van OpenMP target tasks met nowait en depend clausules om berekening en communicatie te overlappen. Directe toegang tot device-pointers wordt mogelijk gemaakt via use_device_ptr en is_device_ptr, waardoor extra mapping overbodig wordt.
• I/O en Data Management: Integratie van de openPMD-standaard en ADIOS2 (met BP4 en SST backends) voor hoogdoorvoer bestands-I/O, in-memory streaming en in-situ analyse/visualisatie zonder het runtime te onderbreken.

3. Belangrijkste Bijdragen

1. Hybride MPI+OpenMP Architectuur: Ontwerp van een versie van BIT1 die load imbalance vermindert en resource-gebruik optimaliseert via een taakgebaseerde aanpak.
2. Draagbare GPU Offloading: Uitbreiding van OpenMP target tasks naar zowel Nvidia als AMD GPU's, gebruikmakend van nowait/depend voor asynchrone uitvoering en het behoud van persistent geheugen over tijdstappen heen.
3. Vendor-specifieke Optimalisaties: Implementatie van gepinde geheugenallocatie voor hoge doorvoer en lage latentie bij host-naar-device transfers, terwijl de code draagbaar blijft.
4. Scalabele I/O: Integratie van openPMD en ADIOS2 om I/O-flessenhalsen te doorbreken en real-time in-situ analyse mogelijk te maken op schaal.

4. Resultaten

De prestaties zijn getest op vier HPC-systemen, waaronder Frontier (OLCF-5, een exascale systeem), LUMI, MareNostrum 5 en Dardel.

• Prestatieverbetering (Sterke Schaling):
  • Op een enkele node (MN5, 4 GPU's) resulteerde de volledig geoptimaliseerde versie (persistent geheugen, 1D layout, PinM, asynchrone uitvoering) in een 17,04x snelheidswinst ten opzichte van de originele BIT1-versie.
  • De tijd voor de deeltjesbeweger (mover) werd gereduceerd tot bijna nul (≈0,06s) door het elimineren van data-overdrachten.
• Schalbaarheid (Tot 16.000 GPU's):
  • Minimale I/O: Op Frontier bereikte de versie met SST-backend een snelheidswinst van 13,81x bij 100 nodes (800 GPU's) met een parallelle efficiëntie (PE) van 98,0% bij zwakke schaling.
  • Zware I/O & Diagnostiek: Bij simulaties met frequente checkpointing en diagnostiek (10.000 tijdstappen, tot 2000 nodes / 16.000 GPU's) behaalde de SST-backend een sterk schalingswinst van 5,25x en een PE van 73,6%. Dit toont aan dat het systeem robuust blijft onder zware I/O-belasting.
• Profiling: Analyse toonde aan dat de sorteerfunctie (arrj) in de originele code 75,5% van de tijd nam, maar dit daalde tot 35,5% in de SST-versie, wat wijst op een betere verdeling van de rekenlast en I/O-handling.

5. Betekenis en Conclusie

Dit werk bewijst dat PIC MC-simulaties effectief kunnen worden geschaald naar exascale systemen door een zorgvuldig ontworpen hybride programmeringsmodel te combineren met modern geheugenbeheer.

• Succesvolle Portabiliteit: De code draait efficiënt op zowel Nvidia als AMD hardware zonder vendor-specifieke code te vereisen, wat cruciaal is voor de toekomst van heterogene HPC.
• Efficiëntie: Door het minimaliseren van dataverplaatsing en het overlappen van communicatie met berekening, wordt de kostbare rekentijd van de accelerators optimaal benut.
• Toekomstperspectief: De resultaten vormen een basis voor toekomstige uitbreidingen naar Intel GPU-platforms (zoals Aurora en JUPITER) en integratie met AI-methoden voor adaptieve controle en real-time analyse.

De studie bevestigt dat de combinatie van persistent GPU-geheugen, asynchrone OpenMP-taken en gestandaardiseerde I/O (openPMD/ADIOS2) essentieel is voor het overwinnen van de schaalbarrières in plasmafysica-simulaties op de volgende generatie supercomputers.