A Comparison of Massively Parallel Performance Portable Particle-in-Cell schemes for electrostatic kinetic plasma simulations

Dit artikel evalueert de prestaties en portabiliteit van verschillende Poisson-oplossers, waaronder FFT, PCG, FEM en de nieuwe Particle-in-Fourier (PIF)-schema's, binnen de IPPL-bibliotheek voor elektrostatische PIC-simulaties op diverse GPU-architecturen, en concludeert dat FFT het snelst is, terwijl het PIF-schema uitstekende schaalbaarheid biedt als een hoogwaardig alternatief.

De kern

Stel je voor dat je een enorme menigte mensen (deeltjes) probeert te simuleren die door een kamer bewegen, waarbij iedereen elkaar duwt en trekt op basis van hun positie. Dit is in wezen wat wetenschappers doen wanneer ze plasma (een superheet, elektrisch geladen gas) simuleren om te begrijpen hoe het zich gedraagt.

Dit artikel is een "wedstrijdverslag" dat verschillende manieren vergelijkt om de krachten tussen deze deeltjes te berekenen, om te zien welke methode het snelst en betrouwbaarst is op 's werelds krachtigste supercomputers.

Hier is de uitsplitsing van de race met eenvoudige analogieën:

De Setting: De "Particle-in-Cell"-lus

Beschouw de simulatie als een spel dat in rondes wordt gespeeld. In elke ronde doet de computer vier dingen:

1. Scatter (Verstrooien): Het neemt de posities van de deeltjes en "schildert" hun "lading" op een rooster (zoals een schaakbord).
2. Solve (Oplossen): Het berekent het elektrische veld (de duw/trek-kracht) overal op dat rooster op basis van de geschilderde ladingen. Dit is het hoofdonderdeel van de race.
3. Gather (Verzamelen): Het leest de kracht van het rooster en vertelt elk deeltje hoe het moet bewegen.
4. Push (Duwen): De deeltjes bewegen naar hun nieuwe plekken.

De auteurs testten vier verschillende "Oplossers" (methoden om stap 2 te berekenen) om te zien welke wint.

De Vier Renners

1. De FFT-oplosser (De Snelle Sprinter)

• Hoe het werkt: Deze methode gebruikt een wiskundige truc genaamd de "Fast Fourier Transform" (Snelle Fourier-transformatie). Stel je voor dat je een puzzel probeert op te lossen door het hele plaatje in één keer in een spiegel te zien in plaats van één stukje tegelijk te bekijken. Het is ongelooflijk snel.
• De Haken en Ogen: Het werkt alleen als de kamer "periodieke" randvoorwaarden heeft. Denk hierbij aan een videowereld waar je, als je aan de rechterkant uitloopt, direct aan de linkerkant verschijnt. Het kan geen muren of open deuren aan.
• Het Resultaat: Het was absoluut het snelst in termen van pure tijd. Echter, op één specifieke supercomputer (Alps) struikelde het omdat het deel van de lus met "deeltjesbeweging" vastliep, waardoor de hele race vertraagde.

2. De PCG-oplosser (De Betrouwbare Werkpaard)

• Hoe het werkt: Deze methode breekt het rooster op in kleine vierkantjes en lost de wiskunde stap voor stap op, zoals een detective die elke aanwijzing één voor één controleert. Het gebruikt een "Preconditioned Conjugate Gradient"-benadering.
• De Haken en Ogen: Het is veel trager dan de FFT (ongeveer 10 keer trager in pure tijd), maar het is zeer flexibel. Het kan muren (Dirichlet) of open ruimtes (Neumann) aan, niet alleen de "wrap-around"-videowereld.
• Het Resultaat: Het schaalt goed (wordt sneller naarmate je meer computers toevoegt), maar het duurt langer om de klus te klaren.

3. De FEM-oplosser (De Hoog-precisie Architect)

• Hoe het werkt: Dit is de "Finite Element Method" (Eindige-elementenmethode). In plaats van een stijf rooster, behandelt het de ruimte als een flexibel net dat kan buigen en zich aan complexe vormen kan aanpassen. Het is alsof je een op maat gemaakt pak draagt in plaats van een vierkante, kant-en-klare overhemd.
• De Haken en Ogen: Net als de PCG is het trager dan de FFT. Het heeft ook wat moeite met communicatie tussen computers omdat het constant de randen van zijn flexibele net moet controleren.
• Het Resultaat: Het is geweldig als je hoge precisie of complexe vormen nodig hebt, maar het is niet de snelheidskampioen.

4. De PIF-oplosser (De Nieuwe Uitdager)

• Hoe het werkt: Dit is het "Particle-in-Fourier"-schema. In plaats van deeltjes eerst op een rooster te schilderen, projecteert het ze direct in "frequentieruimte" (een wiskundige weergave van golven). Het is alsof je de kaart helemaal overslaat en navigeert op het ritme van de golven.
• De Haken en Ogen: Het vereist speciale wiskunde (Non-Uniform FFT's) om deeltjes aan te kunnen die niet perfect uitgelijnd zijn.
• Het Resultaat: Het is duurder (trager) dan de FFT, maar het is ongelooflijk stabiel en nauwkeurig. Het lijdt niet aan de "ghosting"- of "aliasing"-fouten die optreden wanneer je probeert een rond deeltje op een vierkant rooster te passen. Het schaalt prachtig op alle machines, wat betekent dat het zeer efficiënt sneller wordt naarmate je meer kracht toevoegt.

Het Racecircuit (De Supercomputers)

De auteurs voerden deze tests uit op drie verschillende "circuits" (supercomputers) met verschillende motoren:

• Alps (Zwitserland): Gebruikt de nieuwste chips van Nvidia.
• LUMI (Finland): Gebruikt AMD-chips.
• JUWELS Booster (Duitsland): Gebruikt oudere Nvidia-chips.

Het Podium van de Winnaars

• Pure Snelheid: De FFT-oplosser wint met gemak, maar alleen als je probleem past bij zijn strenge regels (periodieke randvoorwaarden) en je niet de specifieke Alps-machine gebruikt waar een technische storing het vertraagde.
• Flexibiliteit: De PCG- en FEM-oplossers zijn de beste keuze als je simulatie muren of complexe vormen heeft. Ze zijn trager, maar ze krijgen de klus geklaard waar de FFT niet kan komen.
• Hoge Fidelity: De PIF-oplosser is de nieuwe ster. Hoewel het iets langer duurt dan de FFT, biedt het de beste balans tussen snelheid, stabiliteit en nauwkeurigheid. Het is als een sportwagen die iets trager is dan een Formule 1-auto, maar de bochten veel beter neemt en veiliger te rijden is.

De Conclusie

Het artikel concludeert dat er geen enkele "beste" oplosser is.

• Als je snelheid nodig hebt en eenvoudige randvoorwaarden hebt, gebruik dan FFT.
• Als je flexibiliteit nodig hebt (muren, complexe vormen), gebruik dan PCG of FEM.
• Als je hoge nauwkeurigheid en stabiliteit nodig hebt zonder de fouten van standaardmethoden, dan is PIF een uitstekend, schaalbaar alternatief.

De auteurs merkten ook op dat ze momenteel werken aan het oplossen van de "deeltjesupdate"-storing op de Alps-supercomputer en het verbeteren van de "preconditionering" (een manier om de wiskunde te versnellen) voor de FEM-oplosser om ze in de toekomst nog sneller te maken.

Technische samenvatting

Technische Samenvatting: Een Vergelijking van Massaal Parallelle Prestatieportabele Particle-in-Cell-schema's voor elektrostatische kinetische plasmasimulaties

Probleemstelling
Het artikel adresseert de uitdaging van het selecteren van optimale numerieke schema's voor elektrostatische kinetische plasmasimulaties, specifiek het oplossen van het Vlasov-Poisson-systeem, binnen de context van moderne heterogene High-Performance Computing (HPC)-architecturen. Aangezien supercomputing verschuift naar heterogene systemen die CPU's en GPU's van meerdere leveranciers combineren (bijv. AMD, Intel, Nvidia), moeten simulatiecodes zowel massaal parallel zijn als prestatieportabel. De auteurs onderzoeken welke Particle-in-Cell (PIC) veldoplossers en alternatieve schema's de beste balans bieden tussen nauwkeurigheid, schaalbaarheid en portabiliteit over verschillende hardwareplatforms. De studie richt zich op het elektrostatische Vlasov-Poisson-systeem, een gekoppeld niet-lineair hoog-dimensionaal PDE-systeem dat cruciaal is voor bundelfysica en plasmasimulaties.

Methodologie
De auteurs maken gebruik van de IPPL (Independent Parallel Particle Layer)-bibliotheek, een C++-framework ontworpen voor prestatieportabele, dimensie-onafhankelijke particle-mesh-methoden. IPPL maakt gebruik van Kokkos voor hardware-abstractie, heFFTe voor FFT's en MPI voor communicatie tussen knooppunten.

De studie benchmarkt vier verschillende schema's die zijn geïmplementeerd binnen IPPL, gebruikmakend van de Landau-demping mini-toepassing als testgeval. De vergeleken schema's zijn:

1. FFT-oplosser: Een pseudo-spectrale oplosser die Fast Fourier Transforms gebruikt, geschikt voor periodieke en vrije-ruimte randvoorwaarden.
2. PCG-oplosser: Een matrixvrije, tweede-orde eindige-differentie Preconditioned Conjugate Gradient-oplosser, capable om Dirichlet-, Neumann- en periodieke randvoorwaarden te verwerken.
3. FEM-oplosser: Een matrixvrije Finite Element Method-oplosser die basisfuncties van Lagrange van de eerste orde gebruikt (leverend tweede-orde nauwkeurigheid), capable om ongestructureerde meshes en diverse randvoorwaarden te verwerken.
4. PIF (Particle-in-Fourier) Schema: Een nieuwe aanpak die interpolatie in de ruimte van het rooster vermijdt. Het projecteert deeltjesladingen direct naar de Fourier-ruimte met behulp van Non-Uniform FFT's (NUFFT's), lost de veldvergelijkingen spectraal op en interpolateert krachten terug naar de deeltjes. Deze methode beoogt aliasing te elimineren en behoudseigenschappen te verbeteren.

Experimentele Opstelling
De evaluatie werd uitgevoerd op drie verschillende supercomputer-architecturen:

• Alps (CSCS, Zwitserland): 2688 knooppunten met GH200 (Nvidia Grace-Hopper) chips.
• LUMI-G (CSC, Finland): 2978 knooppunten met AMD MI250X GPU's.
• JUWELS Booster (Jülich, Duitsland): 936 knooppunten met Nvidia A100 GPU's.

Twee probleemgroottes werden getest voor sterke schaling:

• Geval A: $512^3$ rooster met 8 deeltjes per cel (~1 miljard deeltjes).
• Geval B: $1024^3$ rooster met 8 deeltjes per cel (~8,5 miljard deeltjes).

Er werden ook zwakke schalingsstudies uitgevoerd, waarbij de probleemgrootte evenredig werd verhoogd met het aantal GPU's om constant werk per GPU te behouden.

Belangrijkste Resultaten

• Absolute Prestaties: De FFT-oplosser toonde consistent de laagste absolute runtime over alle architecturen, dankzij optimalisaties in de heFFTe-bibliotheek. Echter, zijn toepasbaarheid is beperkt tot periodieke of vrije-ruimte randvoorwaarden.
• Schaalbaarheid en Bottlenecks:
  • Op Alps (GH200) werd de sterke schaling van de FFT-oplosser beperkt door de kernel voor de deeltjesupdate. Het inschakelen van CUDA IPC op deze knooppunten verhoogde de runtime van de deeltjesupdates, waardoor de FFT-fase (die zeer snel was) niet langer de bottleneck was; in plaats daarvan werd de deeltjescommunicatie de dominante factor, wat de schalingsefficiëntie na 32 GPU's voor Geval A onder de 50% deed dalen.
  • De PCG- en FEM-oplossers, waarbij de lineaire oplossing of de scatter/gather-operaties de primaire bottlenecks zijn, maskeerden de kosten van de deeltjesupdate en vertoonden betere schaling op Alps.
  • Het PIF-schema toonde uitstekende schaalbaarheid, met behoud van efficiëntie boven de 50% tot 512 GPU's op LUMI en JUWELS Booster, en tot 1024 GPU's op Alps voor de grotere probleemgrootte.
• Vergelijking van Oplossers:
  • PCG en FEM: Deze oplossers waren ongeveer een orde van grootte trager in absolute tijd dan de FFT-oplosser, maar schaalden vergelijkbaar in de context van elektrostatische PIC. De FEM-oplosser liep iets hogere kosten op door conditionele logica die vereist is voor randvoorwaarden in matrix-vector evaluaties en halo-communicatie.
  • PIF: Hoewel duurder dan het op FFT gebaseerde PIC-schema, bood PIF resultaten van hoge fideliteit met uitstekend behoud en stabiliteit. Op grotere aantallen knooppunten presteerde PIF op specifieke architecturen soms beter in absolute tijd dan de FFT-oplosser, vanwege de bottleneck van de deeltjesupdate bij de FFT.
• Preconditionering: De studie merkte op dat matrixvrije preconditionering voor FEM een uitdaging blijft. Een naïeve implementatie met conditionele logica verlaagde het aantal CG-iteraties, maar verhoogde de runtime per iteratie als gevolg van sub-optimale prestaties van GPU's bij conditionele logica.

Betekenis en Claims
De auteurs claimen dat dit werk een uitgebreide karakterisering biedt van verschillende PIC- en PIF-schema's op massaal parallelle, heterogene supercomputers. De primaire bijdragen zijn:

1. Demonstratie van Portabiliteit: De studie valideert dat de IPPL-bibliotheek succesvol prestatieportabele particle-mesh-simulaties kan leveren over diverse hardware (AMD- en Nvidia-GPU's) zonder dat architectuurspecifieke codeherwerking vereist is.
2. Richtlijnen voor Oplosserselectie: Het artikel verduidelijkt de afwegingen tussen oplossers. Hoewel FFT superieur is in snelheid voor periodieke problemen, bieden PCG en FEM de nodige flexibiliteit voor complexe randvoorwaarden. PIF wordt geïdentificeerd als een alternatief van hoge fideliteit dat aliasing vermijdt en concurrerende schaalbaarheid biedt, waardoor het een levensvatbare optie is voor simulaties waarbij behoud en stabiliteit van het grootste belang zijn.
3. Identificatie van Bottlenecks: Het werk benadrukt dat in sterk geoptimaliseerde FFT-implementaties op specifieke architecturen (zoals GH200) de kernel voor de deeltjesupdate de beperkende factor kan worden, een nuance die vaak over het hoofd wordt gezien wanneer men zich uitsluitend richt op veldoplossers.

Het artikel concludeert dat de keuze van de oplosser moet worden afgestemd op de specifieke fysieke beperkingen (bijv. randvoorwaarden) en de doelhardware, met de opmerking dat hogere-orde schema's zoals PIF moderne massaal parallelle architecturen volledig kunnen benutten ondanks hun rekenkosten. Toekomstig werk wordt geïdentificeerd als het verbeteren van matrixvrije preconditionering voor FEM om de prestaties verder te verhogen.