Memory- and compute-optimized geometric multigrid GMGPolar for curvilinear coordinate representations -- Applications to fusion plasma

Dit artikel presenteert een volledig herontworpen, object-georiënteerde versie van de GMGPolar-geometrische multigrid-oplosser voor kromlijnige coördinaten, die door matrixvrije implementaties en optimalisaties zoals de Sherman-Morrison-formule en cache-vriendelijke herschikking aanzienlijke snelheidswinsten (tot een factor 37) en lagere geheugeneisen biedt voor simulaties van fusieplasma in tokamaks.

De kern

De Kern: Een Super-Snel Rekenwiel voor Energie uit Sterren

Stel je voor dat we proberen een mini-ster op aarde te bouwen om oneindig schone energie te maken. Dit gebeurt in enorme machines die tokamaks heten. Het probleem is dat deze sterren (plasma) heel gek doen: ze wervelen, veranderen van vorm en zijn onvoorspelbaar.

Om te begrijpen hoe deze machines werken, moeten wetenschappers enorme berekeningen doen. Het is alsof je probeert te voorspellen hoe een heel groot, gekruld laken in de wind beweegt, maar dan in 3D en met miljarden deeltjes. De huidige computers zijn vaak te traag of hebben te veel geheugen nodig om dit in real-time te doen.

De auteurs van dit artikel hebben een nieuw rekenprogramma gemaakt genaamd GMGPolar. Ze noemen het een "geometrisch multigrid"-oplosser. Klinkt ingewikkeld? Laten we het anders bekijken.

---

1. Het Probleem: De "Gekruld Laken" Uitdaging

De vorm van een tokamak is niet rond als een perfect balletje; het is vaak een beetje gedraaid en uitgerekt, zoals een donut die iemand heeft vastgeknepen. In de wiskunde noemen we dit kromlijnige coördinaten.

• De oude manier: Stel je voor dat je een gekruld laken glad wilt strijken. De oude software probeerde dit punt voor punt te doen, alsof je met een klein strijkijzer over het hele laken moest. Dit kostte enorm veel tijd en energie (rekenkracht).
• Het nieuwe idee: De auteurs hebben een slimme manier bedacht om het laken in één keer glad te strijken, zelfs als het gekruld is. Ze hebben het programma volledig herschreven (gerefactoreerd) om dit veel slimmer te doen.

2. De Oplossing: Twee Slimme Manieren (Give vs. Take)

Het nieuwe programma heeft twee manieren om te werken, afhankelijk van hoeveel geheugen je hebt en hoe snel je wilt zijn.

A. De "Give"-methode (De Slimme Hergebruiker)

• De Analogie: Stel je voor dat je een recept kookt. In plaats van elke keer dat je een ui snijdt, die ui opnieuw te kopen en te snijden, bewaar je de gesneden ui in een bakje en gebruik je die later weer.
• In de praktijk: Deze methode rekent dingen niet opnieuw uit, maar slaat ze op en deelt ze.
• Het resultaat: Het is extreem geheugenefficiënt. Het gebruikt ongeveer 33% minder geheugen dan de oude versie. Dit is als het verschil tussen een grote koelkast en een kleine lunchdoos. Je kunt nu veel meer "lakens" (doorsneden van de machine) tegelijkertijd berekenen op één computer.

B. De "Take"-methode (De Snelle Alleskunner)

• De Analogie: Stel je voor dat je een supermarkt hebt waar je alles direct uit de schappen pakt zonder te wachten. Je hebt meer ruimte nodig om alles in je winkelwagentje te dragen, maar je bent veel sneller klaar.
• In de praktijk: Deze methode slaat meer gegevens op in het geheugen, zodat de computer niet hoeft te wachten om ze te berekenen.
• Het resultaat: Het is ontzettend snel. Het is 16 tot 18 keer sneller dan de oude versie.

3. De "Cache" en de "Smoother": Het Verkeersregelsysteem

Computers hebben een soort "werkblad" (cache) waar ze de meest gebruikte dingen even neerleggen voor snelle toegang.

• Het oude probleem: De oude software legde de dingen op het werkblad in een rommelige hoop. De computer moest steeds zoeken, wat tijd kostte.
• De nieuwe oplossing: De auteurs hebben de volgorde van de gegevens veranderd. Het is alsof ze de boeken in een bibliotheek niet meer alfabetisch, maar per onderwerp hebben gerangschikt. Nu kan de computer direct grijpen wat hij nodig heeft.
• De "Smoother": Dit is het proces waarbij de ruwe berekening wordt "gladgestreken" tot een perfect antwoord. Ze hebben speciale regels bedacht om dit gladstrijken te doen op de gekrulde lijnen van de machine, in plaats van op een vierkante rooster.

4. De Resultaten: Een Raketversnelling

Wat levert dit allemaal op?

• Snelheid: De nieuwe software is 16 tot 18 keer sneller dan de beste software die daarvoor bestond.
• Geheugen: Je hebt één derde minder geheugen nodig.
• De "Super-Preconditioner": Als je deze software gebruikt als een "voorbereider" voor nog complexere berekeningen (een Krylov-preconditioner), kan de snelheid zelfs 25 tot 37 keer hoger liggen!

5. Waarom is dit belangrijk?

Vroeger duurde het dagen om te simuleren hoe een tokamak zich gedraagt. Met deze nieuwe software kunnen ingenieurs en fysici dit in uren of minuten doen.

• Dit betekent dat we snellere ontwerpen kunnen testen.
• We kunnen betere reactoren bouwen.
• We komen dichter bij de droom van schone, onbeperkte energie uit fusie.

Samenvattend

De auteurs hebben een oude, trage en geheugenvretende rekenmachine vervangen door een slimme, snelle en compacte versie. Ze hebben de code herschreven alsof ze een oude, rommelige garage hebben omgebouwd tot een strakke, geautomatiseerde fabriek. Of je nu wilt besparen op ruimte (geheugen) of op tijd (snelheid), er is nu een perfecte methode voor. Dit is een enorme stap voorwaarts in de strijd voor schone energie.

Technische samenvatting

1. Probleemstelling

Tokamak-fusiereactoren zijn een veelbelovende manier om energie op te wekken uit plasmafusie. Omdat het bouwen van reactoren en het uitvoeren van fysieke experimenten extreem duur en tijdrovend is, zijn numerieke experimenten onmisbaar voor het begrijpen van plasmafysica en het optimaliseren van reactorontwerpen.

De simulatie van plasma in tokamaks vereist het oplossen van de gyrokinetische Vlasov-vergelijking (5D) en een Poisson-achtige vergelijking (3D) om quasi-neutraliteit te handhaven. Hoewel de 3D-vergelijking van kleinere dimensie is, kan het oplossen hiervan de prestaties en schaalbaarheid van simulatiecodes aanzienlijk beïnvloeden.
Veel codes (zoals GYSELA en ORB5) lossen dit op door duizenden tot miljoenen 2D dwarsdoorsneden van de tokamak-geometrie te berekenen. Deze dwarsdoorsneden worden vaak beschreven in kromlijnige coördinaten (polair of veralgemeend polair), wat extra complexiteit introduceert, vooral rond de separatrix en het centrum van de tokamak. Bestaande oplosmethoden kampen vaak met hoge geheugeneisen of suboptimale snelheid bij het hanteren van deze complexe geometrieën.

2. Methodologie

Het paper introduceert GMGPolar versie 2, een volledig herontworpen, object-georiënteerde versie van een geometrisch multigrid-oplosser die specifiek is ontworpen voor kromlijnige coördinaten. De kern van de methodologie omvat:

• Discretisatie: Gebruik van een symmetrisch eindige-differentieschema (FD) op niet-uniforme roosters, geïnspireerd door eindige-elementenmethoden, om de symmetrie van het probleem te behouden.
• Multigrid-strategie:
  • Gladmakingsoperaties (Smoothing): Een adaptieve strategie die schakelt tussen cirkelvormige lijn-gladmaking (dicht bij de oorsprong waar connecties sterk zijn) en radiale lijn-gladmaking (dicht bij de rand).
  • Intergrid-overdracht: Standaard bilineaire interpolatie en restrictie, waarbij de restrictie de geadjungeerde operator is van de prolongatie.
  • Cycli: Ondersteuning voor V-, W- en F-cycli, evenals Full Multigrid (FMG) voor een betere initiële benadering en snellere convergentie.
• Matrix-vrije implementaties (Matrix-free): Er zijn twee benaderingen geïmplementeerd om de opslag van de stijfheidsmatrix te vermijden:
  1. Take-benadering: Berekent matrixwaarden "ter plaatse" door waarden uit het geheugen van buren te halen. Dit vereist minder berekeningen maar meer geheugen voor het opslaan van transformatiecoëfficiënten.
  2. Give-benadering: Berekent waarden opnieuw en "geeft" ze door aan buren. Dit minimaliseert het geheugengebruik maar introduceert rekenkosten.
• Optimalisaties:
  • Geheugenoptimalisatie: Gebruik van Sherman-Morrison-formule voor cyclische tridiagonale systemen (voor cirkelvormige gladmaking) zonder extra "fill-in". In-place Cholesky-factoren in plaats van volledige LU-decompositie.
  • Cache-optimalisatie: Herordening van roosterindexering om de toegang tot cache-lijnen te maximaliseren en data-locality te verbeteren.
  • Parallelisatie: Overgang van taakgebaseerde parallelisatie (OpenMP) naar lus-gebaseerde parallelisatie om synchronisatie- en wachttijden te verminderen. Voor de 'Give'-benadering wordt een specifieke parallelisatiepatroon (2-4-4 met barrières) gebruikt om conflicten bij het updaten van buren te voorkomen.

3. Belangrijkste Bijdragen

• Object-georiënteerd ontwerp: Een volledige refactor van de codebase naar een modulaire, object-georiënteerde structuur (met klassen zoals PolarGrid, LevelCache, Smoother, Interpolation), wat onderhoud en uitbreiding vergemakkelijkt.
• Geheugenreductie: De nieuwe 'Give'-implementatie reduceert het geheugengebruik met ongeveer 36% ten opzichte van de vorige versie (van ~12n naar ~6.7n voor alle niveaus).
• Snelheidswinst:
  • De 'Take'-benadering bereikt snelheidswinsten van 16x tot 18x ten opzichte van de vorige staat-van-de-kunst.
  • De 'Give'-benadering bereikt snelheidswinsten van 4x tot 7x met een aanzienlijke geheugenreductie.
• Preconditionering: Experimentele resultaten tonen aan dat GMGPolar als preconditioner voor de Conjugate Gradient (CG) methode (PCG-GMGPolar) kan worden gebruikt, wat leidt tot extra snelheidswinsten.
• Hogere orde convergentie: Behoud van impliciete extrapolatie om de convergentieorde te verhogen tot ongeveer 3.6 - 4.0.

4. Resultaten

De resultaten zijn getest op verschillende tokamak-geometrieën (Shafranov, Czarny en Culham) met roosters tot wel 6145 × 8192 punten (ongeveer 50 miljoen vrijheidsgraden).

• Schaalbaarheid:
  • Sterke schaalbaarheid (Strong Scaling): De nieuwe implementatie toont goede schaalbaarheid tot 32 kernen. Bij 64 kernen stagneert de schaalbaarheid iets door het gebrek aan voldoende data voor de beschikbare rekenkracht op één node.
  • Zwakke schaalbaarheid (Weak Scaling): Efficiëntie varieert per geometrie en implementatie, maar is acceptabel (bijv. 72.95% voor Culham-geometrie van 1 naar 64 kernen).
• Prestatievergelijking:
  • Tegenover de vorige versie (v1) en andere state-of-the-art oplosmiddelen, biedt v2 een compromis tussen zeer snelle uitvoering en hoogwaardige benadering.
  • PCG-Preconditioning: In experimentele setups (PCG met GMGPolar als preconditioner) werden totale snelheidswinsten van 25x tot 37x bereikt ten opzichte van de oude versie (afhankelijk van het aantal kernen).
• Geheugen: De 'Give'-versie vermindert het geheugenvoetafdruk met ongeveer één derde, wat het mogelijk maakt om veel dwarsdoorsneden op één rekenknooppunt te verwerken.

5. Betekenis en Toekomstperspectief

Deze paper presenteert een aanzienlijke doorbraak in de numerieke simulatie van fusieplasma. Door de combinatie van een object-georiënteerd ontwerp, geavanceerde geheugen- en cache-optimalisaties en flexibele implementatiestrategieën ('Take' vs. 'Give'), biedt GMGPolar v2 een krachtig gereedschap voor fusieonderzoekers.

• Praktische impact: Het stelt onderzoekers in staat om complexere 2D dwarsdoorsneden sneller en met minder geheugen te simuleren, wat essentieel is voor het optimaliseren van toekomstige fusiereactoren.
• Toekomst: De auteurs plannen de porting van de applicatie naar GPU-versnellers en de uitbreiding naar domeinen met X-punten (via multi-patch geometrieën), wat de toepasbaarheid op nog realistischere tokamak-configuraties zal vergroten.

Kortom, GMGPolar v2 combineert een verminderd geheugengebruik met aanzienlijk hogere snelheid en betere schaalbaarheid, waardoor het een nieuwe standaard wordt voor het oplossen van gyrokinetische Poisson-vergelijkingen in kromlijnige coördinaten.