Exploiting repeated matrix block structures for more efficient CFD on modern supercomputers

Dit artikel stelt een nieuwe CFD-methodologie voor die de prestaties op moderne supercomputers verbetert door spaarzaam-matrix-vector-operaties om te zetten in matrix-matrix-producten om de rekenintensiteit te verhogen en door een inline-meshverfijningstrategie toe te passen om de convergentie te versnellen, wat gezamenlijk aanzienlijke snelheidswinst oplevert in turbulentiestromingssimulaties.

De kern

Stel je voor dat je probeert een enorm, complex puzzel op te lossen (een simulatie van hoe lucht of water stroomt) op een supercomputer. De computer is ongelooflijk snel, maar blijft steeds vastzitten terwijl hij wacht tot de puzzelstukken arriveren.

Dit is het kernprobleem dat het artikel aanpakt: Moderne supercomputers zijn zo snel in het berekenen dat ze vaak inactief zitten en wachten tot data uit het geheugen wordt opgehaald. Het is alsof je een Formule 1-coureur hebt die klaar is om te gaan, maar het pitcrew te traag is om de banden aan te reiken. De coureur spendeert meer tijd aan wachten dan aan rijden.

Hier is hoe de auteurs dit hebben opgelost, uitgelegd via eenvoudige analogieën:

1. Het "Wachtkamer"-probleem (Geheugen versus Rekenkracht)

In deze simulaties voert de computer een specifieke taak keer op keer uit: het neemt een gigantische, grotendeels lege lijst met getallen (een "sparse matrix" of verspreide matrix) en vermenigvuldigt deze met een lijst met waarden (een "vector").

• De Oude Manier (SpMV): Stel je voor dat de computer naar een bibliotheek moet lopen, één boek moet ophalen, een pagina moet lezen, terug naar zijn bureau moet lopen, wat rekenwerk moet doen, en dit dan moet herhalen. Het spendeert het grootste deel van de tijd aan lopen (data verplaatsen), niet aan lezen of rekenen. Dit wordt "memory-bound" (geheugengebonden) genoemd.
• De Bottleneck: Het "brein" van de computer (processor) is snel, maar de "hal" (geheugenbandbreedte) is smal. Het kan niet snel genoeg data binnenkrijgen om het brein bezig te houden.

2. De "Groepsreis"-oplossing (SpMM)

Het eerste grote idee van de auteurs is om te stoppen met het sturen van de computer op soloreizen en te beginnen met het sturen op groepsreizen.

• De Analogie: In plaats van de computer naar de bibliotheek te sturen om één boek te halen voor één berekening, organiseren ze meerdere berekeningen tegelijk. Ze bundelen 4, 8 of zelfs 16 verschillende "wat-als"-scenario's samen.
• Hoe het werkt: De computer loopt één keer naar de bibliotheek, pakt een stapel boeken (de matrix-data) en gaat zitten om alle 16 boeken tegelijkertijd te lezen.
• Het Resultaat: De "loop"-tijd (datatransfer) blijft gelijk, maar de "lees- en rekentijd" (berekening) neemt enorm toe. De computer is nu druk bezig met werken in plaats van wachten. In het artikel wordt dit omschreven als het veranderen van een Sparse Matrix-Vector product in een Sparse Matrix-Matrix product.
• De Opbrengst: Hierdoor loopt de simulatie tot 50% sneller zonder dat er nieuwe hardware wordt gekocht. Het is alsof je een gratis snelheidswinst krijgt door je werk gewoon beter te organiseren.

3. De "Onderwijswiel"-strategie (Mesh-verfijning)

Het tweede grote idee gaat over hoe de simulatie wordt gestart. Meestal moet je, om een stroming (zoals wind rond een vleugel) tot rust te laten komen in een stabiele toestand, de simulatie langere tijd laten draaien op een zeer gedetailleerde, hoogwaardige kaart (een "fine mesh" of fijn rooster). Dit kost veel tijd.

• De Analogie: Stel je voor dat je fietsen wilt leren op een moeilijke, rotsachtige bergweg. Je zou uren kunnen besteden aan het proberen om in balans te blijven en in beweging te komen op de rotsen, voordat je zelfs maar je echte rit begint.
• De Nieuwe Strategie: De auteurs suggereren om eerst te beginnen op een gladde, vlakke, makkelijke weg (een "coarse mesh" of grof rooster). Je krijgt de fiets snel in beweging en in balans. Zodra je soepel rijdt, wissel je over naar de rotsachtige bergweg (het "fine mesh") en ga je daar verder.
• Het Resultaat: Je slaat de trage, frustrerende "startfase" op het moeilijke terrein over. Het artikel toont aan dat dit aanzienlijk "wall-clock time" (werkelijke tijd) bespaart, omdat de computer op de makkelijke kaart grotere, snellere stappen kan zetten voordat het overschakelt naar de moeilijke kaart.

4. Realistische Tests

De auteurs hebben deze twee trucs getest op drie verschillende scenario's:

1. Turbulente Kanaalstroming: Simulatie van water dat door een pijp stroomt.
2. Rayleigh-Bénard Convectie: Simulatie van hete lucht die opstijgt (zoals een pot kokend water).
3. Vleugelsimulatie: Simulatie van lucht die over een complex vliegtuigvleugel stroomt (de 30P30N vleugel).

De Resultaten:

• Bij de Vleugel-test (een industriële, real-world case) versnelden ze niet slechts één simulatie; ze draaiden meerdere simulaties van de vleugel op verschillende hoeken gelijktijdig met de "Groepsreis"-methode. Hierdoor konden ze veel sneller prestatiecurves genereren.
• Bij de Kanaalstroming-test resulteerde het combineren van de "Groepsreis"-methode met de "Onderwijswiel"-strategie (mesh-verfijning) in snelheidswinsten van meer dan 50%.
• Ze ontdekten dat hoe complexer de wiskunde (met gedetailleerdere roosters), hoe groter de snelheidswinst, omdat de computer nog meer werk had zodra de data eenmaal was aangekomen.

Samenvatting

Het artikel bedenkt geen nieuw type computer of een nieuwe natuurwet. In plaats daarvan fungeert het als een verkeersregelaar voor de supercomputer:

1. Batchen: Het voorkomt dat de computer één reis per keer maakt en dwingt het om een zware lading data voor meerdere berekeningen tegelijk te vervoeren.
2. Opwarmen: Het laat de computer oefenen op een makkelijke versie van het probleem voordat het de moeilijke, gedetailleerde versie aanpakt.

Door dit te doen, zorgen ze ervoor dat het krachtige brein van de supercomputer daadwerkelijk wiskunde doet, in plaats van alleen maar te wachten tot data arriveert. Hierdoor lopen dure simulaties veel sneller af, wat tijd en energie bespaart.

Technische samenvatting

1. Probleemstelling

Computational Fluid Dynamics (CFD)-simulaties, met name voor de incompressibele Navier-Stokes-vergelijkingen, worden steeds meer beperkt door geheugendoorvoer (memory bandwidth) in plaats van rekenkracht. Deze beperking ontstaat omdat de kern algebraïsche bewerkingen (Sparse Matrix-Vector Products, of SpMV) een lage arithmetic intensity hebben (de verhouding tussen zwevendekommabewerkingen en overgedragen data).

Volgens het Roofline Model is de prestatie "geheugengebonden" wanneer de arithmetic intensity laag is, wat betekent dat het systeem meer tijd besteedt aan wachten op data uit het geheugen dan aan het uitvoeren van berekeningen. Deze bottleneck verhindert dat moderne High-Performance Computing (HPC)-systemen hun piek theoretische prestaties bereiken. Hoewel er diverse sparse matrix-formaten (bijv. ELLPACK, SELL-C-σ) zijn ontwikkeld om SpMV te optimaliseren, verhogen ze de arithmetic intensity fundamenteel niet genoeg om de "memory wall" te doorbreken.

2. Methodologie

De auteurs stellen een tweeledige strategie voor om CFD-simulaties van een geheugengebonden regime naar een rekengebonden (compute-bound) regime te verschuiven door de arithmetic intensity te verhogen.

A. Transformatie van SpMV naar SpMM (Benutting van Herhaalde Blokstructuren)

In plaats van om de beurt één stromingstoestand op te lossen, voert de methode $m$ gelijktijdige simulaties uit (ofwel meerdere stromingstoestanden of meerdere parameterreeksen).

• Mechanisme: Als $m$ onafhankelijke simulaties dezelfde geometrie en randvoorwaarden delen, zijn hun regulerende lineaire operatoren (Divergentie, Gradiënt, Laplaciaan en Poisson-matrix) identiek.
• Transformatie: De $m$ aparte right-hand side (RHS)-vectoren worden gestapeld tot één dichte matrix $X \in \mathbb{R}^{n \times m}$. De standaard SpMV-bewerking ($A \cdot x$) wordt vervangen door een Sparse Matrix-Matrix Product (SpMM) ($A \cdot X$).
• Voordeel: De sparse matrix $A$ wordt slechts eenmaal uit het geheugen geladen voor alle $m$ RHS-vectoren, terwijl het aantal zwevendekommabewerkingen lineair toeneemt met $m$. Dit verhoogt de arithmetic intensity drastisch, waardoor de hardware zijn volledige rekenpotentieel kan benutten.
• Scope: In tegenstelling tot eerdere werken die dit alleen toepasten op de Poisson-vergelijking solver, breidt deze methode de SpMM-transformatie uit naar alle operatoren in de CFD-lus (convectief, diffuus, gradiënt, divergentie en Laplaciaan).

B. Inline Mesh-Refinement Strategie

Om de wandkloktijd verder te reduceren, introduceren de auteurs een strategie om de overgangsfase te versnellen (de tijd die nodig is voordat een stroming een statistisch stationaire toestand bereikt voordat het middelen begint).

• Proces:
  1. Grof Fase: De simulatie start op een grof mesh om de stroming snel te laten ontwikkelen tot een tijdstip $T_D$.
  2. Mapping: Het stromingsveld wordt geïnterpoleerd van het grove mesh naar het doel fijne mesh.
  3. Fijne Fase: De simulatie gaat door op het fijne mesh totdat de overgangstijd $T_T$ is bereikt, gevolgd door de middelfase.
• Redenering: Grove meshes staan grotere tijdstappen en snellere iteraties toe. Door de stroming op een grof mesh te ontwikkelen, wordt de totale wandkloktijd om de statistisch stationaire toestand te bereiken aanzienlijk verkort, zonder de nauwkeurigheid van de uiteindelijke middelfase te compromitteren.

3. Belangrijkste Bijdragen

1. Generalisatie van SpMM: Het uitbreiden van de SpMM-aanpak van alleen de Poisson-vergelijking solver naar alle sparse operatoren (gradiënt, divergentie, Laplaciaan) in het CFD-algoritme, waardoor de prestatiewinst over de hele simulatie wordt gemaximaliseerd.
2. Inline Mesh Refinement: Een nieuwe workflow die ensemble-middeling combineert met dynamische mesh-verfijning om de tijd die wordt besteed aan de niet-middelende (overgangs)fase te minimaliseren.
3. Theoretische Grenzen: Afleiding van boven- en ondergrenzen voor versnelling op basis van het aantal right-hand sides ($m$), matrix-sparseheid (niet-nul-elementen per rij) en de verhouding tussen middeltijd en overgangstijd ($\beta$).
4. Validatie op Schaal: Uitgebreide tests op zowel gestructureerde (academische) als ongestructureerde (industriële) meshes.

4. Resultaten

De methodologie werd gevalideerd met drie testcases op de MareNostrum 5 supercomputer:

• Turbulente Planaire Kanaalstroming ($Re_\tau = 180$):

  • SpMM Kernel: Bereikte versnellingen van 3,0x voor SpMM-bewerkingen vergeleken met SpMV.
  • Poisson Solver: Bereikte versnellingen tot 2,0x.
  • Hele Iteratie: Bereikte versnellingen van 1,3x tot 1,5x.
  • Volledige Simulatie: Met mesh-verfijning bereikte de totale simulatieversnelling ~1,55x (55% reductie in wandkloktijd) voor 4-8 gelijktijdige stromingstoestanden, zonder extra rekenbronnen.
  • Hogere Orde Schema's: Tests met dichte matrices (13 en 27 niet-nul-elementen per rij) toonden nog hogere potentiële versnellingen (tot 4,1x voor kernels), wat wijst op grotere voordelen voor discretisatiemethoden van hogere orde.

• Rayleigh-Bénard Convectie ($Ra = 10^9$):

  • Valideerde de methode met een extra transportvergelijking (energie).
  • Resultaten toonden aan dat hoewel de toevoeging van de energievergelijking de SpMM-impact enigszins verduunt, de methode robuust blijft en vergelijkbare versnellingstrends bereikt als de kanaalstroming.

• Industrieel Geval (30P30N Vleugelprofiel):

  • Toegepast op een ongestructureerd mesh met 14 miljoen cellen.
  • Toonde aan dat de methode effectief werkt op complexe, industriële geometrieën.
  • Bereikte versnellingen van iteraties tot 80% voor meerdere parameterstudies (bijv. variërende aanvalshoeken), wat aanzienlijk beter presteerde dan ensemble-middelinggevallen vanwege de aard van volledige simulatieparallelisme.

5. Betekenis en Toekomstperspectief

• Doorbreken van de Memory Wall: Het artikel demonstreert een praktische, softwarematige aanpak om geheugendoorvoer-beperkingen in CFD te omzeilen door gebruik te maken van het "rekengebonden" regime via SpMM.
• Kostenefficiëntie: De methode verlaagt de wandkloktijd en rekenkosten zonder nieuwe hardware te vereisen, waardoor high-fidelity simulaties (DNS/LES) toegankelijker worden.
• Schaalbaarheid: De aanpak is agnostisch ten opzichte van de specifieke discretisatiemethode (FVM, FEM, DG) of gridtype (gestructureerd/ongestructureerd), waardoor het zeer veelzijdig is voor diverse CFD-oplossers.
• Toekomstige Trends: De auteurs voorspellen dat naarmate de efficiëntie van supercomputers (FLOPS/Watt) langzamer verbetert dan de ruwe prestaties, de relatieve kosten van geheugengebonden operaties zullen toenemen. Daarom zullen technieken die de arithmetic intensity verhogen, zoals SpMM, cruciaal worden voor toekomstige CFD-toepassingen.

Conclusie: Door SpMV te transformeren naar SpMM over alle operatoren heen en een inline mesh-refinement strategie te integreren, hebben de auteurs een robuust raamwerk ontwikkeld dat CFD-simulaties op moderne supercomputers aanzienlijk versnelt, met versnellingen van tot 50-80% in wandkloktijd voor complexe turbulente stromingen.