SCALE-TRACK: Asynchronous Euler-Lagrange particle tracking on heterogeneous computing architecture

Dit paper introduceert SCALE-TRACK, een schaalbaar, asynchroon Euler-Lagrange-deeltjevolgsysteem voor heterogene exascale-computers dat de simulatie van tot 256 miljard deeltjes mogelijk maakt en zowel op lokale werkstations als op HPC-clusters uitstekende schaalbaarheid en nauwkeurigheid biedt.

De kern

Hoe SCALE-TRACK de lucht en wolken in de computer simuleert: Een verhaal over asynchrone dans en superkrachtige robots

Stel je voor dat je een gigantische, complexe dans wilt nabootsen in een computer. De dans bestaat uit twee groepen:

1. De luchtstroom (de "Euler" groep): Dit is de grote massa, zoals een stromende rivier of een windvlaag. Deze wordt berekend op de traditionele processoren (CPU's) van de computer.
2. De deeltjes (de "Lagrange" groep): Dit zijn miljarden kleine druppeltjes, stofjes of wolken. Ze zweven door de lucht en volgen hun eigen pad. Deze worden berekend op de grafische kaarten (GPU's), die bekend staan om hun enorme snelheid bij het verwerken van veel kleine dingen tegelijk.

Het probleem in de oude methoden was dat deze twee groepen tegen elkaar aan moesten wachten. De luchtstroom moest eerst klaar zijn voordat de deeltjes mochten bewegen, en andersom. Dit is alsof een danspaar wacht tot de ander klaar is met een stap voordat ze zelf verder mogen. Veel tijd gaat hierdoor verloren, en de computer staat vaak stil (inactief) terwijl hij wacht.

Wat is SCALE-TRACK?

SCALE-TRACK is een nieuwe, slimme manier om deze dans te laten dansen. Het is ontwikkeld door een team van onderzoekers en maakt gebruik van een asynchrone aanpak.

De Creatieve Analogie: De Snelle Chef en de Slome Koffiebar

Stel je een drukke koffiebar voor:

• De Chef (CPU): Hij bereidt de complexe maaltijden (de luchtstroom). Dit duurt even en vereist veel aandacht.
• De Barista (GPU): Hij maakt duizenden koppen koffie (de deeltjes) tegelijk. Hij is razendsnel, maar heeft wel de juiste ingrediënten (de luchtstroom) nodig om te weten wat hij moet doen.

De Oude Methode (Synchroon):
De Barista staat stil en wacht tot de Chef de maaltijd af heeft. Dan geeft de Chef de opdracht, de Barista maakt koffie, en dan wacht de Chef weer tot de Barista klaar is. Veel tijd wordt verspild aan wachten.

De Nieuwe Methode (SCALE-TRACK - Asynchroon):
De Chef en de Barista werken tegelijkertijd, maar ze zijn slim.

1. De Chef begint met koken. Hij schat in wat er nodig is voor de volgende ronde en roept de Barista: "Ik denk dat je straks melk en suiker nodig hebt, gebruik die maar!"
2. De Barista begint direct met het maken van koffie, gebaseerd op die schatting. Hij hoeft niet te wachten.
3. Zodra de Chef de maaltijd af heeft, stuurt hij de echte ingrediënten door. Als de Barista al klaar is met zijn schatting, past hij de koffie direct aan. Als de Barista nog bezig is, gebruikt hij de nieuwe info voor de volgende batch.

Dit heet in de paper een "extrapolator-corrector" methode. Het is alsof je een voorspelling doet en die later corrigeert. Het resultaat? De Barista (de GPU) staat nooit stil. Hij is continu aan het werk, en de Chef (de CPU) hoeft ook niet te wachten.

De Slimme Verdeling (Chunking)

In de oude methoden was de computerwereld opgedeeld in vaste vakjes. Als een deeltje van vakje A naar vakje B ging, moest het communiceren met de hele computer. Dat was traag.

SCALE-TRACK gebruikt een dynamische verdeling.

• Stel je voor dat de deeltjes in groepjes (chunks) zitten, zoals een zwerm vogels.
• Deze zwermen kunnen groeien, krimpen en bewegen. Ze hoeven niet vast te zitten aan de vakjes van de luchtstroom.
• Als een zwerm de rand van een vakje nadert, groeit het vakje gewoon een beetje mee, in plaats dat de vogels naar een ander vakje moeten verhuizen. Dit bespaart enorm veel communicatie en tijd.

Wat hebben ze bereikt? (De "Exascale" Prestatie)

De onderzoekers hebben dit systeem getest op een supercomputer (MareNostrum5) en zelfs op een gewone krachtige werkplekcomputer.

• Op de werkplek: Ze slaagden erin om 1,4 miljard deeltjes te simuleren op één enkele grafische kaart. Dat is alsof je een hele stad met al zijn inwoners in één kamer kunt volgen.
• Op de supercomputer: Ze bereikten een record van 256 miljard deeltjes op 256 grafische kaarten. Dat is een aantal dat eerder ondenkbaar was.

Waarom is dit belangrijk?

1. Snelheid: Simulaties die vroeger dagen duurden, gaan nu veel sneller.
2. Energie: Omdat de computers niet stil staan en wachten, wordt er minder stroom verspild.
3. Toepassingen: Dit helpt wetenschappers om beter te begrijpen hoe wolken ontstaan, hoe vervuiling zich verspreidt, of hoe brandstof in motoren verbrandt. Het maakt het mogelijk om zeer gedetailleerde simulaties te doen, zelfs op kleinere computers.

Kort samengevat:
SCALE-TRACK is de nieuwe regisseur die zorgt dat de luchtstroom en de deeltjes niet meer op elkaar hoeven te wachten, maar in een perfecte, gesynchroniseerde chaos samenwerken. Hierdoor kunnen we de natuur veel nauwkeuriger en sneller nabootsen dan ooit tevoren.

Technische samenvatting

Probleemstelling

Euler-Lagrange (EL) simulaties zijn een krachtige methode voor het modelleren van verspreide meerfasestromingen (bijv. wolken, aerosolen, verbranding), waarbij de continue fase (vloeistof/gas) in een Euleriaans raamwerk wordt berekend en de verspreide fase (deeltjes) in een Lagrangeaans raamwerk wordt gevolgd. Hoewel deze methode nauwkeurig is, is ze computationeel zeer intensief. Bestaande implementaties op heterogene rekenarchitecturen (combinaties van CPU's en GPU's) ondervinden ernstige schaalbaarheidsproblemen die simulaties beperken tot ongeveer $10^9$ deeltjes. De belangrijkste knelpunten zijn:

• Synchronisatiebarrières: Traditionele methoden vereisen dat de Euleriaanse en Lagrangeaanse fases wachten op elkaar, wat leidt tot inactiviteit (idle time) van hardware.
• Ladenbalans: Deeltjes hopen zich vaak op in specifieke gebieden, wat zorgt voor onevenwichtige belasting tussen processoren.
• Communicatie-overhead: Het uitwisselen van gegevens tussen CPU's en GPU's, en tussen verschillende nodes, wordt een bottleneck bij exascale-schalen.
• Onvoldoende benutting van heterogene architectuur: Veel bestaande codes porten beide fases naar de GPU (laten CPU's leeg) of implementeren slechts één-weg koppeling.

Methodologie: SCALE-TRACK

Het paper introduceert SCALE-TRACK, een schaalbaar algoritme voor tweeweg-gekoppelde EL-simulaties dat specifiek is ontworpen voor heterogene exascale-omgevingen. De kern van de methode bestaat uit de volgende innovaties:

1. Asynchrone Koppeling:
   In plaats van synchroon te werken, worden de Euleriaanse (CPU) en Lagrangeaanse (GPU) fases onafhankelijk van elkaar uitgevoerd. De CPU's berekenen het stromingsveld, terwijl de GPU's de deeltjes volgen. Om de asynchrone aard te managen zonder nauwkeurigheid te verliezen, wordt een extrapolator-corrector-methode gebruikt. Als de brontermen (source terms) van de deeltjes nog niet beschikbaar zijn wanneer de CPU de volgende stap berekent, worden deze geschat (geëxtrapoleerd) op basis van eerdere waarden (nul, constant of lineair). Zodra de echte waarden beschikbaar zijn, worden de fouten gecorrigeerd.

2. Onafhankelijke Domeindecompositie en "Chunk"-Partitionering:
   SCALE-TRACK splitst het Euleriaanse domein en het Lagrangeaanse domein onafhankelijk van elkaar op.

   • Deeltjes worden gegroepeerd in "chunks" (blokken), waarbij elke chunk overeenkomt met een Lagrangeaans partitie.
   • Deze partities kunnen overlappen en dynamisch groeien of krimpen in plaats van deeltjes direct over te dragen naar buren. Dit vermindert het aantal communicatieoperaties aanzienlijk.
   • Een Hilbert-ruimtevullende curve wordt gebruikt voor de initiële verdeling van deeltjes om een compacte opslag en efficiënte toegang te garanderen.

3. Heterogene Architectuur en Data-structuren:

   • De Euleriaanse fase wordt uitgevoerd door een externe CFD-oplosser (in dit geval OpenFOAM) op CPU-kernen.
   • De Lagrangeaanse deeltjesvervolging wordt volledig uitbesteed aan GPU's.
   • Er wordt gebruik gemaakt van "structure of arrays" (SoA) datastructuren voor cache-vriendelijke toegang en vectorisatie op GPU's.
   • Non-blocking communicatiestrategieën zorgen ervoor dat CPU's en GPU's zoveel mogelijk gelijktijdig werken, waardoor wachttijden worden geminimaliseerd.

4. Implementatie:
   De code is volledig geschreven in Julia en koppelt naadloos aan OpenFOAM. Het is open source en kan worden gekoppeld aan elke geschikte CFD-oplosser.

Belangrijkste Resultaten

1. Validatie en Nauwkeurigheid:

   • Vergelijkingen met een analytische oplossing tonen aan dat de asynchrone methode met een constante extrapolator dezelfde nauwkeurigheid bereikt als conventionele synchrone EL-simulaties (fouten in de orde van 0,04%).
   • Vergelijkingen met de ingebouwde Lagrangeaanse tracker van OpenFOAM in een convectiewolkkamer-testcase tonen minimale afwijkingen in temperatuur en waterdampconcentratie, ondanks dat SCALE-TRACK tien keer meer deeltjes (1,4 miljard) verwerkte dan OpenFOAM op dezelfde workstation.

2. Prestaties op Workstations:

   • Op een lokale workstation (met één NVIDIA RTX 6000 Ada GPU) slaagde SCALE-TRACK erin 1,4 miljard deeltjes te simuleren.
   • Dit resulteerde in een 2,7 keer snellere tijd tot oplossing en een 2,5 keer betere energie-efficiëntie vergeleken met OpenFOAM op dezelfde hardware.

3. Schaalbaarheid (Exascale):

   • Sterke schaling (sterke scaling) en "semi-weak" schaling werden getest op het MareNostrum5-supercomputercluster (tot 256 GPU's).
   • Het algoritme toonde uitstekende schaalbaarheid, met een maximum van 256 miljard deeltjes ($256 \times 10^9$) die succesvol werden gevolgd op 256 GPU's.
   • De Lagrangeaanse component schaalt bijna ideaal. De totale rekentijd wordt beperkt door de Euleriaanse component en communicatie-overhead bij zeer hoge aantallen kernen, maar de asynchrone overlap zorgt voor efficiënt gebruik van resources.

Betekenis en Impact

SCALE-TRACK vertegenwoordigt een significante doorbraak in de simulatie van meerfasestromingen:

• Exascale-klaar: Het demonstreert dat simulaties met honderden miljarden deeltjes haalbaar zijn, wat een sprong is van twee ordes van grootte ten opzichte van eerdere studies.
• Toegang voor lokale systemen: Het stelt onderzoekers in staat om hoge-fideliteit simulaties (miljarden deeltjes) uit te voeren op lokale werkstations, wat de drempel voor complex onderzoek verlaagt.
• Efficiëntie: Door asynchrone koppeling en slimme data-structuren wordt de hardware optimaal benut, wat leidt tot kortere rekentijden en lager energieverbruik.
• Toepassingsgebied: De methode is breed toepasbaar, van natuurlijke processen (wolkvorming, atmosferische verspreiding) tot industriële toepassingen (verbranding, mengprocessen).

Het paper concludeert dat SCALE-TRACK een robuust, open-source framework biedt dat de beperkingen van bestaande EL-implementaties overwint en de weg vrijmaakt voor toekomstige high-fidelity simulaties op exascale-systemen.