An efficient multi-GPU implementation for the Discontinuous Galerkin ocean model SLIM

Dit artikel presenteert een uiterst efficiënte, multi-GPU-versnelde implementatie van het Discontinuous Galerkin-oceaanmodel SLIM die enorme snelheidswinsten realiseert ten opzichte op CPU-gebaseerde systemen en ultra-hoge-resolutie kustsimulaties mogelijk maakt, zoals een vijfvoudige resolutieverbetering voor het Groot Barrièrerif.

De kern

Het Grote Geheel: Zee-modellen "Super-Snel" Maken

Stel je voor dat je de oceaan wilt simuleren. Lange tijd gebruikten wetenschappers een "rooster" zoals een schaakbord om het water in kaart te brengen. Maar de oceaan is geen schaakbord; het heeft gezaagde kustlijnen, diepe troggen en ondiepe riffen. Om het schaakbord te laten passen, moet je ofwel overal de vakjes ontzettend klein maken (wat eeuwen duurt om te berekenen) of accepteren dat de randen blokkerig en verkeerd lijken.

Het SLIM-model dat in dit artikel wordt beschreven, gebruikt een andere aanpak: een ongestructureerd mesh. Denk hierbij aan een mozaïek van onregelmatig gevormde tegels. Je kunt kleine, ingewikkelde tegels gebruiken direct naast een rotsachtig rif en enorme, simpele tegels in de diepe, open oceaan. Dit is perfect voor kustgebieden, maar het is rekenkundig duur. Het is alsof je probeert een meesterwerk te schilderen met een heel klein penseel; het kost veel tijd en moeite.

De auteurs van dit artikel vroegen zich af: "Hoe kunnen we dit gedetailleerde, mozaïek-achtige oceaanmodel snel genoeg maken om nuttig te zijn?" Hun antwoord was het bouwen van een versie die specifiek is ontworpen voor GPU's (de krachtige grafische chips die je vindt in gaming-computers en supercomputers).

De Kerninnovatie: De "GPU-Klare" Oceaan

Het artikel focust op een specifieke wiskundige methode genaamd Discontinuous Galerkin (DG).

• De Analogie: Stel je een klaslokaal voor.
  • Oude methoden (Continu): De leerlingen houden elkaars handen vast in een gigantische cirkel. Als één leerling beweegt, moet hij het aan iedereen anders in de cirkel vertellen. Het is verbonden, maar traag om te coördineren.
  • DG-methode: Elke leerling zit aan zijn eigen bureau. Ze werken onafhankelijk aan hun eigen wiskundeproblemen. Ze praten alleen met hun directe buren als ze een briefje moeten doorgeven.
• Waarom dit helpt: Omdat de leerlingen (datapunten) onafhankelijk werken, kun je 1.000 leraren (GPU-kernen) inhuren om ze allemaal tegelijk te helpen zonder dat ze elkaar in de weg zitten. Dit is precies wat GPU's graag doen: massale parallelle arbeid.

Hoe Ze Het Snel Maken (Het "Geheime Ingrediënt")

De auteurs hebben de code niet zomaar op een GPU gezet; ze hebben volledig opnieuw ontworpen hoe data wordt opgeslagen en verplaatst, met drie belangrijkste trucs:

1. De "Bibliotheek"-Organisatie (Geheugenindeling)
GPU's zijn als supersnelle bibliothecarissen. Als boeken willekeurig verspreid liggen, verspillen de bibliothecarissen tijd door rond te rennen. Als ze perfect georganiseerd zijn, kunnen ze ze direct grijpen.

• Het team heeft de data zo georganiseerd dat gerelateerde informatie direct naast elkaar in het geheugen zit. Ze gebruikten zelfs een "Hilbert-curve" (een specifiek kronkelend pad) om de onregelmatige tegels zo te rangschikken dat buren fysiek dicht bij elkaar liggen in het geheugen van de computer. Dit houdt de "bibliothecaris" van de GPU op topniveau.

2. De "Cel"-Assemblagelijn
Het oceaanmodel is 3D, gemaakt van verticale kolommen water. Sommige berekeningen moeten een puzzel voor de hele kolom tegelijk oplossen.

• Het Probleem: Meestal is het oplossen van deze puzzels één voor één traag.
• De Oplossing: Ze creëerden een speciale "Cel"-indeling. Stel je een fabrieksassemblagelijn voor waar 128 werknemers (threads) zijn toegewezen aan 128 kolommen. In plaats van onderdelen heen en weer te geven, organiseren ze de onderdelen in een net rooster (een matrix) zodat alle 128 werknemers tegelijk kunnen grijpen wat ze nodig hebben. Dit zet een traag, sequentieel proces om in een snel, parallel proces.

3. De "Zonder-Bouwtekening"-Oplosser (Matrix-Free)
Bij veel wiskundeproblemen moet je eerst een gigantische bouwtekening (een matrix) maken voordat je het probleem kunt oplossen. Het bouwen van de bouwtekening kost tijd.

• De Truc: Voor bepaalde delen van het oceaanmodel (zoals druk en verticale beweging) realiseerden de auteurs zich dat de bouwtekening altijd een voorspelbaar patroon volgt. In plaats van de bouwtekening te bouwen, schreven ze een recept dat het antwoord direct "on the fly" berekent. Het is alsof je het antwoord op een wiskundeprobleem weet zonder de lange delingsstappen op te schrijven.

De Resultaten: Een Snelheidsrevolutie

Het artikel presenteert benchmarkresultaten die laten zien hoe effectief dit is:

• Eén GPU versus Een Kamer Vol Computers: Een enkele high-end GPU (zoals een NVIDIA A100) kan het werk doen van ongeveer 1.500 standaard computerprocessors.
• De "50x"-Sprong: Als je een enorme server met 128 CPU-kernen vervangt door een enkele server met slechts 4 van deze GPU's, draait de simulatie 50 keer sneller.
• Schalen: Ze testten dit op supercomputers met maximaal 1.0024 GPU's. Het systeem schaalde prachtig, wat betekent dat het toevoegen van meer GPU's de simulatie efficiënt bleef draaien, mits het te simuleren oceaanoppervlak groot genoeg was om al die GPU's bezig te houden.

De Wereldse Test: Het Groot Barrièrerif

Om te bewijzen dat dit niet alleen een theoretische snelheidstest was, draaiden ze een simulatie van het Groot Barrièrerif.

• De Uitdaging: Het rif heeft ongelooflijk complexe vormen. Vorige modellen moesten een "wazige" resolutie gebruiken (ongeveer 1,5 km tot 4 km per tegel) om in een redelijke tijd te draaien.
• Het Nieuwe Resultaat: Met hun nieuwe door GPU's versnelde model simuleerden ze het hele rif met een resolutie vijf keer fijner (tot 200 meter).
• Het Uitkomst: Ze konden kleine details zien zoals "getijdestralen" (snelle waterstromen) en kleine wervelingen die eerder onzichtbaar waren. Ze bereikten een snelheid waarbij de computer 100 dagen oceaan-tijd simuleerde voor elke 1 dag echte tijd.

Samenvatting

Dit artikel toont aan dat door na te denken over hoe data wordt georganiseerd en gebruik te maken van het unieke vermogen van moderne grafische chips, wetenschappers eindelijk gedetailleerde, 3D-oceaanmodellen van complexe kustlijnen kunnen draaien. Ze hebben een proces dat vroeger te traag en duur was omgezet in een snel, efficiënt hulpmiddel, waardoor de deur opent naar simulaties met ultra-hoge resolutie van plaatsen zoals het Groot Barrièrerif.

Technische samenvatting

Technische Samenvatting: Een Efficiënte Multi-GPU Implementatie voor het Discontinue Galerkin Oceaanmodel SLIM

Probleemstelling
Oceaanmodellen met ongestructureerde netten worden steeds belangrijker voor kusttoepassingen vanwege hun vermogen om complexe geometrieën weer te geven en lokale gridverfijning toe te passen. Hun bredere adoptie, met name voor modellen gebaseerd op de Discontinue Galerkin finite element-methode (DG-FE), is echter belemmerd door hoge rekenkosten. De DG-FE-aanpak impliceert inherent meer vrijheidsgraden en berekeningen per element dan traditionele finite volume- of continue finite element-methoden. Bovendien vereist de onregelmatige connectiviteit van ongestructureerde netten een expliciete opslag en beheer van buur-relaties, wat leidt tot geavanceerde dataverwerkingseisen en verhoogde rekenoverhead. Hoewel strategieën zoals lokale meshverfijning en modus-splitting zijn toegepast, zijn deze vaak onvoldoende voor simulaties met hoge resolutie of lange duur. De snelle opkomst van GPU-gebaseerde high-performance computing (HPC)-architecturen biedt een potentiële oplossing, aangezien DG-FE-formuleringen goed geschikt zijn voor massaal parallelle, element-voor-element berekeningen; om deze architecturen volledig te benutten, is echter een volledige herontwerp van de rekencodes vereist.

Methodologie
De auteurs presenteren een volledige 3D DG-FE oceaanmodelimplementatie van SLIM, geoptimaliseerd voor zowel single- als multi-GPU-systemen met ondersteuning voor NVIDIA- en AMD-architecturen. De implementatie maakt gebruik van een lichtgewicht abstractielayer om te wisselen tussen CPU-, CUDA- en HIP-backends.

• Geheugenindeling en Thread-toewijzing: Het model hanteert een "één thread per element"-strategie in plaats van per node om de rekenlast per thread te verhogen. Om geheugencoalescentie te optimaliseren, wordt het 2D-net herschikt met behulp van een Hilbert-curve. Er wordt een hybride data-indeling geïntroduceerd: een Structure-of-Arrays (SoA)-formaat voor algemene berekeningen en een gespecialiseerde "celindeling" voor het oplossen van lineaire systemen. De celindeling groepeert sets van prismakolommen (doorgaans 128) in een matrixstructuur (Array-of-Structure-of-Arrays), waardoor perfect gecoalesceerde geheugentoegang mogelijk is tijdens het oplossen van gebandeerde lineaire systemen die geassocieerd zijn met verticale kolommen.
• Numerieke Schema's: Het model maakt gebruik van een gesplitst IMEX Runge-Kutta-schema. De externe (barotrope) modus gebruikt een drie-staps expliciete Runge-Kutta-methode op het 2D-net, terwijl de interne (barokliene) modus de 3D-vergelijkingen voortbeweegt. De interne modus scheidt horizontale en verticale processen; horizontale advektie en viscositeit zijn expliciet, terwijl verticale processen impliciet kunnen zijn om strikte CFL-voorwaarden te mitigeren.
• Oplossers:
  • Matrix-vrije Oplossers: Voor de horizontale drukgradiënt en verticale snelheid bezitten de lineaire systemen een voorspelbare structuur die toelating geeft tot een oplossing zonder expliciete matrixassemblage. Een single-pass up-looking-solver codeert de matrixstructuur in een recursieformule.
  • Volledig Geassembleerde Kolomoplossers: Voor turbulentie-sluiting en impliciete verticale fluxen assembleert het model sparse matrices die knopen binnen een kolom koppelen. Deze worden in-place opgelost met behulp van Gauss-eliminatie met één thread per systeem, waarbij lokale buffers worden gebruikt om register-uitloop te voorkomen.
• Multi-GPU Strategie: Het domein wordt horizontaal ontleed met MPI, met één GPU per rank. Om berekening en communicatie te overlappen, splitst de code elke partitie in grens-/ghost-elementen en interne elementen. Grensberekeningen en halo-uitwisselingen worden gestart op een communicatiestroom met hoge prioriteit, terwijl interne berekeningen doorgaan op een berekeningsstroom. Deze overlapping is cruciaal, met name voor de 2D externe modus waar kernel-startlatentie en communicatiekosten knelpunten kunnen worden.

Belangrijkste Resultaten

• Single-GPU Prestaties: Benchmarks op een NVIDIA A100 GPU tonen prestaties die equivalent zijn aan ongeveer 1500 CPU-kernen. Het vervangen van een 128-kern CPU-node door een 4×A100 GPU-node levert een snelheidsverhoging van ongeveer 50× op. De implementatie handhaaft tot 80% van de piekgeheugenbandbreedte voor geheugen-gebonden kernels en 60% van de piek drijvende-kommawerkzaamheid voor reken-gebonden kernels, met een gehandhaafd gemiddelde van ongeveer 30% voor beide over een volledige tijdstap.
• Schalingsvermogen: De weak-scaling-efficiëntie wordt gehandhaafd tot 1024 GPUs (512 AMD MI250X GCDs) op de LUMI-supercomputer. Strong scaling volgt de wet van Amdahl, waarbij het 3D barokliene onderdeel bijna ideaal schaalt, maar de 2D barotrope modus fungeert als een sequentieel fractie vanwege de hoge frequentie van korte kernels en halo-uitwisselingen.
• Toepassing op het Groot Barrièrerif (GBR): Het model is toegepast op een realistische GBR-simulatie met een mesh van 3,3 miljoen driehoeken (34 miljoen 3D-elementen), met resoluties variërend van 200 m nabij riffen tot 10 km voor de kust. Uitgevoerd op 32 AMD MI250X GPUs (64 GCDs) in dubbele precisie, bereikte de simulatie een doorvoer van ongeveer 100 gesimuleerde dagen per wandelklok-dag. Deze configuratie loste stromingsstructuren op tot enkele honderden meters, waarbij getijdenjets en wervels werden vastgelegd die eerder onoplosbaar waren in modellen met uniforme resolutie.

Betekenis en Aanspraken
Het artikel beweert dat GPU-versnelde DG-FE-methoden de mogelijkheden van oceaanmodelleren met ongestructureerde netten drastisch kunnen vooruitbrengen. Door GPU-architecturen effectief te benutten via specifieke data-indelingen, matrix-vrije oplossers en strategieën voor het overlappen van communicatie, tonen de auteurs aan dat de rekenkosten van simulaties met hoge resolutie en ongestructureerde netten op één lijn kunnen worden gebracht met die van modellen met gestructureerde netten op grovere resoluties. Dit verwijdert een historische beperking voor de praktische toepassing van modellen met ongestructureerde netten voor regionale en kustgebieden.

De auteurs benadrukken dat dit werk ultra-hoge resolutie kustsimulaties mogelijk maakt die eerder onuitvoerbaar waren, waardoor de oplossing van multi-schaalprocessen langs het land-zee continuüm kan plaatsvinden. Hoewel de GBR-toepassing dient als demonstratie van schaalbaarheid en resolutiecapaciteiten in plaats van een volledig gevalideerd wetenschappelijk onderzoek, onderstreept het het potentieel voor operationele toepassingen in het milieubeheer. Het artikel concludeert dat de inherente voordelen van ongestructureerde netten – geometrische flexibiliteit, lokale verfijning en multi-schaalresolutie – nu kunnen worden benut zonder de traditionele rekenoverhead, waardoor GPU-versnelde DG-modellen een veelbelovend instrument worden voor de volgende generatie kustoceansimulaties.