An efficient multi-GPU implementation for the Discontinuous Galerkin ocean model SLIM

Dieser Beitrag stellt eine hocheffiziente, Multi-GPU-beschleunigte Implementierung des Diskontinuierlichen-Galerkin-Ozeanmodells SLIM vor, die massive Beschleunigungen gegenüber CPU-basierten Systemen erzielt und ultra-hochauflösende Küstensimulationen ermöglicht, wie beispielsweise eine fünfmalige Auflösungsverbesserung für das Great Barrier Reef.

Das Wesentliche

Das große Ganze: Ozeanmodelle „superschnell" machen

Stellen Sie sich vor, Sie versuchen, den Ozean zu simulieren. Lange Zeit nutzten Wissenschaftler ein „Gitter" wie ein Schachbrett, um das Wasser zu kartieren. Doch der Ozean ist kein Schachbrett; er hat zerklüftete Küstenlinien, tiefe Gräben und flache Riffe. Um das Schachbrett anzupassen, muss man entweder überall winzige Quadrate verwenden (was ewig lange Rechenzeit benötigt) oder akzeptieren, dass die Ränder blockig und falsch aussehen.

Das in diesem Papier beschriebene SLIM-Modell verwendet einen anderen Ansatz: ein unstrukturiertes Netz. Stellen Sie sich dies wie ein Mosaik aus unregelmäßig geformten Fliesen vor. Man kann winzige, filigrane Fliesen direkt neben einem felsigen Riff verwenden und riesige, einfache Fliesen im tiefen, offenen Ozean. Dies ist perfekt für Küstengebiete, aber rechnerisch sehr aufwendig. Es ist wie der Versuch, ein Meisterwerk mit einem winzigen Pinsel zu malen; es erfordert viel Zeit und Mühe.

Die Autoren dieses Papiers fragten: „Wie können wir dieses detaillierte, mosaikartige Ozeanmodell schnell genug machen, um nützlich zu sein?" Ihre Antwort bestand darin, eine Version zu entwickeln, die speziell für GPUs (die leistungsstarken Grafikchips in Gaming-Computern und Supercomputern) konzipiert ist.

Die Kerninnovation: Der „GPU-fertige" Ozean

Das Papier konzentriert sich auf eine spezifische mathematische Methode namens Discontinuous Galerkin (DG).

• Die Analogie: Stellen Sie sich ein Klassenzimmer vor.
  • Alte Methoden (Kontinuierlich): Die Schüler halten sich in einem riesigen Kreis an den Händen. Wenn sich ein Schüler bewegt, muss er alle anderen im Kreis informieren. Es ist verbunden, aber die Koordination ist langsam.
  • DG-Methode: Jeder Schüler sitzt an seinem eigenen Schreibtisch. Sie arbeiten unabhängig an ihren eigenen Matheaufgaben. Sie sprechen nur mit ihren unmittelbaren Nachbarn, wenn sie eine Nachricht weitergeben müssen.
• Warum dies hilft: Da die Schüler (Datenpunkte) unabhängig arbeiten, können Sie 1.000 Lehrer (GPU-Kerne) einstellen, um ihnen allen gleichzeitig zu helfen, ohne dass sie sich in die Quere kommen. Genau das lieben GPUs: massive parallele Arbeit.

Wie sie es schnell machten (Das „Geheimrezept")

Die Autoren haben den Code nicht einfach nur auf eine GPU verlegt; sie haben komplett neu gestaltet, wie Daten gespeichert und bewegt werden, und dabei drei Haupttricks angewendet:

1. Die „Bibliothek"-Organisation (Speicherlayout)
GPUs sind wie superschnelle Bibliothekare. Wenn Bücher zufällig verstreut sind, verschwendet der Bibliothekar Zeit beim Herumlaufen. Wenn sie perfekt organisiert sind, kann er sie sofort greifen.

• Das Team organisierte die Daten neu, sodass zusammengehörige Informationen direkt nebeneinander im Speicher liegen. Sie verwendeten sogar eine „Hilbert-Kurve" (einen spezifischen gewundenen Pfad), um die unregelmäßigen Fliesen so anzuordnen, dass Nachbarn im Computerspeicher physisch nahe beieinander liegen. Dies hält den „Bibliothekar" der GPU auf Top-Speed.

2. Die „Zellen"-Fließband
Das Ozeanmodell ist 3D und besteht aus vertikalen Wassersäulen. Einige Berechnungen erfordern das Lösen eines Puzzles für die gesamte Säule auf einmal.

• Das Problem: Normalerweise ist das Lösen dieser Puzzles nacheinander langsam.
• Die Lösung: Sie schufen ein spezielles „Zellen"-Layout. Stellen Sie sich ein Fließband in einer Fabrik vor, auf dem 128 Arbeiter (Threads) 128 Säulen zugewiesen sind. Statt Teile hin und her zu reichen, organisieren sie die Teile in einem sauberen Gitter (einer Matrix), sodass alle 128 Arbeiter gleichzeitig das Greifen können, was sie brauchen. Dies verwandelt einen langsamen, sequenziellen Prozess in einen schnellen, parallelen.

3. Der „Ohne-Blauprint"-Löser (Matrix-frei)
Bei vielen mathematischen Problemen muss man zuerst einen riesigen Bauplan (eine Matrix) erstellen, bevor man das Problem lösen kann. Das Erstellen des Bauplans kostet Zeit.

• Der Trick: Für bestimmte Teile des Ozeanmodells (wie Druck und vertikale Bewegung) stellten die Autoren fest, dass der Bauplan immer einem vorhersehbaren Muster folgt. Anstatt den Bauplan zu erstellen, schrieben sie ein Rezept, das die Antwort direkt im laufenden Betrieb berechnet. Es ist wie die Antwort auf eine Matheaufgabe zu kennen, ohne die langen Divisionsschritte aufschreiben zu müssen.

Die Ergebnisse: Eine Geschwindigkeitsrevolution

Das Papier präsentiert Benchmark-Ergebnisse, die zeigen, wie effektiv dies ist:

• Eine GPU vs. ein Raum voller Computer: Eine einzelne High-End-GPU (wie eine NVIDIA A100) kann die Arbeit von etwa 1.500 Standard-Computerprozessoren leisten.
• Der „50-fache" Sprung: Wenn man einen massiven Server mit 128 CPU-Kernen durch einen einzelnen Server mit nur 4 dieser GPUs ersetzt, läuft die Simulation 50-mal schneller.
• Hochskalierung: Sie testeten dies auf Supercomputern mit bis zu 1.024 GPUs. Das System skalierte hervorragend, was bedeutet, dass das Hinzufügen weiterer GPUs die Simulation effizient laufen ließ, vorausgesetzt, der simulierte Ozeanbereich war groß genug, um all diese GPUs beschäftigt zu halten.

Der Realwelt-Test: Das Great Barrier Reef

Um zu beweisen, dass dies nicht nur ein theoretischer Geschwindigkeitstest war, führten sie eine Simulation des Great Barrier Reef durch.

• Die Herausforderung: Das Riff hat unglaublich komplexe Formen. Frühere Modelle mussten eine „unscharfe" Auflösung (etwa 1,5 km bis 4 km pro Fliese) verwenden, um in einer angemessenen Zeit zu laufen.
• Das neue Ergebnis: Mit ihrem neuen, GPU-beschleunigten Modell simulierten sie das gesamte Riff mit einer Auflösung, die fünfmal feiner war (bis hinunter auf 200 Meter).
• Das Ergebnis: Sie konnten winzige Details wie „Gezeitenstrahlen" (schnelle Wasserströme) und kleine Wirbel sehen, die zuvor unsichtbar waren. Sie erreichten eine Geschwindigkeit, bei der der Computer 100 Tage Ozeanzeit für jeden 1 Tag Echtzeit simulierte.

Zusammenfassung

Dieses Papier zeigt, dass Wissenschaftler durch eine Neuinterpretation der Datenorganisation und die Nutzung der einzigartigen Leistung moderner Grafikchips endlich hochdetaillierte, 3D-Ozeanmodelle komplexer Küstenlinien ausführen können. Sie verwandelten einen Prozess, der zuvor zu langsam und teuer war, in ein schnelles, effizientes Werkzeug und ebneten den Weg für Ultra-Hochauflösungssimulationen von Orten wie dem Great Barrier Reef.

Technische Zusammenfassung

Technische Zusammenfassung: Eine effiziente Multi-GPU-Implementierung für das discontinuierliche Galerkin-Ozeanmodell SLIM

Problemstellung
Ozeanmodelle auf unstrukturierten Gittern gewinnen für Küstenanwendungen aufgrund ihrer Fähigkeit, komplexe Geometrien darzustellen und lokale Gitterverfeinerungen anzuwenden, zunehmend an Bedeutung. Ihre breitere Adoption, insbesondere für Modelle, die auf der discontinuierlichen Galerkin-Finite-Elemente-Methode (DG-FE) basieren, wurde jedoch durch hohe Rechenkosten behindert. Der DG-FE-Ansatz beinhaltet inhärent mehr Freiheitsgrade und Berechnungen pro Element als traditionelle Finite-Volumen- oder kontinuierliche Finite-Elemente-Methoden. Darüber hinaus erfordert die unregelmäßige Konnektivität unstrukturierter Gitter eine explizite Speicherung und Verwaltung von Nachbarschaftsbeziehungen, was zu anspruchsvollen Datenverarbeitungsanforderungen und erhöhtem Rechenaufwand führt. Obwohl Strategien wie lokale Gitterverfeinerung und Modus-Trennung eingesetzt wurden, sind sie für hochauflösende oder langandauernde Simulationen oft unzureichend. Das rasche Aufkommen von GPU-basierten High-Performance-Computing-(HPC)-Architekturen bietet eine potenzielle Lösung, da DG-FE-Formulierungen gut für massiv parallele, elementweise Berechnungen geeignet sind; die vollständige Ausschöpfung dieser Architekturen erfordert jedoch eine komplette Neugestaltung der Rechenprogramme.

Methodik
Die Autoren präsentieren eine vollständige 3D-DG-FE-Ozeanmodell-Implementierung von SLIM, die sowohl für Single- als auch für Multi-GPU-Systeme optimiert ist und NVIDIA- sowie AMD-Architekturen unterstützt. Die Implementierung basiert auf einer leichten Abstraktionsschicht zum Wechsel zwischen CPU-, CUDA- und HIP-Backends.

• Speicheraufbau und Thread-Zuweisung: Das Modell verfolgt eine „ein Thread pro Element"-Strategie anstelle von „pro Knoten", um die Rechenlast pro Thread zu erhöhen. Zur Optimierung der Speicherzusammenführung (Memory Coalescence) wird das 2D-Gitter mittels einer Hilbert-Kurve neu angeordnet. Es wird ein hybrider Speicheraufbau eingeführt: ein Structure-of-Arrays-(SoA)-Format für allgemeine Berechnungen und ein spezielles „Cell Layout" für die Lösung linearer Gleichungssysteme. Das Cell Layout gruppiert Sätze von Prismenspalten (typischerweise 128) in eine Matrixstruktur (Array-of-Structure-of-Arrays), was einen perfekt zusammengeführten Speicherzugriff während der Lösung von Bandmatrizen ermöglicht, die mit vertikalen Spalten verbunden sind.
• Numerische Schemata: Das Modell verwendet ein geteiltes IMEX-Runge-Kutta-Schema. Der externe (barotrope) Modus nutzt eine dreistufige explizite Runge-Kutta-Methode auf dem 2D-Gitter, während der interne (barokline) Modus die 3D-Gleichungen fortschreibt. Der interne Modus trennt horizontale und vertikale Prozesse; horizontale Advektion und Viskosität sind explizit, während vertikale Prozesse implizit sein können, um strenge CFL-Bedingungen zu mildern.
• Löser:
  • Matrixfreie Löser: Für den horizontalen Druckgradienten und die vertikale Geschwindigkeit besitzen die linearen Gleichungssysteme eine vorhersagbare Struktur, die eine Lösung ohne explizite Matrixaufstellung ermöglicht. Ein Single-Pass-Up-Looking-Löser kodiert die Matrixstruktur in einer Rekursionsformel.
  • Vollständig assemblierte Spaltenlöser: Für Turbulenzabschlüsse und implizite vertikale Flüsse assembliert das Modell dünnbesetzte Matrizen, die Knoten innerhalb einer Spalte koppeln. Diese werden in-place mittels Gauß-Elimination mit einem Thread pro System gelöst, wobei lokale Puffer verwendet werden, um Register-Überlauf (Register Spilling) zu vermeiden.
• Multi-GPU-Strategie: Das Gebiet wird horizontal mittels MPI zerlegt, wobei eine GPU pro Rang (Rank) verwendet wird. Um Berechnung und Kommunikation zu überlappen, teilt der Code jede Partition in Grenz-/Ghost-Elemente und innere Elemente auf. Grenz-Berechnungen und Halo-Austausche werden auf einem Kommunikationsstream mit hoher Priorität gestartet, während innere Berechnungen auf einem Berechnungsstream fortgesetzt werden. Diese Überlappung ist kritisch, insbesondere für den 2D-externen Modus, bei dem Latenzen beim Kernel-Start und Kommunikationskosten zu Engpässen werden können.

Hauptergebnisse

• Single-GPU-Leistung: Benchmarks auf einer NVIDIA A100-GPU zeigen eine Leistung, die etwa 1500 CPU-Kernen entspricht. Der Ersatz eines 128-Kern-CPU-Knotens durch einen 4×A100-GPU-Knoten ergibt eine Beschleunigung von ungefähr dem 50-fachen. Die Implementierung hält bis zu 80 % der Spitzen-Speicherbandbreite für speichergebundene Kerne und 60 % der Spitzen-Gleitkomma-Leistung für rechengebundene Kerne aufrecht, mit einem durchschnitlichen Wert von ca. 30 % für beides über einen vollständigen Zeitschritt.
• Skalierung: Die Schwachskaalierungs-Effizienz wird bis zu 1024 GPUs (512 AMD MI250X GCDs) auf dem Supercomputer LUMI aufrechterhalten. Die Starkskaalierung folgt dem Amdahl-Gesetz, wobei die 3D-barokline Komponente nahezu ideal skaliert, der 2D-barotrope Modus jedoch aufgrund seiner hohen Frequenz kurzer Kerne und Halo-Austausche als sequentieller Anteil wirkt.
• Anwendung auf das Great Barrier Reef (GBR): Das Modell wurde auf eine realistische GBR-Simulation mit einem Gitter von 3,3 Millionen Dreiecken (34 Millionen 3D-Elemente) angewendet, mit Auflösungen von 200 m in der Nähe der Riffe bis zu 10 km vor der Küste. Bei Ausführung auf 32 AMD MI250X-GPUs (64 GCDs) in doppelter Genauigkeit erreichte die Simulation einen Durchsatz von etwa 100 simulierten Tagen pro Wandzeit-Tag. Diese Konfiguration löste Strömungsstrukturen bis hinab zu wenigen hundert Metern auf und erfasste Gezeitenstrahlen und Wirbel, die in Modellen mit einheitlicher Auflösung zuvor nicht auflösbar waren.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass GPU-beschleunigte DG-FE-Methoden die Fähigkeiten von Ozeanmodellen auf unstrukturierten Gittern dramatisch voranbringen können. Durch die effektive Nutzung von GPU-Architekturen mittels spezifischer Speicheraufbauten, matrixfreier Löser und Strategien zur Überlappung der Kommunikation zeigen die Autoren, dass die Rechenkosten hochauflösender unstrukturierter Simulationen mit denen von Strukturierten-Gitter-Modellen bei gröberen Auflösungen gleichgesetzt werden können. Dies hebt eine historische Einschränkung für die praktische Anwendung von Modellen auf unstrukturierten Gittern für regionale und küstennahe Gebiete auf.

Die Autoren betonen, dass diese Arbeit ultra-hochauflösende Küstensimulationen ermöglicht, die zuvor undurchführbar waren, und so die Auflösung von Multi-Skalen-Prozessen entlang des Land-Meer-Kontinuums erlaubt. Während die GBR-Anwendung als Demonstration von Skalierbarkeit und Auflösungsvermögen dient und nicht als vollständig validierte wissenschaftliche Studie, unterstreicht sie das Potenzial für operative Anwendungen im Umweltmanagement. Die Arbeit schließt, dass die inhärenten Vorteile unstrukturierter Gitter – geometrische Flexibilität, lokale Verfeinerung und Multi-Skalen-Auflösung – nun ohne den traditionellen Rechenoverhead genutzt werden können, was GPU-beschleunigte DG-Modelle als vielversprechendes Werkzeug für die nächste Generation von Küstenozean-Simulationen positioniert.