An efficient multi-GPU implementation for the Discontinuous Galerkin ocean model SLIM

Ce papier présente une implémentation hautement efficace et accélérée par plusieurs GPU du modèle océanique à éléments discontinus SLIM, qui réalise des accélérations massives par rapport aux systèmes basés sur CPU et permet des simulations côtières à ultra-haute résolution, telles qu'une amélioration de la résolution par un facteur cinq pour la Grande Barrière de Corail.

L'essentiel

La Vue d'Ensemble : Rendre les Modèles Océaniques « Ultra-Rapides »

Imaginez essayer de simuler l'océan. Pendant longtemps, les scientifiques ont utilisé une « grille » semblable à un échiquier pour cartographier l'eau. Mais l'océan n'est pas un échiquier ; il possède des côtes découpées, des fosses profondes et des récifs peu profonds. Pour faire tenir l'échiquier, vous devez soit rendre les cases minuscules partout (ce qui prend une éternité à calculer), soit accepter que les bords paraissent blocs et incorrects.

Le modèle SLIM décrit dans ce document utilise une approche différente : un maillage non structuré. Imaginez cela comme une mosaïque faite de tuiles de formes irrégulières. Vous pouvez utiliser des tuiles minuscules et complexes juste à côté d'un récif rocheux et des tuiles énormes et simples dans l'océan profond et ouvert. C'est parfait pour les zones côtières, mais cela coûte cher en calcul. C'est comme essayer de peindre un chef-d'œuvre avec un pinceau minuscule ; cela demande beaucoup de temps et d'efforts.

Les auteurs de ce document se sont demandé : « Comment pouvons-nous faire en sorte que ce modèle océanique détaillé, style mosaïque, fonctionne assez vite pour être utile ? » Leur réponse a été de créer une version spécifiquement conçue pour les GPU (les puissantes puces graphiques présentes dans les ordinateurs de jeu et les superordinateurs).

L'Innovation Centrale : L'Océan « Prêt pour le GPU »

Le document se concentre sur une méthode mathématique spécifique appelée Galerkin Discontinu (DG).

• L'Analogie : Imaginez une salle de classe.
  • Anciennes méthodes (Continues) : Les élèves se tiennent par la main dans un immense cercle. Si un élève bouge, il doit le dire à tous les autres du cercle. C'est connecté, mais lent à coordonner.
  • Méthode DG : Chaque élève est assis à son propre bureau. Ils travaillent indépendamment sur leurs propres problèmes de mathématiques. Ils ne parlent qu'à leurs voisins immédiats lorsqu'ils doivent passer un mot.
• Pourquoi cela aide : Parce que les élèves (points de données) travaillent indépendamment, vous pouvez engager 1 000 enseignants (cœurs GPU) pour les aider tous en même temps sans qu'ils ne se gênent mutuellement. C'est exactement ce que les GPU adorent faire : un travail parallèle massif.

Comment Ils Ont Rendu Cela Rapide (Le « Secret »)

Les auteurs n'ont pas simplement placé le code sur un GPU ; ils ont complètement redessiné la façon dont les données sont stockées et déplacées, en utilisant trois astuces principales :

1. L'Organisation « Bibliothèque » (Disposition de la Mémoire)
Les GPU sont comme des bibliothécaires ultra-rapides. Si les livres sont éparpillés au hasard, le bibliothécaire perd du temps à courir partout. S'ils sont organisés parfaitement, il peut les saisir instantanément.

• L'équipe a réorganisé les données afin que les informations connexes soient placées les unes à côté des autres dans la mémoire. Ils ont même utilisé une « courbe de Hilbert » (un chemin sinueux spécifique) pour disposer les tuiles irrégulières de sorte que les voisins soient physiquement proches dans la mémoire de l'ordinateur. Cela permet de maintenir le « bibliothécaire » du GPU à pleine vitesse.

2. La Chaîne de Montage « Cellule »
Le modèle océanique est en 3D, composé de colonnes verticales d'eau. Certains calculs nécessitent de résoudre un puzzle pour toute la colonne à la fois.

• Le Problème : Habituellement, résoudre ces puzzles un par un est lent.
• La Solution : Ils ont créé une disposition spéciale « Cellule ». Imaginez une chaîne de montage d'usine où 128 ouvriers (threads) sont assignés à 128 colonnes. Au lieu de se passer des pièces d'avant en arrière, ils organisent les pièces dans une grille soignée (une matrice) afin que les 128 ouvriers puissent saisir ce dont ils ont besoin simultanément. Cela transforme un processus lent et séquentiel en un processus rapide et parallèle.

3. Le Résolveur « Sans Plan » (Sans Matrice)
Dans de nombreux problèmes mathématiques, vous devez construire un immense plan (une matrice) avant de pouvoir résoudre le problème. Construire le plan prend du temps.

• L'Astuce : Pour certaines parties du modèle océanique (comme la pression et le mouvement vertical), les auteurs ont réalisé que le plan suivait toujours un motif prévisible. Au lieu de construire le plan, ils ont écrit une recette qui calcule la réponse directement à la volée. C'est comme connaître la réponse à un problème de mathématiques sans avoir besoin d'écrire les étapes de la division longue.

Les Résultats : Une Révolution de Vitesse

Le document présente des résultats de référence qui montrent à quel point cela est efficace :

• Un GPU contre une Salle d'Ordinateurs : Un seul GPU haut de gamme (comme un NVIDIA A100) peut effectuer le travail d'environ 1 500 processeurs d'ordinateurs standards.
• Le Saut « 50x » : Si vous remplacez un serveur massif avec 128 cœurs CPU par un seul serveur contenant seulement 4 de ces GPU, la simulation s'exécute 50 fois plus vite.
• Passage à l'Échelle : Ils ont testé cela sur des superordinateurs avec jusqu'à 1 024 GPU. Le système s'est mis à l'échelle magnifiquement, ce qui signifie que l'ajout de plus de GPU maintenait la simulation fonctionnant efficacement, à condition que la zone océanique simulée soit suffisamment grande pour occuper tous ces GPU.

Le Test Réel : La Grande Barrière de Corail

Pour prouver que ce n'était pas seulement un test de vitesse théorique, ils ont effectué une simulation de la Grande Barrière de Corail.

• Le Défi : Le récif possède des formes incroyablement complexes. Les modèles précédents devaient utiliser une résolution « floue » (environ 1,5 km à 4 km par tuile) pour fonctionner dans un délai raisonnable.
• Le Nouveau Résultat : En utilisant leur nouveau modèle accéléré par GPU, ils ont simulé l'ensemble du récif avec une résolution cinq fois plus fine (jusqu'à 200 mètres).
• Le Résultat : Ils ont pu voir des détails minuscules comme des « jets de marée » (courants d'eau rapides) et de petits tourbillons qui étaient auparavant invisibles. Ils ont atteint une vitesse où l'ordinateur simulait 100 jours de temps océanique pour 1 jour de temps réel.

Résumé

Ce document démontre qu'en repensant la façon dont les données sont organisées et en exploitant la puissance unique des puces graphiques modernes, les scientifiques peuvent enfin exécuter des modèles océaniques 3D hautement détaillés de côtes complexes. Ils ont transformé un processus qui était autrefois trop lent et coûteux en un outil rapide et efficace, ouvrant la porte à des simulations ultra-haute résolution de lieux comme la Grande Barrière de Corail.

Résumé technique

Résumé technique : Une implémentation multi-GPU efficace pour le modèle océanique à éléments finis discontinus SLIM

Énoncé du problème
Les modèles océaniques sur maillages non structurés sont de plus en plus essentiels pour les applications côtières en raison de leur capacité à représenter des géométries complexes et à appliquer un raffinement local de la grille. Cependant, leur adoption plus large, en particulier pour les modèles basés sur la méthode des éléments finis discontinus (DG-FE), a été entravée par des coûts de calcul élevés. L'approche DG-FE implique intrinsèquement plus de degrés de liberté et de calculs par élément que les méthodes traditionnelles de volumes finis ou d'éléments finis continus. De plus, la connectivité irrégulière des maillages non structurés nécessite le stockage et la gestion explicites des relations de voisinage, entraînant des exigences de traitement des données sophistiquées et une surcharge de calcul accrue. Bien que des stratégies telles que le raffinement local de maillage et le fractionnement des modes aient été employées, elles sont souvent insuffisantes pour les simulations haute résolution ou de longue durée. L'émergence rapide des architectures de calcul haute performance (HPC) basées sur GPU offre une solution potentielle, car les formulations DG-FE sont bien adaptées aux calculs massivement parallèles élément par élément, mais tirer pleinement parti de ces architectures nécessite une refonte complète des codes de calcul.

Méthodologie
Les auteurs présentent une implémentation complète d'un modèle océanique 3D DG-FE de SLIM, optimisée pour les systèmes mono-GPU et multi-GPU avec prise en charge des architectures NVIDIA et AMD. L'implémentation repose sur une couche d'abstraction légère pour basculer entre les backends CPU, CUDA et HIP.

• Disposition de la mémoire et attribution des threads : Le modèle emploie une stratégie « un thread par élément » plutôt que par nœud afin d'augmenter la charge de calcul par thread. Pour optimiser la fusion des accès mémoire, le maillage 2D est réordonné à l'aide d'une courbe de Hilbert. Une disposition hybride des données est introduite : un format Structure-of-Arrays (SoA) pour les calculs généraux et une « disposition cellulaire » spécialisée pour la résolution des systèmes linéaires. La disposition cellulaire regroupe des ensembles de colonnes prismatiques (généralement 128) dans une structure matricielle (Array-of-Structure-of-Arrays), permettant un accès mémoire parfaitement fusionné lors de la résolution de systèmes linéaires à bandes associés aux colonnes verticales.
• Schémas numériques : Le modèle utilise un schéma Runge-Kutta split-IMEX. Le mode externe (barotrope) utilise une méthode Runge-Kutta explicite en trois étapes sur le maillage 2D, tandis que le mode interne (barocline) fait évoluer les équations 3D. Le mode interne sépare les processus horizontaux et verticaux ; l'advection et la viscosité horizontales sont explicites, tandis que les processus verticaux peuvent être implicites pour atténuer les conditions CFL strictes.
• Solveurs :
  • Solveurs sans matrice : Pour le gradient de pression horizontal et la vitesse verticale, les systèmes linéaires possèdent une structure prévisible permettant une résolution sans assemblage explicite de matrice. Un solveur à passage unique « up-looking » encode la structure matricielle dans une formule de récurrence.
  • Solveurs de colonnes entièrement assemblés : Pour la fermeture de la turbulence et les flux verticaux implicites, le modèle assemble des matrices creuses couplant les nœuds au sein d'une colonne. Ceux-ci sont résolus sur place par élimination de Gauss avec un thread par système, en utilisant des tampons locaux pour éviter le débordement des registres.
• Stratégie multi-GPU : Le domaine est décomposé horizontalement à l'aide de MPI, avec un GPU par rang. Pour chevaucher le calcul et la communication, le code divise chaque partition en éléments de frontière/éléments fantômes et éléments intérieurs. Les calculs de frontière et les échanges de halo sont lancés sur un flux de communication haute priorité, tandis que les calculs intérieurs se poursuivent sur un flux de calcul. Ce chevauchement est critique, en particulier pour le mode externe 2D où la latence de lancement de noyau et les coûts de communication peuvent devenir des goulots d'étranglement.

Résultats clés

• Performance mono-GPU : Les tests de performance sur un GPU NVIDIA A100 démontrent une performance équivalente à environ 1500 cœurs CPU. Le remplacement d'un nœud CPU de 128 cœurs par un nœud GPU 4×A100 génère une accélération d'environ 50×. L'implémentation maintient jusqu'à 80 % de la bande passante mémoire de pointe pour les noyaux limités par la mémoire et 60 % du débit de point flottant de pointe pour les noyaux limités par le calcul, avec une moyenne soutenue d'environ 30 % pour les deux sur un pas de temps complet.
• Mise à l'échelle : L'efficacité de la mise à l'échelle faible est maintenue jusqu'à 1024 GPU (512 GCD AMD MI250X) sur le supercalculateur LUMI. La mise à l'échelle forte suit la loi d'Amdahl, où le composant barocline 3D s'échelonne presque idéalement, mais le mode barotrope 2D agit comme une fraction séquentielle en raison de sa fréquence élevée de noyaux courts et d'échanges de halo.
• Application à la Grande Barrière de Corail (GBR) : Le modèle a été appliqué à une simulation réaliste de la GBR avec un maillage de 3,3 millions de triangles (34 millions d'éléments 3D), présentant des résolutions allant de 200 m près des récifs à 10 km au large. Exécuté sur 32 GPU AMD MI250X (64 GCD) en double précision, la simulation a atteint un débit d'environ 100 jours simulés par jour réel. Cette configuration a résolu des structures d'écoulement jusqu'à quelques centaines de mètres, capturant des jets de marée et des tourbillons précédemment non résolubles dans les modèles à résolution uniforme.

Signification et affirmations
L'article affirme que les méthodes DG-FE accélérées par GPU peuvent faire progresser considérablement les capacités de la modélisation océanique sur maillages non structurés. En exploitant efficacement les architectures GPU grâce à des dispositions de données spécifiques, des solveurs sans matrice et des stratégies de chevauchement de communication, les auteurs démontrent que le coût de calcul des simulations non structurées haute résolution peut être aligné sur celui des modèles à grille structurée à des résolutions plus grossières. Cela élimine une contrainte historique sur l'application pratique des modèles à maillages non structurés pour les domaines régionaux et côtiers.

Les auteurs soulignent que ce travail permet des simulations côtières ultra-haute résolution qui étaient auparavant irréalisables, permettant la résolution de processus multi-échelles le long du continuum terre-mer. Bien que l'application à la GBR serve de démonstration des capacités de mise à l'échelle et de résolution plutôt que d'une étude scientifique entièrement validée, elle met en évidence le potentiel d'applications opérationnelles dans la gestion environnementale. L'article conclut que les avantages inhérents des maillages non structurés — flexibilité géométrique, raffinement local et résolution multi-échelle — peuvent désormais être exploités sans la surcharge de calcul traditionnelle, positionnant les modèles DG accélérés par GPU comme un outil prometteur pour la prochaine génération de simulations océaniques côtières.