Streami: An MPI Data-Parallel Library to Compute Field Lines on GPUs

Ce document présente Streami, une bibliothèque open-source, extensible et accélérée par GPU, qui s'interface avec les applications MPI pour calculer efficacement les lignes de champ dans les écoulements de fluides pour l'analyse post-hoc et in-situ.

L'essentiel

Imaginez que vous essayiez de visualiser les courants invisibles d'une tempête massive et tourbillonnante à l'intérieur d'un supercalculateur. Dans le monde de la dynamique des fluides, les scientifiques utilisent des « lignes de champ » (comme des lignes de courant) pour dessiner les trajectoires que prendraient de minuscules particules en suivant ces courants. C'est comme si l'on jetait un million de feuilles dans une rivière pour voir vers où l'eau coule.

Le problème est que ces simulations sont énormes. Elles fonctionnent sur des supercalculateurs dotés de dizaines de cartes graphiques (GPU) puissantes travaillant ensemble, réparties sur de nombreuses machines différentes. Habituellement, pour dessiner ces lignes, il faudrait arrêter la simulation, copier toutes ces données massives vers un ordinateur séparé, puis essayer de les dessiner. Mais déplacer autant de données, c'est comme essayer de verser l'océan entier dans une tasse à thé ; c'est lent, coûteux et cela crée un goulot d'étranglement qui interrompt tout.

Entrez en scène : « Streami ».

Considérez Streami comme un service de messagerie spécialisé et à haute vitesse qui vit directement à l'intérieur du supercalculateur. Au lieu de sortir les données, Streami déplace les « feuilles » (les particules) directement entre les différents processeurs graphiques qui détiennent déjà les données.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le service de livraison « In-Situ »

La plupart des outils de visualisation sont comme un service de livraison qui récupère un colis, le conduit à un entrepôt, le trie, puis l'expédie. Streami est différent. C'est comme un réseau de téléportation construit directement sur le plancher de l'usine.

• La configuration : Le supercalculateur est divisé en quartiers (partitions de données), chaque quartier étant géré par un GPU spécifique.
• La tâche : Streami permet à une particule de commencer dans le Quartier A, de traverser le flux, et si elle franchit la frontière pour entrer dans le Quartier B, elle se « téléporte » instantanément (via une connexion directe et rapide) vers le GPU gérant le Quartier B.
• L'avantage : Aucune donnée ne quitte jamais le supercalculateur. La simulation et la visualisation se produisent en même temps, sur les mêmes machines, sans le lent « trajet en camion » du transfert de données.

2. Les deux couches de la bibliothèque

L'article décrit Streami comme ayant deux « langages » ou couches :

• La couche de bas niveau (Le moteur) : C'est la machinerie lourde écrite dans un langage technique très rapide (CUDA/C++). C'est la partie qui calcule réellement la mathématique de chaque particule, vérifie dans quel quartier elle se trouve et gère la téléportation instantanée entre les ordinateurs. Elle est conçue pour être aussi rapide que physiquement possible, utilisant des « templates » pour pouvoir s'adapter à différents types de grilles de données sans ralentir.
• La couche de haut niveau (Le tableau de bord) : C'est l'interface conviviale (écrite en C++). C'est comme le volant et le tableau de bord d'une voiture. Les scientifiques n'ont pas besoin de savoir comment le moteur fonctionne ; ils disent simplement au tableau de bord : « Dessine-moi un flux de particules à partir d'ici », et le tableau de bord gère les calculs complexes et la communication en arrière-plan.

3. Gérer des terrains différents

Les simulations de fluides peuvent être désordonnées. Parfois, les données forment une grille uniforme et nette (comme un damier). D'autres fois, il s'agit d'un maillage chaotique et désordonné de formes (comme un tas de rochers).

• Streami est extensible. Il possède un « traducteur universel » capable de comprendre aussi bien les grilles en damier net que les tas de rochers désordonnés.
• Si un scientifique possède un nouveau type de données étranges, il peut l'intégrer dans le moteur de bas niveau de Streami sans avoir à reconstruire tout le système. La bibliothèque comprend comment naviguer dans le terrain spécifique de ces données.

4. Tests en conditions réelles

Les auteurs ont testé Streami sur un cluster de 16 GPU puissants. Ils ont suivi 100 000 particules se déplaçant à travers une galaxie simulée.

• Le résultat : Le système était incroyablement rapide, ne prenant que environ 1 à 2 millisecondes pour faire avancer toutes les particules d'une étape.
• Le goulot d'étranglement : La seule chose qui l'a légèrement ralenti a été le « appel téléphonique » entre les différents ordinateurs (communication MPI) pour dire : « Hé, cette particule est maintenant dans ton quartier. » Même ainsi, le processus était très efficace.

Résumé

En bref, Streami est un outil qui permet aux scientifiques de dessiner des lignes de flux (comme des courants de vent ou d'eau) directement à l'intérieur d'un supercalculateur massif pendant que la simulation est en cours de fonctionnement. Il évite le processus lent et pénible de copie de volumes massifs de données. Au lieu de cela, il agit comme un pont fluide, permettant aux particules de sauter instantanément entre différents processeurs graphiques, rendant possible la visualisation de flux fluides complexes et massifs en temps réel ou quasi réel.

Les auteurs ont rendu cet outil open-source, ce qui signifie que n'importe qui peut l'utiliser pour construire ses propres applications de « placement de points de départ interactifs » (où l'on peut cliquer et déposer des feuilles virtuelles dans une simulation pour voir où elles vont) ou l'intégrer dans ses propres flux de travail scientifiques.

Résumé technique

Résumé technique : Streami – Une bibliothèque de calcul de lignes de champ en parallèle de données MPI pour l'accélération GPU

Énoncé du problème

Les lignes de champ (par exemple, les lignes de courant, les lignes de trace) sont des primitives essentielles pour l'analyse des écoulements de fluides, particulièrement en mécanique des fluides numérique (CFD). Ces simulations s'exécutent généralement sur des systèmes de calcul haute performance (HPC) utilisant une mémoire distribuée et des nœuds multi-GPU. Bien que les calculs GPU individuels soient accélérés via des API telles que CUDA ou HIP, la communication entre les nœuds repose sur MPI.

Les flux de travail de visualisation actuels font face à des goulots d'étranglement significatifs :

1. Mouvement de données : Copier des ensembles de données massifs et distribués vers une station de travail séparée pour le post-traitement est souvent irréalisable en raison du volume et de la latence.
2. Manque d'abstraction : Bien qu'il existe des bibliothèques pour la visualisation de champs scalaires (par exemple, OSPRay, ANARI) ou pour l'orchestration in-situ (par exemple, Catalyst, Ascent), il n'existe aucune abstraction de calcul de lignes de champ en parallèle de données à haute performance qui s'intègre de manière transparente aux décompositions de domaine MPI existantes.
3. Inflexibilité : Les outils existants nécessitent souvent un rééchantillonnage ou un remappage de champs de vecteurs personnalisés pour correspondre à des structures de données spécifiques (par exemple, des grilles de voxels), ce qui entraîne une perte de qualité ou une utilisation excessive de la mémoire. De plus, la gestion du déséquilibre de charge et de la migration des particules entre les rangs MPI (l'effet "ping-pong") est souvent étroitement couplée à des écosystèmes spécifiques comme VTK, ce qui limite la portabilité.

Méthodologie

Les auteurs présentent Streami, une bibliothèque extensible et open-source conçue pour calculer des lignes de champ directement sur des clusters multi-GPU en utilisant une approche de parallélisme de données. Streami agit comme une couche mince entre les simulations CFD et le rendu de bas niveau, supportant à la fois la visualisation in-situ et in-transit.

Architecture logicielle

Streami est divisé en deux interfaces principales :

1. Interface de bas niveau (CUDA/C++)
Cette couche fournit les blocs de construction critiques pour la performance, utilisant le polymorphisme à la compilation pour éviter les surcoûts à l'exécution.

• Abstraction de champ vectoriel : L'abstraction centrale est une classe VecField possédant des composants hôte et appareil (device). La classe appareil implémente deux fonctions intrinsèques critiques :
  • sample(position) : Reconstruit la valeur du champ vectoriel à une position 3D spécifique.
  • destinationID(position) : Détermine le rang MPI (GPU) détenant les données pour une position donnée. Cela permet à la bibliothèque de gérer des partitions spatiales arbitraires (par exemple, grilles uniformes, structures basées sur des arbres) sans imposer une disposition de données spécifique.
• Advection de particules : Implémentée via des noyaux CUDA (par exemple, en utilisant l'intégration de Runge-Kutta). Le noyau échantillonne le champ, met à jour les positions des particules et détermine le rang cible.
• Communication inter-GPU : L'échange de particules entre les rangs est géré par RaFI, une bibliothèque optimisée initialement conçue pour le lancer de rayons (ray tracing). RaFI traite les particules comme des rayons, les mettant en mémoire tampon et effectuant des transferts collectifs all-to-all via un MPI conscient de CUDA (CUDA-aware MPI). Cela abstrait la complexité des requêtes de voisinage et des régions de halo pour l'utilisateur.

2. Interface de haut niveau (C++ orienté objet)
Cette couche fournit une classe Tracer qui orchestre les algorithmes de visualisation :

• Support algorithmique : Supporte les lignes de courant (écoulement permanent) et les lignes de trace (écoulement instationnaire).
• Flux de travail : Le Tracer gère le pas de temps de la simulation, la génération de particules (placement de graines) et l'appel itératif du noyau update() de bas niveau.
• Flexibilité : L'API permet aux applications de transmettre leurs données dans leur format natif (structuré ou non structuré) sans rééchantillonnage, à condition qu'une implémentation de type de champ compatible existe.

Extensions de champ

Streami supporte différents types de représentations de champs grâce aux templates C++. Actuellement, il supporte :

• Champs structurés : Grilles de voxels uniformes stockées en mémoire globale.
• Champs non structurés : Grilles contenant des tétraèdres, pyramides, prismes et hexaèdres, utilisant une hiérarchie de volumes englobants (BVH) accélérée par GPU via cuBQL pour les requêtes spatiales.

Contributions clés

1. Une bibliothèque prête à l'emploi : Streami offre une API simple pour intégrer le calcul de lignes de champ dans les pipelines HPC existants sans nécessiter de copies de données ou de changements de contexte.
2. Efficacité du parallélisme de données : En exploitant la décomposition de domaine existante de l'application CFD, Streami évite les problèmes de rééquilibrage de charge et les coûts de transfert de données associés au post-traitement traditionnel.
3. Extensibilité : La bibliothèque permet aux utilisateurs de définir des types de champs vectoriels personnalisés et des schémas de partitionnement spatial (par exemple, traversées d'arbres) via des templates à la compilation, éliminant ainsi le besoin de rééchantillonnage.
4. Publication Open Source : Streami est publié sous licence Apache 2.0, fournissant une implémentation de référence pour la visualisation de flux multi-GPU basée sur MPI.

Résultats et performances

Les auteurs ont évalué Streami en utilisant un ensemble de données astrophysiques (1K³ voxels) sur jusqu'à 16 GPU A100 (deux nœuds).

• Performance : Les étapes d'advection uniques pour 100 000 particules ont duré en moyenne 1 à 2 ms.
• Goulots d'étranglement : Les résultats indiquent que la performance est principalement limitée par le surcoût de communication MPI plutôt que par le calcul local du GPU.
• Scalabilité : La bibliothèque a réussi à tracer des particules à travers des rangs distribués, la bibliothèque RaFI gérant efficacement l'échange de particules.
• Données non structurées : La bibliothèque a réussi à adapter l'ensemble de données structurées en un format hexaédrique non structuré, bien que les contraintes de mémoire aient empêché l'exécution sur un très petit nombre de GPU (1–4 GPU) pour la variante non structurée en raison de l'overhead de la structure BVH.

Signification et affirmations

L'article positionne Streami comme une abstraction nécessaire comblant un vide dans l'état de l'art pour la visualisation de flux multi-nœuds et multi-GPU. Sa principale importance réside dans sa capacité à :

• Interopérer avec les applications de simulation HPC existantes en réutilisant leur décomposition de domaine.
• Minimiser les surcoûts en évitant les copies de données et les changements de contexte, ce qui le rend adapté tant pour le post-traitement interactif que pour l'analyse in-situ.
• Fournir une base pour de futures extensions vers d'autres types de lignes de champ (par exemple, les lignes de trajectoire) et des topologies de champs complexes sans sacrifier la performance "à la vitesse de la lumière" requise pour la visualisation HPC à grande échelle.

Les auteurs concluent que, bien que la bibliothèque soit modeste dans son ensemble de fonctionnalités actuel (se concentrant sur les lignes de courant et les lignes de trace), sa philosophie de conception — séparant l'échantillonnage de champ de bas niveau de la logique algorithmique de haut niveau — fournit un cadre robuste pour un calcul de lignes de champ efficace et en parallèle de données.