A Comparison of Massively Parallel Performance Portable Particle-in-Cell schemes for electrostatic kinetic plasma simulations

Cet article évalue les performances et la portabilité de divers solveurs de Poisson, notamment les méthodes FFT, PCG, FEM et les nouveaux schémas Particle-in-Fourier (PIF), au sein de la bibliothèque IPPL pour des simulations PIC électrostatiques sur diverses architectures GPU, concluant que si la FFT est la plus rapide, le schéma PIF offre une excellente évolutivité en tant qu'alternative haute fidélité.

L'essentiel

Imaginez que vous essayez de simuler une foule massive de personnes (particules) se déplaçant dans une pièce, où chacun pousse et tire sur les autres en fonction de sa position. C'est essentiellement ce que font les scientifiques lorsqu'ils simulent un plasma (un gaz surchauffé et électriquement chargé) pour comprendre son comportement.

Ce document est un « rapport de course » comparant différentes méthodes pour calculer les forces entre ces particules afin de déterminer quelle méthode est la plus rapide et la plus fiable sur les superordinateurs les plus puissants au monde.

Voici le déroulement de la course à l'aide d'analogies simples :

Le Cadre : La Boucle « Particule-dans-la-Cellule »

Considérez la simulation comme un jeu joué par rounds. À chaque round, l'ordinateur effectue quatre actions :

1. Éparpillement (Scatter) : Il prend les positions des particules et « peint » leur « charge » sur une grille (comme un échiquier).
2. Résolution (Solve) : Il calcule le champ électrique (la force de poussée/tirage) partout sur cette grille en fonction des charges peintes. C'est l'événement principal de la course.
3. Rassemblement (Gather) : Il lit la force sur la grille et indique à chaque particule comment se déplacer.
4. Poussée (Push) : Les particules se déplacent vers leurs nouvelles positions.

Les auteurs ont testé quatre « Solveurs » différents (méthodes pour calculer l'étape 2) afin de voir lequel l'emporte.

Les Quatre Coureurs

1. Le Solveur FFT (Le Sprinter Rapide)

• Fonctionnement : Cette méthode utilise une astuce mathématique appelée « Transformée de Fourier Rapide ». Imaginez essayer de résoudre un puzzle en voyant instantanément l'image entière dans un miroir plutôt qu'en examinant une pièce à la fois. C'est incroyablement rapide.
• Le Problème : Il ne fonctionne que si la pièce possède des limites « périodiques ». Pensez-y comme un monde de jeu vidéo où, si vous sortez du bord droit, vous réapparaissez instantanément sur la gauche. Il ne peut pas gérer de murs ou de portes ouvertes.
• Le Résultat : Il a été de loin le plus rapide en termes de temps brut. Cependant, sur un superordinateur spécifique (Alps), il a trébuché car la partie « mouvement des particules » de la boucle s'est bloquée, ralentissant toute la course.

2. Le Solveur PCG (Le Cheval de Trait Fiable)

• Fonctionnement : Cette méthode décompose la grille en petits carrés et résout les mathématiques étape par étape, comme un détective vérifiant chaque indice un par un. Elle utilise une approche de « Gradient Conjugué Préconditionné ».
• Le Problème : Il est beaucoup plus lent que la FFT (environ 10 fois plus lent en temps brut), mais il est très flexible. Il peut gérer des murs (Dirichlet) ou des espaces ouverts (Neumann), et pas seulement le monde de jeu vidéo « enroulé ».
• Le Résultat : Il s'adapte bien (il devient plus rapide à mesure que vous ajoutez plus d'ordinateurs), mais il faut plus de temps pour terminer le travail.

3. Le Solveur FEM (L'Architecte Haute Précision)

• Fonctionnement : Il s'agit de la « Méthode des Éléments Finis ». Au lieu d'une grille rigide, elle traite l'espace comme un maillage flexible capable de se plier et de s'adapter à des formes complexes. C'est comme porter un costume sur mesure plutôt qu'une chemise carrée du commerce.
• Le Problème : Comme le PCG, il est plus lent que la FFT. Il éprouve également quelques difficultés avec la communication entre les ordinateurs car il doit constamment vérifier les bords de son maillage flexible.
• Le Résultat : Il est excellent si vous avez besoin d'une haute précision ou de formes complexes, mais il n'est pas le champion de la vitesse.

4. Le Solveur PIF (Le Nouveau Contendant)

• Fonctionnement : Il s'agit du schéma « Particule-dans-Fourier ». Au lieu de peindre d'abord les particules sur une grille, il les projette directement dans « l'espace des fréquences » (une représentation mathématique des ondes). C'est comme sauter l'étape de la carte et naviguer au rythme des vagues.
• Le Problème : Il nécessite des mathématiques spéciales (FFT Non Uniformes) pour gérer les particules qui ne sont pas parfaitement alignées.
• Le Résultat : Il est plus coûteux (plus lent) que la FFT, mais il est incroyablement stable et précis. Il ne souffre pas des erreurs de « fantômes » ou de « repliement » (aliasing) qui se produisent lorsque l'on essaie de faire entrer une particule ronde dans une grille carrée. Il s'adapte magnifiquement sur toutes les machines, ce qui signifie qu'il devient plus rapide très efficacement à mesure que vous ajoutez de la puissance.

La Piste de Course (Les Superordinateurs)

Les auteurs ont effectué ces tests sur trois « pistes » (superordinateurs) différentes avec des moteurs distincts :

• Alps (Suisse) : Utilise les puces les plus récentes de Nvidia.
• LUMI (Finlande) : Utilise des puces AMD.
• JUWELS Booster (Allemagne) : Utilise d'anciennes puces Nvidia.

Le Podium des Vainqueurs

• Vitesse brute : Le Solveur FFT gagne haut la main, mais uniquement si votre problème respecte ses règles strictes (limites périodiques) et que vous n'utilisez pas la machine spécifique Alps où un bug technique l'a ralenti.
• Flexibilité : Les solveurs PCG et FEM sont le meilleur choix si votre simulation comporte des murs ou des formes complexes. Ils sont plus lents mais accomplissent le travail là où la FFT ne peut pas aller.
• Haute fidélité : Le solveur PIF est la nouvelle star. Bien qu'il prenne un peu plus de temps que la FFT, il offre le meilleur équilibre entre vitesse, stabilité et précision. C'est comme une voiture de sport légèrement plus lente qu'une Formule 1, mais qui prend beaucoup mieux les virages et est plus sûre à conduire.

La Conclusion

Le document conclut qu'il n'existe pas de « meilleur » solveur unique.

• Si vous avez besoin de vitesse et que vous avez des limites simples, utilisez la FFT.
• Si vous avez besoin de flexibilité (murs, formes complexes), utilisez le PCG ou le FEM.
• Si vous avez besoin de haute précision et stabilité sans les erreurs des méthodes standard, le PIF est une excellente alternative évolutive.

Les auteurs ont également noté qu'ils travaillent actuellement à la correction du bug de « mise à jour des particules » sur le superordinateur Alps et à l'amélioration du « préconditionnement » (une méthode pour accélérer les mathématiques) pour le solveur FEM afin de les rendre encore plus rapides à l'avenir.

Résumé technique

Résumé technique : Comparaison des schémas Particle-in-Cell portables et massivement parallèles pour les simulations cinétiques de plasmas électrostatiques

Énoncé du problème
L'article aborde le défi de la sélection de schémas numériques optimaux pour les simulations cinétiques de plasmas électrostatiques, spécifiquement la résolution du système de Vlasov-Poisson, dans le contexte des architectures modernes de calcul haute performance (HPC) hétérogènes. Alors que le supercalcul évolue vers des systèmes hétérogènes combinant des CPU et des GPU de plusieurs fournisseurs (par exemple, AMD, Intel, Nvidia), les codes de simulation doivent être à la fois massivement parallélisés et portables en termes de performances. Les auteurs examinent quels solveurs de champ Particle-in-Cell (PIC) et schémas alternatifs offrent le meilleur équilibre entre précision, évolutivité et portabilité sur différentes plateformes matérielles. L'étude se concentre sur le système électrostatique de Vlasov-Poisson, un système couplé d'équations aux dérivées partielles non linéaires de haute dimension, critique pour la physique des faisceaux et les simulations de plasmas.

Méthodologie
Les auteurs utilisent la bibliothèque IPPL (Independent Parallel Particle Layer), un framework C++ conçu pour des méthodes particules-maillage indépendantes de la dimension et portables en termes de performances. IPPL exploite Kokkos pour l'abstraction matérielle, heFFTe pour les transformées de Fourier rapides (FFT), et MPI pour la communication inter-nœuds.

L'étude évalue quatre schémas distincts implémentés dans IPPL en utilisant la mini-application amortissement de Landau comme cas de test. Les schémas comparés sont :

1. Solveur FFT : Un solveur pseudo-spectral utilisant des transformées de Fourier rapides, adapté aux conditions aux limites périodiques et en espace libre.
2. Solveur PCG : Un solveur de gradient conjugué préconditionné (Preconditioned Conjugate Gradient) d'ordre deux sans matrice, capable de gérer des conditions aux limites de Dirichlet, de Neumann et périodiques.
3. Solveur FEM : Un solveur par éléments finis (Finite Element Method) sans matrice utilisant des fonctions de base de Lagrange d'ordre un (fournissant une précision d'ordre deux), capable de gérer des maillages non structurés et diverses conditions aux limites.
4. Schéma PIF (Particle-in-Fourier) : Une approche novatrice évitant l'interpolation sur la grille en espace réel. Elle projette directement les charges des particules dans l'espace de Fourier en utilisant des FFT non uniformes (NUFFTs), résout les équations de champ spectralement, et interpole les forces vers les particules. Cette méthode vise à éliminer le repliement spectral (aliasing) et à améliorer les propriétés de conservation.

Configuration expérimentale
L'évaluation a été réalisée sur trois architectures de supercalculateur distinctes :

• Alps (CSCS, Suisse) : 2688 nœuds avec des puces GH200 (Nvidia Grace-Hopper).
• LUMI-G (CSC, Finlande) : 2978 nœuds avec des GPU AMD MI250X.
• JUWELS Booster (Jülich, Allemagne) : 936 nœuds avec des GPU Nvidia A100.

Deux tailles de problème ont été testées pour le passage à l'échelle fort (strong scaling) :

• Cas A : Grille de $512^3$ avec 8 particules par cellule (~1 milliard de particules).
• Cas B : Grille de $1024^3$ avec 8 particules par cellule (~8,5 milliards de particules).

Des études de passage à l'échelle faible (weak scaling) ont également été menées, augmentant la taille du problème proportionnellement au nombre de GPU pour maintenir un travail constant par GPU.

Résultats clés

• Performances absolues : Le solveur FFT a systématiquement démontré le temps d'exécution absolu le plus bas sur toutes les architectures, bénéficiant des optimisations de la bibliothèque heFFTe. Cependant, son applicabilité est restreinte aux conditions aux limites périodiques ou en espace libre.
• Évolutivité et goulots d'étranglement :
  • Sur Alps (GH200), le passage à l'échelle fort du solveur FFT était limité par le noyau de mise à jour des particules. L'activation de l'IPC CUDA sur ces nœuds a augmenté le temps d'exécution des mises à jour de particules, faisant en sorte que la phase FFT (très rapide) ne soit plus le goulot d'étranglement ; la communication des particules est devenue le facteur dominant, dégradant l'efficacité du passage à l'échelle en dessous de 50 % après 32 GPU pour le Cas A.
  • Les solveurs PCG et FEM, où la résolution linéaire ou les opérations de diffusion/réception (scatter/gather) constituent les principaux goulots d'étranglement, ont masqué les coûts de mise à jour des particules et ont montré une meilleure évolutivité sur Alps.
  • Le schéma PIF a montré une excellente évolutivité, maintenant une efficacité supérieure à 50 % jusqu'à 512 GPU sur LUMI et JUWELS Booster, et jusqu'à 1024 GPU sur Alps pour la plus grande taille de problème.
• Comparaison des solveurs :
  • PCG et FEM : Ces solveurs étaient environ un ordre de grandeur plus lents en temps absolu que le solveur FFT, mais ils ont montré une évolutivité similaire dans le contexte PIC électrostatique. Le solveur FEM a engendré des coûts légèrement plus élevés en raison de la logique conditionnelle requise pour les conditions aux limites dans les évaluations matrice-vecteur et de la communication de halo.
  • PIF : Bien que plus coûteux que le schéma PIC basé sur FFT, PIF a offert des résultats de haute fidélité avec d'excellentes propriétés de conservation et de stabilité. Sur un plus grand nombre de nœuds, PIF a parfois surpassé le solveur FFT en temps absolu sur des architectures spécifiques en raison du goulot d'étranglement de la mise à jour des particules pour la FFT.
• Préconditionnement : L'étude a noté que le préconditionnement sans matrice pour FEM reste un défi. Une implémentation naïve utilisant une logique conditionnelle a réduit le nombre d'itérations CG mais a augmenté le temps d'exécution par itération en raison de la sous-optimalité des GPU face aux conditions.

Importance et affirmations
Les auteurs affirment que ce travail fournit une caractérisation complète de différents schémas PIC et PIF sur des supercalculateurs hétérogènes massivement parallèles. Les contributions principales sont :

1. Démonstration de portabilité : L'étude valide que la bibliothèque IPPL peut livrer avec succès des simulations particules-maillage portables en termes de performances sur du matériel divers (GPU AMD et Nvidia) sans nécessiter de réécriture de code spécifique à l'architecture.
2. Guidage pour la sélection de solveurs : L'article clarifie les compromis entre les solveurs. Si FFT est supérieur en vitesse pour les problèmes périodiques, PCG et FEM offrent la flexibilité nécessaire pour des conditions aux limites complexes. PIF est identifié comme une alternative de haute fidélité évitant le repliement spectral et offrant une évolutivité compétitive, ce qui en fait une option viable pour les simulations où la conservation et la stabilité sont primordiales.
3. Identification des goulots d'étranglement : Le travail met en évidence que dans les implémentations FFT hautement optimisées sur des architectures spécifiques (comme GH200), le noyau de mise à jour des particules peut devenir le facteur limitant, une nuance souvent négligée lorsqu'on se concentre uniquement sur les solveurs de champ.

L'article conclut que le choix du solveur doit être adapté aux contraintes physiques spécifiques (par exemple, conditions aux limites) et au matériel cible, notant que des schémas d'ordre supérieur comme PIF peuvent pleinement exploiter les architectures modernes massivement parallèles malgré leur coût computationnel. Les travaux futurs sont identifiés comme l'amélioration du préconditionnement sans matrice pour FEM afin d'améliorer davantage ses performances.