Accelerating the Particle-In-Cell code ECsim with OpenACC

Ce travail présente l'accélération du code PIC ECsim pour les architectures exascale à l'aide d'OpenACC, démontrant sur le système Leonardo un gain de performance de 5 fois, une réduction de la consommation énergétique de 3 fois et une excellente efficacité de mise à l'échelle sur les GPU NVIDIA.

L'essentiel

🌌 Le Problème : Simuler l'Univers est un casse-tête

Imaginez que vous voulez prédire le temps qu'il fera, mais au lieu de l'atmosphère, vous essayez de simuler le comportement de milliards de particules chargées (comme dans un soleil ou un réacteur à fusion). C'est ce qu'on appelle la physique des plasmas.

Pour le faire, les scientifiques utilisent un code informatique appelé ECsim. C'est un peu comme un chef d'orchestre qui doit :

1. Regarder où sont les particules.
2. Calculer les champs magnétiques et électriques qu'elles créent.
3. Déplacer les particules en fonction de ces champs.

Le problème ? C'est extrêmement lent sur un ordinateur classique (un processeur CPU). C'est comme essayer de remplir une piscine avec une cuillère à café. Pour des simulations réalistes, cela prendrait des mois, voire des années.

🚀 La Solution : Emprunter la "Formule 1" des ordinateurs

Pour accélérer le processus, les chercheurs ont décidé d'utiliser des GPU (les cartes graphiques, comme celles des jeux vidéo ou des supercalculateurs).

• L'analogie : Si le processeur CPU est un camion de livraison très robuste mais lent (il fait tout un peu à la fois), le GPU est une armée de 10 000 cyclistes qui peuvent tous pédaler en même temps.

Mais, changer le code pour qu'il fonctionne avec ces "cyclistes" est habituellement un cauchemar. Il faut tout réécrire, comme si on devait transformer une voiture à essence en voiture électrique en changeant chaque vis.

✨ L'Innovation : La baguette magique "OpenACC"

Au lieu de réécrire tout le code, les chercheurs ont utilisé une technologie appelée OpenACC.

• L'analogie : Imaginez que vous avez un livre de recettes (le code). Au lieu de réécrire tout le livre, vous mettez simplement des post-it (des directives) sur certaines pages en disant : "Hé, toi, la carte graphique, tu peux faire cette tâche toi-même !"
• C'est rapide, simple, et ça ne casse pas la structure originale du code.

🏆 Les Résultats : Une course de vitesse

Sur le supercalculateur Leonardo (l'un des plus puissants d'Europe), ils ont testé cette méthode :

1. Vitesse (Le chrono) : Le code accéléré est 5 fois plus rapide.
   • Imaginez : Une tâche qui prenait 5 heures sur un ordinateur normal ne prend plus qu'une heure. C'est comme passer de la marche à pied à la voiture de sport.
2. Énergie (La facture) : Ils ont consommé 3 fois moins d'électricité pour faire le même travail.
   • Pourquoi ? Parce que le code finit 5 fois plus vite, les machines ne tournent pas aussi longtemps. C'est comme éteindre la lumière plus tôt.

🔍 Ce qui a changé dans le code ?

Les chercheurs ont identifié trois tâches principales qui consommaient tout le temps :

1. Le rassemblement des données : Les particules envoient des infos aux grilles.
2. Le calcul des champs : La grille calcule les forces.
3. Le mouvement : On déplace les particules.

Ils ont envoyé ces trois tâches sur les GPU. Résultat ? La partie la plus lente (rassembler les données) est passée de 76% du temps total à seulement 23%. Le code est maintenant beaucoup plus équilibré.

🌐 L'Échelle : De la ville à l'État

Ils ont aussi testé si ça marchait bien quand on utilise beaucoup de GPU en même temps (jusqu'à 1024 !).

• Le résultat : C'est très efficace. Même avec autant de "cyclistes" qui travaillent ensemble, ils ne se marchent pas dessus. Le code garde son efficacité à grande échelle, ce qui est crucial pour les futures simulations géantes.

💎 Le Secret de la réussite : La mémoire unifiée

Ils ont aussi comparé différents types de GPU (V100, A100, H100, et le nouveau GH200).

• L'analogie : Sur les nouveaux modèles (GH200), le processeur et la carte graphique partagent la même "mémoire vive" (comme un bureau où tout le monde a accès aux mêmes dossiers sans avoir à courir d'un bureau à l'autre).
• Cela a permis des gains de vitesse énormes, surtout pour les tâches complexes, car plus besoin de transporter les données d'un endroit à l'autre.

En résumé

Ce papier raconte comment une équipe a pris un code scientifique lent et complexe et l'a rendu super rapide et économe en énergie sans avoir à tout réécrire de zéro. Ils ont utilisé des "post-it" magiques (OpenACC) pour dire aux supercalculateurs modernes : "Faites le gros du travail !".

C'est une étape majeure pour pouvoir simuler des phénomènes physiques complexes (comme la fusion nucléaire pour l'énergie propre) en un temps raisonnable, tout en respectant l'environnement en économisant de l'énergie.

Résumé technique

1. Problématique et Contexte

La méthode Particle-In-Cell (PIC) est une technique computationnelle essentielle en physique des plasmas pour modéliser les effets cinétiques. Cependant, les schémas explicites classiques imposent des contraintes de stabilité sévères (pas de temps et d'espace très petits), rendant la simulation de scénarios multi-échelles extrêmement coûteuse.

Les schémas semi-implicites offrent un compromis en relaxant ces contraintes tout en évitant la complexité et les problèmes de convergence des méthodes totalement implicites. Le code ECsim implémente une variante semi-implicite qui conserve l'énergie jusqu'à la précision machine, éliminant ainsi le refroidissement numérique artificiel.

Le défi principal réside dans la préparation de ce code pour les architectures exascale, caractérisées par une hétérogénéité forte (nœuds de calcul équipés de processeurs CPU et d'accélérateurs GPU). L'objectif est d'accélérer ECsim pour ces machines tout en minimisant les modifications structurelles du code source existant, écrit en C/C++ et parallélisé avec MPI.

2. Méthodologie

Les auteurs ont adopté une stratégie d'accélération basée sur des directives pragmatiques (pragma-based) utilisant OpenACC. Cette approche a été choisie pour sa maturité, sa stabilité et son support par les compilateurs (notamment NVIDIA HPC SDK), permettant d'exploiter le parallélisme des GPU sans une refonte intrusive du code.

Stratégie d'implémentation :

• Profilage : L'analyse du code CPU sur le système pré-exascale Leonardo a révélé que la phase de « collecte des moments » (moment gathering) consommait environ 76 % du temps total, suivie par le mouvement des particules (particle mover) et les E/S.
• Accélération des noyaux critiques :
  • Mouvement des particules : Les boucles sur les particules ont été parallélisées avec #pragma acc parallel loop. Les transferts de mémoire ont été gérés via la mémoire unifiée (managed memory) et optimisés avec cudaMemPrefetchAsync pour réduire les défauts de page et les transferts explicites.
  • Collecte des moments : Cette phase complexe, impliquant l'interpolation des particules sur la grille pour calculer les courants et les matrices de masse, a été optimisée en aplatissant les tableaux multidimensionnels pour améliorer la localité des données. Les boucles internes ont été déroulées manuellement (unrolling) pour réduire la surcharge et améliorer le coalescement mémoire.
  • Synchronisation : Pour éviter les conditions de course lors de l'accumulation des contributions sur la grille, l'instruction #pragma acc atomic update a été utilisée.
• Validation : La correction du code accéléré a été vérifiée en comparant les évolutions temporelles des énergies des champs électrique et magnétique avec la version de référence CPU sur des instabilités standards (instabilité à deux courants et instabilité de filamentation de courant).

3. Contributions Clés

1. Accélération OpenACC de ECsim : Réussite de l'adaptation du code semi-implicite conservant l'énergie aux GPU avec des modifications minimales du code source.
2. Validation Rigoureuse : Démonstration de l'équivalence numérique entre la version CPU et la version GPU accélérée.
3. Analyse de Performance Multi-Générationnelle : Comparaison des performances sur différentes architectures NVIDIA (V100, A100, H100, GH200) et analyse de l'impact de l'architecture de mémoire unifiée du GH200.
4. Études de Scalabilité : Réalisation de tests de scalabilité forte (strong scaling) et faible (weak scaling) sur le supercalculateur Leonardo (CINECA, Italie) jusqu'à 1024 GPU.
5. Analyse Énergétique : Évaluation de l'efficacité énergétique (énergie par solution) en comparant les coûts CPU et CPU+GPU.

4. Résultats Principaux

Performance et Vitesse :

• Sur un nœud Leonardo (4 GPU A100 vs 32 cœurs CPU), le code accéléré atteint un accélération globale de 5x par rapport à la version CPU de référence.
• La phase de collecte des moments bénéficie d'une accélération spécifique de 15x, tandis que le mouvement des particules et les solveurs de champ voient des gains de 2x à 15x selon les composants.
• Comparaison des GPU : Les performances s'améliorent avec les générations de GPU. Le GH200 (avec son architecture de mémoire unifiée CPU-GPU via NVLink-C2C) offre des gains significatifs, notamment pour le mouvement des particules (2x plus rapide que le V100) et la collecte des moments (12,79x plus rapide que le V100), grâce à l'élimination des coûts de transfert PCIe et à une meilleure gestion de la latence mémoire.

Scalabilité :

• Scalabilité Forte : Jusqu'à 64 GPU, le code atteint une efficacité de 70 %. Pour maintenir cette efficacité au-delà (jusqu'à 1024 GPU), la taille du maillage doit être augmentée, permettant d'atteindre une efficacité de 83 % sur 1024 GPU pour les plus grands problèmes.
• Scalabilité Faible : Le code maintient une efficacité de 78 % jusqu'à 1024 GPU (256 nœuds), démontrant sa capacité à gérer efficacement les communications et les accès mémoire à grande échelle.

Efficacité Énergétique :

• Le code accéléré consomme environ 3 fois moins d'énergie pour résoudre le même problème (415 kJ contre 1294 kJ pour le CPU seul).
• Cette réduction provient à la fois de la diminution du temps de calcul et du déplacement de la charge de travail vers les GPU, qui offrent un meilleur rapport performance/watt pour ces noyaux spécifiques.

5. Signification et Perspectives

Ce travail démontre que l'utilisation de directives OpenACC permet de préparer efficacement des codes scientifiques complexes et matures pour l'ère exascale sans nécessiter une réécriture complète en CUDA ou SYCL.

• Impact Scientifique : ECsim devient un outil viable pour des simulations de plasmas multi-échelles à très grande échelle, essentielles pour la fusion par confinement magnétique, la turbulence et la reconnexion magnétique.
• Avantage Architectural : L'étude met en évidence le potentiel des architectures à mémoire unifiée (comme le GH200) pour réduire les goulots d'étranglement liés aux transferts de données, un enjeu majeur pour les codes PIC.
• Futur : Bien que l'approche OpenACC soit un compromis pragmatique, les auteurs préparent actuellement une implémentation native CUDA pour explorer les limites ultimes de performance. De plus, l'intégration future d'automates cellulaires et de bibliothèques dédiées est envisagée pour améliorer encore les performances.

En conclusion, cette étude valide ECsim comme un code performant et économe en énergie, prêt pour les supercalculateurs européens de nouvelle génération comme Jupiter et Leonardo.