Fast solvers for Tokamak fluid models with PETSC

Ce papier présente un nouveau solveur multigrille géométrique à semi-affinement implémenté dans PETSc pour le code tokamak M3D-C1, qui remédie aux limitations de convergence du préconditionneur Jacobi par blocs existant en exploitant la structure de grille toroïdale pour obtenir une robustesse et des performances supérieures sur des modèles magnétohydrodynamiques complexes.

L'essentiel

Imaginez que vous essayez de prédire comment une soupe tourbillonnante et ultra-chaude de particules chargées (plasma) se comporte à l'intérieur d'une machine géante en forme de beignet appelée tokamak. Cette machine est conçue pour produire de l'énergie de fusion, comme la puissance du soleil. Cependant, cette « soupe » est incroyablement chaotique. Si vous essayez de calculer son mouvement pas à pas à l'aide d'un ordinateur, les mathématiques deviennent si complexes que l'ordinateur se bloque, ou prend tellement de temps que la réponse est inutile au moment où elle arrive.

Ce document traite de la création d'une calculatrice plus intelligente et plus rapide pour ce type spécifique de problème.

Voici la décomposition de ce que les auteurs ont fait, en utilisant des analogies simples :

1. Le Problème : L'« Embouteillage » des Mathématiques

Le code informatique qu'ils utilisent (appelé M3D-C1) tente de résoudre des équations décrivant le mouvement du plasma. Pour ce faire, il doit résoudre un immense puzzle des millions de fois.

• L'Ancienne Méthode (Jacobi par Blocs) : Imaginez que vous avez une immense carte d'une ville avec des embouteillages. L'ancienne méthode consistait à demander à une personne différente de régler la circulation sur une seule rue à la fois, en ignorant le reste de la ville. Si la ville est petite, cela fonctionne. Mais à mesure que la ville grossit (plus de « plans » ou de tranches de la forme de beignet), les personnes qui réparent les rues ne peuvent plus communiquer assez vite entre elles. Les embouteillages empirent, et la solution ralentit ou cesse de fonctionner complètement.
• Le Défi Spécifique : Le plasma dans ces machines est « anisotrope ». Pensez-y comme à une pile de papier. Il est très facile de faire glisser une feuille le long de la surface (direction facile), mais très difficile de la pousser à travers la pile (direction difficile). L'ancien solveur mathématique ne comprenait pas cette structure de « pile de papier », il essayait donc de résoudre la direction difficile et la direction facile avec la même méthode maladroite.

2. La Solution : L'Ascenseur « Multigrille »

Les auteurs ont construit un nouveau solveur utilisant une méthode appelée Multigrille (MG).

• L'Analogie : Imaginez que vous essayez de trouver un jouet perdu dans un immense manoir à plusieurs étages.
  • L'Ancienne Méthode : Vous vérifiez chaque pièce, chaque tiroir et chaque recoin du rez-de-chaussée avant de monter. Cela prend une éternité.
  • La Méthode Multigrille : Vous regardez d'abord une maquette miniature de tout le manoir d'un point de vue aérien. Vous repérez rapidement la zone générale où le jouet manque (la grille « grossière »). Ensuite, vous zoomez sur une carte de taille moyenne pour affiner la recherche. Enfin, vous allez dans la pièce réelle (la grille « fine ») pour récupérer le jouet.
  • En résolvant le problème aux niveaux de la « vue d'ensemble » en premier, le solveur sait exactement où chercher lorsqu'il descend aux détails minuscules. Cela le rend incroyablement rapide.

3. Le « Secret » : Le Demi-Raffinement

Les auteurs ont réalisé que le tokamak ressemble à une pile de tranches 2D (plans poloidaux) torsadées en un beignet 3D.

• Ils ont appliqué leur « Ascenseur Multigrille » spécifiquement à la direction d'empilement (la direction toroïdale).
• Au lieu d'essayer de simplifier tout le chaos 3D d'un coup, ils ont maintenu les tranches 2D détaillées (car la forme de la paroi du tokamak est complexe) mais ont rendu la pile de tranches plus simple à mesure qu'ils montaient les niveaux.
• C'est comme prendre un épais livre et ne réduire que le nombre de pages tout en gardant le texte de chaque page clair. C'est un ajustement parfait pour la forme de la machine.

4. Les Résultats : Vitesse et Fiabilité

L'équipe a testé ce nouveau solveur sur deux scénarios très difficiles :

• Scénario A : L'« Électron Fugitif » (SPARC) : Cela simule un événement dangereux où les particules accélèrent de manière incontrôlable.
  • Résultat : Le nouveau solveur était compétitif avec l'ancien sur les configurations plus petites et beaucoup plus rapide sur les configurations les plus grandes et complexes. Il a résolu le problème en moins d'étapes, économisant du temps.
• Scénario B : Le « Stellarator » (Une machine différente, plus torsadée) : Cette géométrie est encore plus torsadée et irrégulière qu'un beignet standard.
  • Résultat : L'ancien solveur a complètement échoué et n'a pas pu trouver de réponse. Le nouveau solveur Multigrille a réussi. Il était suffisamment robuste pour gérer la géométrie torsadée qui avait fait échouer l'ancien outil.

5. Le Matériel : Utilisation des Superordinateurs

Ils ont effectué ces tests sur Perlmutter, l'un des superordinateurs les plus rapides au monde, qui utilise à la fois des CPU puissants et des GPU (cartes graphiques).

• Ils ont constaté que bien que la « configuration » (la construction des maquettes miniatures) soit coûteuse, la résolution réelle était incroyablement rapide sur les GPU.
• Ils ont découvert que pour les problèmes les plus difficiles, ils devaient utiliser un lisseur « lourd » (un tour de passe-passe mathématique spécifique) pour empêcher le solveur de se bloquer, ce qui nécessitait un peu plus de puissance de calcul mais se révélait rentable en termes de vitesse.

Résumé

L'article affirme qu'en comprenant la forme spécifique de « pile de papier » des machines à plasma de fusion, ils ont créé un nouvel outil mathématique (Multigrille) qui :

1. Résout les problèmes plus rapidement que la méthode standard actuelle sur les simulations complexes et de grande taille.
2. Ne plante pas sur des formes complexes et torsadées où l'ancienne méthode échoue.
3. Constitue une première étape cruciale vers la réalisation de simulations d'énergie de fusion pratiques et assez rapides pour aider à concevoir de véritables centrales électriques.

Ils n'ont pas affirmé que cela résout l'énergie de fusion elle-même, mais plutôt qu'il fournit la calculatrice rapide et fiable nécessaire pour simuler la physique qui mènera éventuellement à l'énergie de fusion.

Résumé technique

Résumé Technique : Solveurs Rapides pour les Modèles Fluides des Tokamaks avec PETSc

Énoncé du Problème
Le code M3D-C1 est un outil principal pour la simulation des plasmas magnétohydrodynamiques (MHD) étendus dans la recherche sur l'énergie de fusion, traitant spécifiquement des instabilités à grande échelle et des disruptions dans les tokamaks et les stellarators. Le code utilise un intégrateur temporel semi-implicite qui nécessite la résolution de nombreux systèmes linéaires par pas de temps. Parmi ceux-ci, l'avancement implicite de l'équation de la quantité de mouvement est identifié comme le composant le plus difficile et le moins robuste.

Le solveur de production actuel utilise une méthode de Krylov (FGMRES/GMRES) préconditionnée par une méthode de Jacobi par blocs (BJ), où les blocs regroupent les degrés de liberté sur des plans de coordonnée toroïdale constante. Bien qu'efficace pour des configurations plus petites, la convergence du solveur BJ se dégrade considérablement lorsque le nombre de plans toroïdaux augmente, en raison des propriétés spectrales de la matrice préconditionnée. De plus, le solveur BJ échoue à converger entièrement sur des configurations de stellarators non axisymétriques, limitant ainsi l'applicabilité du code à des dispositifs de fusion complexes.

Méthodologie
Ce travail développe un solveur multigrille géométrique (MG) adapté à la discrétisation spécifique et à la structure de grille de M3D-C1. La méthodologie exploite les caractéristiques structurelles suivantes :

• Structure de la Grille : M3D-C1 utilise des grilles 2D non structurées dans le plan poloidal (extrudées autour du tore) combinées à une grille 1D régulière dans la direction toroïdale.
• Semi-Regroupement : Le solveur emploie un regroupement géométrique semi-spécifique dans la direction toroïdale. Cette approche est choisie car la grille toroïdale est structurée, permettant des techniques MG géométriques standard (regroupement 2:1) tout en laissant le plan poloidal complexe non regroupé pour un travail futur.
• Interface Algébrique : Bien que l'application calcule les jacobiens sur des grilles fines, les opérateurs de grille grossière sont construits algébriquement en utilisant un processus de Galerkin ($A_{i+1} = P^T A_i P$), où $P$ est un opérateur de prolongation à 3 points. Cela crée un solveur hybride géométrique/algébrique avec une interface purement algébrique compatible avec PETSc.
• Lisseurs : Deux lisseurs sont investigués :
  1. Jacobi par Blocs Ponctuels (PBJ) : Calcule les inverses denses explicites des blocs diagonaux (taille 36 par sommet). C'est rapide et économe en mémoire, adapté à l'accélération GPU.
  2. Jacobi par Blocs (BJ) : Le solveur de production existant est réutilisé comme lisseur. Il implique des factorisations LU complètes sur les plans poloidaux. Bien que coûteux, il est utilisé comme lisseur postérieur dans un cycle $V(0,1)$ pour les problèmes les plus difficiles où le PBJ stagne.
• Implémentation : Le solveur est implémenté au sein de la bibliothèque PETSc, utilisant ses solveurs de Krylov et ses interfaces abstraites pour les back-ends d'algèbre linéaire (incluant MUMPS et SuperLU pour les résolutions directes).

Résultats Clés
Le solveur a été évalué sur deux cas de test utilisant le supercalculateur Perlmutter (nœuds CPU et GPU) : un modèle d'électrons runaway d'une disruption de tokamak SPARC et un modèle de stellarator quasi-axisymétrique.

1. Tokamak SPARC (Évolutivité et Vitesse) :

   • Sur des configurations avec 4 à 16 plans toroïdaux, le solveur MG (utilisant un lissage PBJ) a convergé en une seule itération lorsque le préconditionneur a été rafraîchi, démontrant une excellente évolutivité algorithmique.
   • Sur la plus grande configuration (64 plans), la difficulté du problème a augmenté, nécessitant une tolérance de solveur plus stricte ($rtol = 10^{-7}$) et un cycle $V(6,6)$ plus agressif avec des rafraîchissements fréquents.
   • Performance : Le solveur MG a atteint des performances compétitives par rapport au solveur BJ. Sur le cas à 64 plans, le solveur MG a réduit le nombre total d'itérations de Krylov d'un facteur d'environ 16 par rapport au solveur BJ. Bien que le temps de résolution total soit à peu près comparable sur les GPU, le solveur MG a montré des temps de résolution significativement plus rapides sur les CPU.
   • Complexité : L'analyse théorique suggère que le solveur MG a une complexité de travail asymptotique d'environ 2 fois celle du solveur BJ en raison de la somme géométrique du travail à travers les niveaux de grille. Les performances observées indiquent que les résolutions sur grille grossière fonctionnent actuellement mal, suggérant une marge d'optimisation.

2. Stellarator (Robustesse) :

   • Sur un cas de test de stellarator non axisymétrique, le solveur standard Jacobi par blocs a échoué à converger complètement.
   • En revanche, le solveur MG (utilisant le BJ comme lisseur) a convergé avec succès. Cela démontre un avantage critique de robustesse de l'approche MG pour les géométries non axisymétriques où les propriétés spectrales de la matrice battent le préconditionneur BJ.

Signification et Revendications
L'article prétend présenter la première étape dans l'application des méthodes multigrilles aux modèles complexes et scientifiquement pertinents de MHD de tokamak au sein du code M3D-C1. Les contributions principales sont :

• Démonstration de Faisabilité : Prouver que les méthodes multigrilles peuvent fournir une voie vers des solveurs plus rapides, évolutifs et robustes pour des modèles de plasma magnétisé hautement anisotropes et mal conditionnés.
• Semi-Regroupement Toroïdal : Établir que le regroupement semi dans la direction toroïdale est une première étape utile et efficace pour les codes de tokamak courants avec des structures de grille extrudées.
• Robustesse : Montrer que les solveurs MG peuvent résoudre des problèmes (spécifiquement les disruptions de stellarators) où le solveur de production actuel Jacobi par blocs échoue.

Travaux Futurs et Limites
Les auteurs restent modestes concernant l'état actuel du solveur, notant plusieurs domaines d'amélioration :

• Performance sur Grille Grossière : La performance actuelle est limitée par des résolutions sur grille grossière inefficaces, en partie dues à des exigences de parallélisme redondantes et à des échecs MPI dans les solveurs directs (MUMPS/SuperLU) sur les grilles grossières.
• Multigrille 3D Complète : L'optimisation future la plus impactante est l'ajout d'une multigrille 2D dans le plan poloidal pour créer un solveur MG 3D complet. Cela nécessiterait la gestion de grilles grossières géométriques non structurées.
• Lisseurs : Les travaux futurs incluent l'optimisation des tailles de blocs pour les lisseurs PBJ afin de mieux s'adapter aux groupes de threads GPU et l'investigation de préconditionneurs FieldSplit traitant séparément les trois ondes MHD découplées.
• Stratégies de Rafraîchissement : Le modèle de rafraîchissement actuel (factorisation LU périodique) est simple ; des algorithmes plus intelligents sont nécessaires pour gérer les états quasi-stationnaires plus efficacement.

En résumé, ce travail établit un cadre multigrille viable et robuste pour M3D-C1 qui surpasse le solveur existant en termes de nombres d'itérations et de robustesse sur des géométries difficiles, tout en identifiant des obstacles algorithmiques et d'implémentation spécifiques à résoudre pour atteindre une efficacité multigrille complète de manuel.