Exploiting repeated matrix block structures for more efficient CFD on modern supercomputers

Ce papier propose une nouvelle méthodologie CFD qui améliore les performances sur les supercalculateurs modernes en convertissant les opérations matrice-vectorielles creuses en produits matriciels pour augmenter l'intensité arithmétique et en adoptant une stratégie de raffinement de maillage en ligne pour accélérer la convergence, réalisant ainsi collectivement des accélérations substantielles dans les simulations d'écoulements turbulents.

L'essentiel

Imaginez que vous essayez de résoudre un puzzle massif et complexe (une simulation de l'écoulement de l'air ou de l'eau) sur un supercalculateur. L'ordinateur est incroyablement rapide, mais il reste bloqué en attendant que les pièces du puzzle arrivent.

C'est le problème central que l'article aborde : Les supercalculateurs modernes sont si rapides dans leurs calculs qu'ils restent souvent inactifs, en attente que les données soient récupérées depuis la mémoire. C'est comme avoir un pilote de Formule 1 prêt à partir, mais dont l'équipe de ravitaillement est trop lente pour lui remettre les pneus. Le pilote passe plus de temps à attendre qu'à conduire.

Voici comment les auteurs ont résolu ce problème, expliqué par de simples analogies :

1. Le problème de la « salle d'attente » (Mémoire vs Calcul)

Dans ces simulations, l'ordinateur effectue une tâche spécifique encore et encore : il prend une liste gigantesque et majoritairement vide de nombres (une « matrice creuse ») et la multiplie par une liste de valeurs (un « vecteur »).

• L'ancienne méthode (SpMV) : Imaginez que l'ordinateur doit marcher jusqu'à une bibliothèque, prendre un livre, lire une page, retourner à son bureau, faire des calculs, puis recommencer. Il passe la majeure partie de son temps à marcher (déplacement des données) plutôt qu'à lire ou calculer. On dit qu'il est « limité par la mémoire ».
• Le goulot d'étranglement : Le « cerveau » de l'ordinateur (le processeur) est rapide, mais le « couloir » (la bande passante mémoire) est étroit. Il ne peut pas récupérer les données assez vite pour maintenir le cerveau occupé.

2. La solution du « voyage de groupe » (SpMM)

La première grande idée des auteurs est d'arrêter d'envoyer l'ordinateur en solo et de commencer à l'envoyer en groupe.

• L'analogie : Au lieu d'envoyer l'ordinateur à la bibliothèque pour obtenir un livre pour un calcul, ils organisent plusieurs calculs à la fois. Ils regroupent 4, 8, voire 16 scénarios « et si » différents ensemble.
• Fonctionnement : L'ordinateur se rend à la bibliothèque une seule fois, saisit une pile de livres (les données de la matrice), puis s'assoit pour lire les 16 livres simultanément.
• Le résultat : Le temps de « marche » (transfert de données) reste le même, mais le temps de « lecture et calcul » (calcul) augmente massivement. L'ordinateur est maintenant occupé à travailler au lieu d'attendre. Dans l'article, cela consiste à transformer un produit Matrice-Vecteur creuse en un produit Matrice-Matrice creuse.
• Le gain : Cela permet d'exécuter la simulation jusqu'à 50 % plus vite sans acheter de nouveau matériel. C'est comme obtenir un coup de pouce gratuit en vitesse simplement en mieux organisant son travail.

3. La stratégie des « roues d'entraînement » (Raffinement de maillage)

La deuxième grande idée concerne la façon de démarrer la simulation. Habituellement, pour qu'un écoulement (comme le vent autour d'une aile) se stabilise dans un état stationnaire, il faut exécuter la simulation pendant longtemps sur une carte très détaillée et de haute qualité (un « maillage fin »). Cela prend beaucoup de temps.

• L'analogie : Imaginez que vous essayez d'apprendre à faire du vélo sur un sentier de montagne difficile et rocailleux. Vous pourriez passer des heures juste à essayer de garder l'équilibre et de vous mettre en mouvement sur les rochers avant même de commencer votre véritable parcours.
• La nouvelle stratégie : Les auteurs suggèrent de commencer par un chemin lisse, plat et facile (un « maillage grossier ») d'abord. Vous faites avancer le vélo et stabilisez l'équilibre rapidement. Une fois que vous roulez fluidement, vous passez au sentier de montagne rocailleux (le « maillage fin ») et continuez à partir de là.
• Le résultat : Vous évitez la phase lente et frustrante de « démarrage » sur un terrain difficile. L'article montre que cela économise une quantité significative de « temps réel » (temps d'horloge) car l'ordinateur peut faire des pas plus grands et plus rapides sur la carte facile avant de passer à la difficile.

4. Tests réels

Les auteurs ont testé ces deux astuces sur trois scénarios différents :

1. Écoulement turbulent dans un canal : Simulation de l'eau s'écoulant dans un tuyau.
2. Convection de Rayleigh-Bénard : Simulation de l'air chaud qui monte (comme une casserole d'eau bouillante).
3. Simulation d'un profil aérodynamique : Simulation de l'air s'écoulant sur une aile d'avion complexe (le profil 30P30N).

Les résultats :

• Dans le test Profil aérodynamique (qui est un cas industriel réel), ils n'ont pas seulement accéléré une simulation ; ils ont exécuté plusieurs simulations de l'aile à différents angles simultanément en utilisant la méthode du « voyage de groupe ». Cela leur a permis de générer des courbes de performance beaucoup plus rapidement.
• Dans le test Écoulement dans un canal, la combinaison de la méthode du « voyage de groupe » avec la stratégie des « roues d'entraînement » (raffinement de maillage) a entraîné des accélérations de plus de 50 %.
• Ils ont constaté que plus les mathématiques étaient complexes (en utilisant des grilles plus détaillées), plus l'accélération était importante, car l'ordinateur avait encore plus de travail à faire une fois les données arrivées.

Résumé

L'article n'invente pas un nouveau type d'ordinateur ni une nouvelle loi de la physique. Au lieu de cela, il agit comme un gestionnaire de trafic pour le supercalculateur :

1. Regroupement : Il empêche l'ordinateur de faire un voyage à la fois et le force à transporter une lourde charge de données pour plusieurs calculs à la fois.
2. Échauffement : Il permet à l'ordinateur de s'entraîner sur une version facile du problème avant d'attaquer la version difficile et détaillée.

En faisant cela, ils s'assurent que le puissant cerveau du supercalculateur fait réellement des mathématiques, au lieu d'attendre simplement l'arrivée des données. Cela permet de terminer les simulations coûteuses beaucoup plus rapidement, en économisant du temps et de l'énergie.

Résumé technique

1. Énoncé du problème

Les simulations de Dynamique des Fluides Numérique (CFD), en particulier pour les équations de Navier-Stokes incompressibles, sont de plus en plus limitées par la bande passante mémoire plutôt que par la puissance de calcul. Cette limitation découle du fait que les opérations algébriques fondamentales (produits matrice-vectorielle creuse, ou SpMV) ont une faible intensité arithmétique (le rapport entre les opérations en virgule flottante et les données transférées).

Selon le Modèle Roofline, lorsque l'intensité arithmétique est faible, les performances sont « limitées par la mémoire », ce qui signifie que le système passe plus de temps à attendre des données en mémoire qu'à effectuer des calculs. Ce goulot d'étranglement empêche les systèmes modernes de Calcul Haute Performance (HPC) d'atteindre leurs performances théoriques maximales. Bien que divers formats de matrices creuses (par exemple, ELLPACK, SELL-C-σ) aient été développés pour optimiser les SpMV, ils n'augmentent pas fondamentalement l'intensité arithmétique suffisamment pour surmonter le « mur de la mémoire ».

2. Méthodologie

Les auteurs proposent une stratégie à double axe pour faire passer les simulations CFD d'un régime limité par la mémoire à un régime limité par le calcul en augmentant l'intensité arithmétique.

A. Transformation SpMV en SpMM (Exploitation des structures de blocs répétées)

Au lieu de résoudre un seul état d'écoulement à la fois, la méthode exécute $m$ simulations simultanées (soit plusieurs états d'écoulement, soit plusieurs ensembles de paramètres).

• Mécanisme : Si $m$ simulations indépendantes partagent la même géométrie et les mêmes conditions aux limites, leurs opérateurs linéaires régissants (Divergence, Gradient, Laplacien et matrice de Poisson) sont identiques.
• Transformation : Les $m$ vecteurs de droite (RHS) distincts sont empilés en une seule matrice dense $X \in \mathbb{R}^{n \times m}$. L'opération SpMV standard ($A \cdot x$) est remplacée par un Produit Matrice-Matrice Creuse (SpMM) ($A \cdot X$).
• Avantage : La matrice creuse $A$ est chargée depuis la mémoire une seule fois pour les $m$ vecteurs RHS, tandis que le nombre d'opérations en virgule flottante augmente linéairement avec $m$. Cela augmente considérablement l'intensité arithmétique, permettant au matériel d'exploiter pleinement son potentiel de calcul.
• Portée : Contrairement aux travaux antérieurs qui appliquaient cela uniquement au solveur de l'équation de Poisson, cette méthode étend la transformation SpMM à tous les opérateurs de la boucle CFD (convectif, diffusif, gradient, divergence et Laplacien).

B. Stratégie de raffinement de maillage en ligne

Pour réduire davantage le temps réel, les auteurs introduisent une stratégie pour accélérer la phase de transition (le temps nécessaire pour qu'un écoulement atteigne un état statistiquement stationnaire avant le début du moyennage).

• Processus :
  1. Phase grossière : La simulation démarre sur un maillage grossier pour développer rapidement l'écoulement jusqu'à un temps $T_D$.
  2. Cartographie : Le champ d'écoulement est interpolé du maillage grossier vers le maillage fin cible.
  3. Phase fine : La simulation continue sur le maillage fin jusqu'à ce que le temps de transition $T_T$ soit atteint, suivi de la phase de moyennage.
• Raison d'être : Les maillages grossiers permettent des pas de temps plus grands et des itérations plus rapides. En développant l'écoulement sur un maillage grossier, le temps réel total pour atteindre l'état statistiquement stationnaire est considérablement réduit, sans compromettre la précision de la phase finale de moyennage.

3. Contributions clés

1. Généralisation du SpMM : Extension de l'approche SpMM, auparavant limitée au solveur de l'équation de Poisson, à tous les opérateurs creux (gradient, divergence, Laplacien) de l'algorithme CFD, maximisant ainsi le gain de performance sur l'ensemble de la simulation.
2. Raffinement de maillage en ligne : Un flux de travail novateur qui combine le moyennage d'ensemble avec un raffinement dynamique de maillage pour minimiser le temps passé dans la phase non moyennée (transition).
3. Bornes théoriques : Dérivation de bornes supérieures et inférieures pour l'accélération basée sur le nombre de vecteurs de droite ($m$), la sparsité de la matrice (non-nuls par ligne) et le rapport entre le temps de moyennage et le temps de transition ($\beta$).
4. Validation à toutes les échelles : Tests complets sur des maillages structurés (académiques) et non structurés (industriels).

4. Résultats

La méthodologie a été validée à l'aide de trois cas tests sur le superordinateur MareNostrum 5 :

• Écoulement turbulent planaire ($Re_\tau = 180$) :

  • Noyau SpMM : Des accélérations de 3,0x ont été obtenues pour les opérations SpMM par rapport aux SpMV.
  • Solveur de Poisson : Des accélérations allant jusqu'à 2,0x ont été réalisées.
  • Itération complète : Des accélérations de 1,3x à 1,5x ont été obtenues.
  • Simulation complète : Avec le raffinement de maillage, l'accélération totale de la simulation a atteint ~1,55x (réduction de 55 % du temps réel) pour 4 à 8 états d'écoulement simultanés, sans ressources de calcul supplémentaires.
  • Schémas d'ordre supérieur : Des tests avec des matrices plus denses (13 et 27 non-nuls par ligne) ont montré un potentiel d'accélération encore plus élevé (jusqu'à 4,1x pour les noyaux), suggérant des avantages plus importants pour les méthodes de discrétisation d'ordre élevé.

• Convection de Rayleigh-Bénard ($Ra = 10^9$) :

  • Validation de la méthode avec une équation de transport supplémentaire (énergie).
  • Les résultats montrent que, bien que l'ajout de l'équation de l'énergie dilue légèrement l'impact du SpMM, la méthode reste robuste, atteignant des tendances d'accélération similaires à celles de l'écoulement dans le canal.

• Cas industriel (Profil aérodynamique 30P30N) :

  • Application à un maillage non structuré de 14 millions de cellules.
  • Démonstration que la méthode fonctionne efficacement sur des géométries industrielles complexes.
  • Des accélérations d'itération allant jusqu'à 80 % ont été obtenues pour des études de paramètres multiples (par exemple, variation des angles d'attaque), surpassant nettement les cas de moyennage d'ensemble en raison de la nature du parallélisme de simulation complète.

5. Importance et perspectives futures

• Surmonter le mur de la mémoire : L'article démontre une approche pratique, au niveau logiciel, pour contourner les limitations de la bande passante mémoire en CFD en exploitant le régime « limité par le calcul » via le SpMM.
• Efficacité des coûts : La méthode réduit le temps réel et le coût de calcul sans nécessiter de nouveau matériel, rendant les simulations haute fidélité (DNS/LES) plus accessibles.
• Évolutivité : L'approche est agnostique vis-à-vis de la méthode de discrétisation spécifique (FVM, FEM, DG) ou du type de grille (structurée/non structurée), la rendant très polyvalente pour divers solveurs CFD.
• Tendances futures : Les auteurs prévoient que, à mesure que l'efficacité des superordinateurs (FLOPS/Watt) s'améliorera plus lentement que la performance brute, le coût relatif des opérations limitées par la mémoire augmentera. Par conséquent, les techniques augmentant l'intensité arithmétique, comme le SpMM, deviendront cruciales pour les futures applications CFD.

Conclusion : En transformant le SpMV en SpMM sur tous les opérateurs et en intégrant une stratégie de raffinement de maillage en ligne, les auteurs ont développé un cadre robuste qui accélère considérablement les simulations CFD sur les superordinateurs modernes, offrant des accélérations de temps réel allant jusqu'à 50-80 % pour des écoulements turbulents complexes.