Unified MPI Parallelization of Wave Function Methods: iCIPT2 as a Showcase

Cet article présente un cadre de parallélisation MPI unifié au sein de la plateforme MetaWave qui abstrait les étapes de calcul en boucles à ordonnancement dynamique, démontrant sa haute efficacité et sa capacité à effectuer des calculs iCIPT2 à grande échelle pour l'étalonnage de systèmes chimiques complexes tels que le cyclobutadiène, le benzène et l'ozone.

L'essentiel

Imaginez que vous essayez de résoudre un puzzle immense et incroyablement complexe. Dans le monde de la chimie, ce puzzle consiste à comprendre exactement comment les électrons se comportent dans une molécule pour prédire son énergie et ses propriétés. Plus vous voulez être précis, plus vous devez prendre en compte de pièces de puzzle (configurations mathématiques). Pour les grosses molécules, le nombre de pièces devient si énorme que même les supercalculateurs les plus rapides du monde peinent à toutes les faire tenir en mémoire ou à terminer le calcul dans un délai raisonnable.

Ce document présente une nouvelle façon d'organiser les « travailleurs » (processeurs informatiques) pour résoudre ces puzzles plus rapidement et plus efficacement. Voici la décomposition utilisant des analogies simples :

1. Le Problème : Trop de travailleurs, trop de chaos

Habituellement, lorsque les scientifiques utilisent des supercalculateurs, ils assignent des tâches spécifiques à des ordinateurs spécifiques (nœuds) avant que le travail ne commence. C'est comme un chef de chantier qui distribue des plans à 16 équipes différentes et dit : « Vous construisez le toit, vous construisez les murs », puis leur dit de s'en tenir à ce plan pour toujours.

Le problème est que certaines tâches prennent 10 minutes, tandis que d'autres prennent 10 heures. Si le chef de chantier ne le sait pas à l'avance, l'équipe qui construit le toit finit plus tôt et reste inactive, tandis que l'équipe des murs continue de lutter. Cela gaspille du temps et de la puissance de calcul.

2. La Solution : Le gestionnaire de « Processus Fantôme »

Les auteurs ont créé un nouveau système appelé MetaWave qui agit comme un gestionnaire intelligent et dynamique. Au lieu de distribuer des plans fixes, ils utilisent un « Processus Fantôme ».

• L'analogie : Imaginez une cuisine de restaurant avec 16 chefs (les nœuds informatiques). Au lieu d'assigner à chaque chef un plat spécifique à cuisiner pour toute la soirée, il y a un « Gestionnaire Fantôme » (le Processus Fantôme) qui se tient à une station centrale.
• Comment ça marche : Les chefs disent au Gestionnaire Fantôme : « Je suis libre ! ». Le Gestionnaire Fantôme leur remet immédiatement la commande suivante disponible parmi une pile géante de tâches. Dès qu'un chef a terminé, il demande la suivante.
• Le résultat : Aucun chef ne reste jamais inactif en attendant une tâche, et aucun chef n'est coincé avec une tâche qui prend trop de temps pendant que les autres ont terminé. Cela permet à tout le monde de travailler à 100 % de sa capacité.

3. Le « Traducteur Universel » (Sérialisation)

Un problème majeur en programmation est que différents ordinateurs parlent des « langues » différentes lorsqu'ils envoient des données. Un ordinateur peut organiser ses données dans une structure 3D complexe, tandis que le système de communication (MPI) ne comprend que des listes de nombres plates et simples.

Les auteurs ont construit un « Traducteur Universel » (un module de sérialisation).

• L'analogie : Imaginez essayer d'envoyer par la poste une étagère IKEA complexe et démontée à un ami. Vous ne pouvez pas simplement jeter les vis et les planches en vrac dans une boîte ; elles pourraient se perdre ou arriver dans le mauvais ordre.
• La solution : Les auteurs ont créé un système qui prend automatiquement l'étagère complexe, la range dans une boîte plate parfaitement ordonnée (sérialisation), l'envoie, puis la déballe et la réassemble automatiquement exactement comme elle était de l'autre côté (désérialisation). Cela permet à leur logiciel complexe de communiquer avec les supercalculateurs standards sans se briser.

4. La Vitrine : iCIPT2 (Le « Chercheur Intelligent »)

Pour prouver que leur système fonctionne, ils l'ont testé sur une méthode appelée iCIPT2.

• L'analogie : Imaginez essayer de trouver le meilleur itinéraire à travers une ville possédant des milliards de rues. Une méthode de « force brute » vérifie chaque rue une par une, ce qui prend une éternité. iCIPT2 est comme un GPS intelligent qui ne vérifie que les rues les plus prometteuses en premier, ignorant les impasses.
• L'innovation : Ils ont amélioré la façon dont ce GPS trouve les connexions entre les rues (produits matrice-vecteur) et la façon dont il estime la distance restante (correction de perturbation) en utilisant une méthode « semi-stochastique » (un mélange de calcul exact et de supposition intelligente).

5. Les Résultats : Vitesse et Échelle

En utilisant ce nouveau « Gestionnaire Fantôme » et ce « Traducteur Universel », ils ont obtenu des résultats impressionnants :

• Efficacité : Sur un supercalculateur de 1 024 cœurs (16 nœuds), leur système a fonctionné avec une efficacité de 94 % pour les parties les plus difficiles du calcul. Cela signifie que presque chaque processeur effectuait un travail utile, avec très peu de temps perdu à attendre.
• Nouveaux standards : Parce que leur système est si rapide, ils ont pu résoudre des puzzles qui étaient auparavant impossibles. Ils ont calculé l'énergie du benzène (une molécule courante en forme d'anneau) et de la molécule d'ozone avec un niveau de précision qui établit un nouveau standard pour la communauté scientifique.
• La découverte de la « Loi de Puissance » : Ils ont trouvé un motif net : à mesure qu'ils ajoutaient des pièces de puzzle (configurations), l'erreur dans leur réponse diminuait d'une manière prévisible et mathématique (une « loi de puissance »). Cela suggère que s'ils continuent d'ajouter de la puissance de calcul, ils peuvent continuer à se rapprocher de la réponse parfaite.

Résumé

En résumé, les auteurs n'ont pas seulement inventé une calculatrice plus rapide ; ils ont inventé une meilleure façon d'organiser les calculatrices. En utilisant un « Gestionnaire Fantôme » dynamique pour assigner les tâches à la volée et un « Traducteur Universel » pour déplacer les données de manière fluide entre les ordinateurs, ils ont rendu possible la résolution de problèmes de chimie extrêmement difficiles qui étaient auparavant trop vastes, même pour les meilleurs supercalculateurs. Ils l'ont prouvé en résolvant les énigmes énergétiques du cyclobutadiène, du benzène et de l'ozone avec une vitesse et une précision records.

Résumé technique

Résumé Technique : Parallélisation MPI Unifiée des Méthodes de Fonction d'Onde

Énoncé du Problème
L'intégration des méthodes de chimie quantique avec le calcul de haute performance est essentielle pour traiter de grands systèmes avec une précision modeste ou de petits systèmes avec une haute précision. Bien que la plateforme MetaWave ait précédemment atteint une implémentation unifiée des méthodes de fonction d'onde non relativistes et relativistes en utilisant la métaprogrammation de modèles avancée, ces méthodes manquaient d'une stratégie de parallélisation unifiée et scalable. Les efforts de parallélisation massive existants pour les méthodes de fonction d'onde (par exemple, sCI, HBCI) sont généralement spécifiques à la méthode, reposant sur une planification de tâches statique qui manque de transférabilité et peine à équilibrer la charge sur des clusters hétérogènes. De plus, la gestion de grands espaces variationnels nécessite des algorithmes efficaces pour les produits matrice-vecteur (MVP) et les corrections de perturbation afin d'éviter une utilisation prohibitive de la mémoire et des surcoûts de communication.

Méthodologie
Les auteurs proposent une stratégie de parallélisation MPI (Message Passing Interface) unifiée pour les méthodes de fonction d'onde au sein de la plateforme MetaWave. La méthodologie centrale repose sur trois piliers techniques :

1. Abstraction Algorithmique via des Processus Fantômes (Ghost Processes) :
   Chaque étape de calcul d'une méthode (par exemple, sélection, diagonalisation, perturbation) est abstraite sous la forme d'une boucle à ordonnancement dynamique. Pour assurer l'équilibrage de la charge entre les nœuds distribués sans connaissance préalable du coût des tâches, les auteurs introduisent un mécanisme de « processus fantôme ». Dans un cluster de $N$ nœuds, $N$ processus de travail effectuent les calculs réels (en utilisant OpenMP en interne), tandis qu'un ou plusieurs processus fantômes gèrent la file d'attente des tâches. Le processus fantôme distribue dynamiquement des blocs de tâches aux travailleurs et collecte les résultats, séparant ainsi la logique d'ordonnancement des algorithmes de base. Cela permet d'appliquer un modèle MPI unique à différentes méthodes et étapes.

2. Sérialisation/Désérialisation Unifiée :
   Pour combler le fossé entre les objets C++ complexes (utilisés dans MetaWave pour les hamiltoniens et les fonctions d'onde) et les tampons de données plats requis par l'interface C de MPI, les auteurs ont développé un module de sérialisation/désérialisation automatique. Ce module gère l'enregistrement des membres, les métadonnées de la mémoire sur le tas et les interfaces MPI génériques, permettant le transfert fluide d'objets complexes entre les nœuds avec une modification minimale du code.

3. Améliorations Algorithmiques pour les Grands Espaces (Cas d'étude iCIPT2) :
   La stratégie est démontrée en utilisant la méthode de l'interaction configurationnelle itérative avec correction de perturbation du second ordre (iCIPT2). Les modifications algorithmiques clés incluent :

• Recherche de Connexion Basée sur les Résidus : Au lieu de stocker la matrice hamiltonienne complète ou de régénérer les résidus à la volée (comme dans ASCI ou HBCI), la méthode utilise des résidus de premier et second ordre précalculés pour identifier efficacement les connexions entre les configurations orbitales (oCFGs).
• MVP à la Volée (On-the-Fly) : Une implémentation directe du produit matrice-vecteur est utilisée, évitant le stockage de la matrice hamiltonienne creuse. Un espace de simples ($S$) est introduit pour générer séparément les connexions simples et doubles au sein d'une seule boucle, évitant ainsi la déduplication globale.
• ENPT2 Semi-Stochastique : Pour les espaces variationnels extrêmement grands où le stockage de l'espace entier est impossible, un estimateur semi-stochastique modifié est employé. L'espace est partitionné en un générateur ($P_m$) stocké sur chaque nœud et un complément ($P_s$). La correction est calculée comme une partie déterministe pour $P_m$ et une partie stochastique pour la différence, utilisant un estimateur spécifique sans biais pour réduire la variance.

Principales Contributions

• Modèle MPI Unifié : Le papier présente un modèle d'algorithme MPI général qui convertit les codes existants parallélisés par OpenMP en une version hybride MPI-OpenMP avec des modifications marginales. Ce modèle repose sur le mécanisme de processus fantôme pour l'ordonnancement dynamique et la réduction globale.
• Architecture de Processus Fantôme : Un mécanisme léger et efficace pour l'équilibrage de la charge inter-nœuds qui s'adapte aux environnements hétérogènes sans nécessiter une estimation précise des coûts.
• Implémentation Scalable de iCIPT2 : L'intégration de la recherche de connexion basée sur les résidus et de la théorie de la perturbation semi-stochastique permet à iCIPT2 de traiter des espaces variationnels comprenant des dizaines de millions de fonctions d'état de configuration (CSF) et des espaces d'interaction de premier ordre (FOIS) contenant $\sim 10^{13}$ CSF.
• Gestion des Données : Une couche de sérialisation robuste qui permet le transfert de structures de données C++ complexes dans un environnement à mémoire distribuée.

Résultats
Les auteurs ont validé le cadre en utilisant iCIPT2 sur des systèmes incluant le cyclobutadiène, le benzène et l'ozone, en utilisant jusqu'à 16 nœuds (1024 cœurs).

• Efficacité Parallèle : L'étape de perturbation a atteint une efficacité parallèle de 94 %, et l'ensemble du calcul a atteint 89 % sur 16 nœuds. Cela surpasse significativement les approches à ordonnancement statique (par exemple, HBCI a atteint une efficacité globale de 81 % sur 16 nœuds).
• Benchmarking :
  • Cyclobutadiène : La barrière d'automérisation a été calculée à 8,91 kcal/mol, en excellent accord avec la référence CCSDTQ (8,93 kcal/mol).
  • Benzène : Les énergies de l'état fondamental ont été calculées pour les bases cc-pVDZ et cc-pVTZ. L'énergie de corrélation extrapolée pour cc-pVTZ a été trouvée à environ -1034,0 mEh, ce qui est cohérent avec les résultats AFQMC et inférieur aux estimations CCSD(T).
  • Ozone : Les barrières de réaction et les différences d'énergie pour divers points stationnaires concordent avec les résultats NN-LAVA à 0,02 eV après extrapolation à la limite de la base complète (CBS).
• Loi d'Échelle (Scaling Law) : L'analyse de l'erreur d'énergie ($\Delta E$) par rapport au nombre de CSF ($N_{CSF}$) a révélé une relation de puissance ($\Delta E \propto N_{CSF}^{\alpha}$). Les exposants de mise à l'échelle varient selon le système et la base (par exemple, -0,24 et -0,18 pour le benzène avec cc-pVDZ et cc-pVTZ, respectivement), indiquant que bien que l'iCIPT2 converge plus lentement que certaines approches basées sur les réseaux de neurones (comme NN-LAVA), il offre une voie systématique vers la précision.

Signification et Revendications
Le papier affirme que ce travail établit un cadre unifié et scalable pour la parallélisation des méthodes de fonction d'onde, surmontant les limites des stratégies de parallélisation spécifiques à chaque méthode. En l'absence d'abstraction des étapes de calcul en boucles à ordonnancement dynamique, les auteurs permettent l'extension des codes OpenMP existants vers de grands systèmes distribués avec un effort minimal. L'application réussie à iCIPT2 démontre que les calculs de grands espaces actifs, auparavant inaccessibles en raison des contraintes de mémoire et de scalabilité, sont désormais réalisables. Les auteurs notent que l'implémentation actuelle réplique le vecteur CI sur chaque nœud (un goulot d'étranglement pour la mémoire), mais le modèle unifié est conçu pour faciliter les développements futurs, tels que la distribution inter-nœuds des vecteurs, afin de supprimer totalement les limitations de mémoire. Le travail souligne également l'utilité de la loi d'échelle de puissance des erreurs d'iCIPT2, fournissant une métrique prévisible de convergence pour les calculs à grande échelle.