🤖 machine learning

Prediction of Runtime Parameters of Parallel Chemistry Applications via Active and Generative Learning

Cet article présente un cadre d'apprentissage automatique combinant l'apprentissage actif et génératif avec des arbres de régression à boosting de gradient pour prédire avec précision les paramètres d'exécution des calculs chimiques parallèles extensibles, atteignant une précision quasi parfaite et maintenant des performances élevées même avec des données d'entraînement considérablement réduites.

Auteurs originaux : Tanzila Tabassum, Omer Subasi, Ajay Panyala, Epiya Ebiapia, Gerald Baumgartner, Erdal Mutlu, P Sadayappan, Karol Kowalski

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tanzila Tabassum, Omer Subasi, Ajay Panyala, Epiya Ebiapia, Gerald Baumgartner, Erdal Mutlu, P Sadayappan, Karol Kowalski

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de préparer le gâteau parfait, mais que vous n'ayez pas de recette. Vous savez que le temps de cuisson dépend de trois choses : la taille du gâteau (la taille du problème), le nombre de fours que vous utilisez (le nombre de nœuds) et la façon dont vous disposez la pâte dans les moules (la taille des tuiles/tiles).

Si vous vous trompez, vous risquez de brûler le gâteau ou de gaspiller des heures de temps de cuisson. Dans le monde des supercalculateurs, « brûler le gâteau » signifie gaspiller des millions de dollars d'électricité et de temps informatique. Ce document traite de l'enseignement à un ordinateur pour devenir un maître pâtissier capable de prédire exactement combien de temps un « gâteau » (un calcul de chimie complexe appelé CCSD) prendra pour cuire, afin que les scientifiques n'aient pas à deviner.

Voici l'histoire de la façon dont ils ont procédé, en utilisant des analogies simples :

1. Le Problème : Le jeu de devinettes coûteux

Les supercalculateurs sont comme de vastes cuisines de haute technologie. Les scientifiques les utilisent pour simuler les interactions entre les molécules. Mais ces simulations sont incroyablement coûteuses à exécuter.

Le Dilemme : Avant de lancer une simulation, un scientifique doit choisir les paramètres. S'il choisit les mauvais paramètres, l'ordinateur pourrait fonctionner pendant 10 heures alors qu'il aurait pu finir en 2 heures.
L'Objectif : Les chercheurs voulaient construire une « boule de cristal » (un modèle d'apprentissage automatique / Machine Learning) capable de regarder un problème et de dire : « Si vous utilisez 50 fours et cet arrangement spécifique, cela prendra exactement 42 minutes ».

2. La Boule de Cristal : Tester différents « Voyants »

L'équipe a testé de nombreux types de « voyants » (algorithmes de Machine Learning) pour voir lequel était le meilleur pour prédire le temps. Ils ont testé des choses comme :

La Régression Polynomiale : Comme essayer de dessiner une courbe lisse à travers quelques points dispersés.
Les Arbres de Décision : Comme un organigramme de questions de type « Si ceci, alors cela ».
Le Gradient Boosting : C'est le vainqueur. Imaginez une équipe de détectives. Le premier détective fait une supposition. Le deuxième détective regarde où le premier s'est trompé et essaie de corriger l'erreur. Le troisième détective corrige les erreurs du deuxième, et ainsi de suite. À la fin, l'équipe est incroyablement précise.

Le Résultat : L'équipe « Gradient Boosting » a été la meilleure. Lorsqu'ils disposaient de beaucoup de données historiques (comme un livre de cuisine complet de temps de cuisson passés), ils étaient presque parfaits, prédisant le temps avec une précision de 99,9 %.

3. Le Défi : Et si vous n'avez pas de livre de cuisine ?

Voici le pièsel : le temps de calcul sur supercalculateur est si coûteux que les scientifiques ne disposent souvent pas de suffisamment de données passées pour entraîner un modèle parfait. Ils peuvent n'avoir que quelques recettes (points de données) mais doivent cuire mille gâteaux différents.

Pour résoudre cela, les chercheurs ont utilisé deux astuces ingénieuses :

Astuce A : Le « Goûteur Intelligent » (Apprentissage Actif)

Imaginez que vous êtes un chef essayant d'apprendre une nouvelle cuisine, mais que vous ne pouvez vous permettre de goûter que 20 plats sur 1 000.

Dégustation Aléatoire : Vous choisissez 20 plats au hasard. Vous pourriez passer à côté des saveurs les plus importantes.
Dégustation Intelligente (Apprentissage Actif) : Vous demandez à votre ordinateur : « Quels 20 plats m'apprendront le plus ? »
- Échantillonnage par Incertitude : L'ordinateur dit : « Je suis vraiment confus par ces plats spécifiques. Goûtons-les pour que je puisse apprendre. »
- Désaccord de Comité : Imaginez un panel de chefs. S'ils sont tous d'accord sur un plat, vous passez votre chemin. S'ils se disputent férocement à propos d'un plat, vous le goûtez parce qu'il détient un secret sur lequel ils ne parviennent pas à s'entendre.

Le Résultat : En utilisant cette approche de « Goûteur Intelligent » (Apprentissage Actif), les chercheurs ont pu construire un modèle hautement précis en utilisant seulement 20 à 25 % des données qu'ils auraient normalement nécessaires. Ils ont économisé une quantité massive d'argent et de temps.

Astuce B : La « Machine à Imaginer » (Apprentissage Génératif)

Imaginez que vous n'avez que 10 photos d'un paysage, mais que vous devez entraîner un robot à reconnaître tout le terrain.

La Solution : Vous utilisez une « Machine à Imaginer » (IA Générative) pour créer 20 nouvelles photos truquées qui ressemblent exactement aux vraies. Ce ne sont pas de vraies photos, mais elles suivent les mêmes règles (les nuages sont au bon endroit, les arbres ont l'air réels).
Les chercheurs ont utilisé deux types d'imaginations :
- Copule Gaussienne : Une machine statistique qui comprend comment les variables sont liées (ex : « Si le gâteau est plus gros, il met généralement plus de temps à cuire »).
- CTGAN : Un réseau de neurones plus complexe capable de gérer des données désordonnées et mixtes.

Le Résultat : Ces machines ont créé des données « synthétiques » qui ont aidé le modèle à apprendre plus vite. Cependant, le document note que parfois, fabriquer des données peut introduire un peu de « bruit » ou de confusion, donc le « Goûteur Intelligent » (Apprentissage Actif) était souvent la méthode la plus fiable.

4. Les Deux Grandes Questions auxquelles ils ont Répondu

Les chercheurs ont testé leur boule de cristal sur deux questions spécifiques que les scientifiques posent chaque jour :

La question de la « Route la plus Rapide » (Question du Temps le plus Court) :
- Question : « J'ai un gros problème. Quels réglages me permettront d'obtenir le résultat le plus rapidement possible ? »
- Réponse : Le modèle a identifié avec succès les réglages les plus rapides, suggérant souvent d'utiliser plus d'ordinateurs (nœuds) pour accélérer les choses, même si cela coûte plus cher.
La question du « Budget » (Question du Budget) :
- Question : « Je n'ai que 500 $ de temps de calcul. Quels problèmes puis-je réellement résoudre ? »
- Réponse : Le modèle a trouvé avec succès les réglages qui respectent le budget, suggérant souvent d'utiliser moins d'ordinateurs pour étirer l'argent au maximum, même si cela prend un peu plus de temps.

5. Le Verdict Final

Le document conclut qu'en utilisant ces astuces de Machine Learning, les scientifiques n'ont plus besoin de perdre du temps et de l'argent à deviner comment exécuter leurs tâches sur supercalculateur.

S'ils ont beaucoup de données, un modèle simple de « Gradient Boosting » fonctionne parfaitement.
S'ils ont très peu de données, le « Goûteur Intelligent » (Apprentissage Actif) peut enseigner à l'ordinateur en utilisant seulement une fraction des expériences habituelles.

En résumé, ils ont construit un outil qui aide les scientifiques à cesser de deviner pour commencer à savoir, épargnant ainsi le monde du calcul intensif de brûler ses « gâteaux » et de gaspiller ses « fours ».

Résumé technique : Prédiction des paramètres d'exécution d'applications de chimie parallèle via l'apprentissage actif et génératif

Énoncé du problème
Les calculs de structure électronique à grande échelle, spécifiquement la méthode Coupled-Cluster avec Singles et Doubles (CCSD), imposent des exigences de calcul considérables sur les systèmes de calcul intensif. Le temps d'exécution de ces applications massivement parallèles dépend d'interactions complexes entre la taille du problème (nombre d'orbitales moléculaires), l'architecture matérielle cible et les paramètres d'exécution tels que le nombre de nœuds et la taille des tuiles (tile size). L'identification des configurations optimales par essais et erreurs est impraticable en raison du coût élevé des heures-nœuds gaspillées sous des allocations de ressources limitées. Bien que des lois d'échelle théoriques et des heuristiques empiriques existent, elles échouent souvent à prédire avec précision les temps d'exécution ou les configurations optimales en raison de la surcharge de communication, du déséquilibre de charge et des effets de matériel hétérogène. L'article répond au besoin de modèles de prédiction de temps d'exécution précis pour assister les utilisateurs dans deux scénarios de décision principaux : la Question du Temps le Plus Court (STQ - Shortest-Time Question), qui cherche la configuration minimisant le temps d'exécution pour une taille de problème donnée, et la Question du Budget (BQ - Budget Question), qui identifie les configurations respectant des contraintes de ressources spécifiques (par exemple, les heures-nœuds ou les limites de temps). Un défi critique réside dans la rareté des données historiques de temps d'exécution, car la collecte de mesures suffisantes à partir d'exécutions coûteuses sur des supercalculateurs est souvent irréalisable.

Méthodologie
Les auteurs proposent un cadre d'apprentissage automatique qui combine l'apprentissage supervisé avec des stratégies d'apprentissage actif et génératif pour remédier à la rareté des données.

Apprentissage supervisé de base : L'étude évalue une suite de modèles de régression, incluant la régression polynomiale, la régression à noyau de type Ridge (Kernel Ridge Regression), les arbres de décision, les forêts aléatoires (Random Forests), les arbres de boosting de gradient (GB), les arbres Ada Boosting, les processus gaussiens (GP), la régression de Ridge bayésienne et la régression à vecteurs de support. L'optimisation des hyperparamètres est effectuée via la recherche par grille (Grid Search), la recherche aléatoire (Random Search) et l'optimisation bayésienne. Les modèles sont entraînés sur des données de temps d'exécution collectées à partir d'exécutions CCSD sur trois supercalculateurs du Département de l'Énergie (DOE) : Aurora (ALCF), Frontier (OLCF) et Perlmutter (NERSC).
Apprentissage actif : Pour pallier le manque de grands ensembles de données, les auteurs emploient l'apprentissage actif pour sélectionner les configurations les plus informatives pour les tests. Deux stratégies de requête sont implémentées :
- Échantillonnage par incertitude (US - Uncertainty Sampling) : Utilise un modèle de processus gaussien pour interroger les points de données où l'incertitude de la prédiction du modèle (variance) est la plus élevée.
- Requête par comité (QC - Query-by-Committee) : Utilise un ensemble de modèles de boosting de gradient pour interroger les points où les membres du comité présentent le plus grand désaccord.
  Le processus ajoute de manière itérative ces points sélectionnés à l'ensemble d'entraînement pour améliorer la précision du modèle avec moins d'échantillons étiquetés.
Apprentissage génératif : Pour augmenter davantage les ensembles de données clairsemés, les auteurs utilisent des modèles génératifs pour synthétiser des points de données plausibles qui préservent les propriétés statistiques des données originales. Deux synthétiseurs sont comparés :
- Copule Gaussienne : Une méthode statistique qui modélise les dépendances entre variables en transformant les données dans un espace gaussien.
- Réseaux antagonistes génératifs tabulaires conditionnels (CTGAN) : Une approche d'apprentissage profond conçue pour les données tabulaires de type mixte, capable de gérer les variables discrètes et continues ainsi que les distributions déséquilibrées.

Contributions clés

Développement de modèles prédictifs de haute performance : L'étude implémente et évalue une suite complète de modèles de ML pour prédire les paramètres de temps d'exécution de CCSD. Elle identifie le boosting de gradient comme le prédicteur le plus précis et le plus robuste sur les trois plateformes de calcul intensif testées, atteignant des scores $R^2$ élevés et une faible erreur absolue moyenne en pourcentage (MAPE) lorsqu'une quantité suffisante de données est disponible.
Intégration de l'apprentissage actif et génératif : Le papier démontre l'efficacité de l'utilisation de l'apprentissage actif et génératif pour surmonter la rareté des données. Il montre que des modèles de prédiction de temps d'exécution précis peuvent être entraînés en utilisant seulement 20 à 25 % de la taille de l'ensemble de données original en sélectionnant stratégiquement des échantillons informatifs ou en augmentant les données avec des points synthétiques.
Évaluation multiplateforme complète : Le cadre est rigoureusement évalué à l'aide de données de performance réelles provenant de trois supercalculateurs de premier plan du DOE (Aurora, Frontier, Perlmutter), répondant aux objectifs STQ et BQ.

Résultats

Performance de base : Sur les ensembles de données complets, le modèle de boosting de gradient a atteint une précision exceptionnelle. Pour la STQ sur Aurora, il a atteint une MAPE de 0,023 et un $R^2$ de 0,999. Pour la BQ, il a obtenu une MAPE de 0,12 et un $R^2$ de 0,979. Des performances élevées similaires ont été observées sur Frontier et Perlmutter.
Efficacité de l'apprentissage actif : En utilisant l'apprentissage actif, les modèles ont atteint une MAPE d'environ 0,2 avec seulement 20 à 25 % de l'ensemble de données original. Plus précisément, sur Aurora, une MAPE de 0,2 a été atteinte avec 450 points de données (25 % de l'ensemble de données), s'améliorant à 0,1 avec environ 550 points. La stratégie d'échantillonnage par incertitude (US) a généralement surpassé la requête par comité (QC) sur Aurora, tandis que la QC a mieux performé sur Frontier et Perlmutter pour certains objectifs.
Impact de l'apprentissage génératif : L'apprentissage génératif a montré des améliorations modestes de performance, particulièrement pour la MAPE, lorsque des données synthétiques étaient ajoutées. Cependant, les auteurs notent que les données synthétiques peuvent introduire une instabilité dans l'apprentissage, surtout avec de petits ensembles de données de base. Le synthétiseur de copule gaussienne était nettement plus rapide à ajuster que le CTGAN (environ 160 fois plus vite), bien que les temps d'échantillonnage soient comparables.
Analyse statistique : L'étude a analysé la moyenne, la variance et l'écart-type des temps d'exécution dans des lots sélectionnés. Les stratégies d'apprentissage actif (US et QC) ont été trouvées comme sélectionnant initialement des configurations avec des temps d'exécution plus élevés et une plus grande variance (là où l'incertitude du modèle ou le désaccord est le plus élevé) avant de converger vers des lots plus homogènes et à temps d'exécution plus faibles à mesure que le modèle apprend.

Signification
L'article affirme que son approche fournit un cadre pratique pour réduire la charge de la sélection de paramètres dans les simulations de chimie quantique à grande échelle. En permettant des prédictions de temps d'exécution précises avec nettement moins d'exécutions coûteuses sur supercalculateur, la méthodologie facilite une utilisation plus efficace des ressources, un réglage plus rapide des configurations et une meilleure prise de décision de l'utilisateur concernant les budgets de calcul. Ce travail souligne que si l'apprentissage supervisé traditionnel est très efficace avec des données abondantes, les stratégies d'apprentissage actif et génératif sont des alternatives viables pour les scénarios où la collecte de données est contrainte par le coût et le temps.