Accelerating discovery across scientific disciplines through reproducible workflows with AiiDAlab

Cet article présente AiiDAlab, une plateforme web basée sur Jupyter construite sur l'infrastructure AiiDA, qui permet aux scientifiques de diverses disciplines d'automatiser, de gérer et d'analyser des flux de travail de calcul complexes avec une reproductibilité totale, tout en mettant en avant son récente expansion vers les carnets de laboratoire électroniques, les installations à grande échelle et les contextes éducatifs.

L'essentiel

Imaginez que vous êtes un scientifique tentant de résoudre un casse-tête complexe. Autrefois, cela vous obligeait à être à la fois un mécanicien expert, un bibliothécaire de données et un programmeur informatique. Vous deviez construire vos propres outils, organiser vos propres classeurs et rédiger vos propres instructions simplement pour exécuter une seule expérience. Si vous commettiez une erreur minime dans la configuration, tout s'effondrait et vous perdiez vos progrès.

AiiDAlab est comme un « atelier intelligent tout-en-un » qui transforme cette expérience. Au lieu d'obliger les scientifiques à construire leurs propres outils, il fournit une interface préaménagée et conviviale où ils peuvent simplement cliquer sur des boutons pour exécuter des simulations complexes.

Voici une décomposition de ce que dit l'article, en utilisant des analogies simples :

1. Le problème : le cauchemar du « Faites-le vous-même »

Pendant des années, exécuter des simulations informatiques (comme modéliser le fonctionnement d'une nouvelle batterie ou le déplacement de la pollution dans l'air) exigeait une expertise technique approfondie. Les scientifiques devaient :

• Écrire du code complexe pour dire à l'ordinateur quoi faire.
• Gérer manuellement des milliers de fichiers.
• Garder une trace exacte des paramètres utilisés pour chaque test individuel (afin de pouvoir prouver leurs résultats plus tard).

C'était comme essayer de faire un gâteau mais devoir d'abord inventer le four, moudre sa propre farine et rédiger la recette à partir de zéro à chaque fois.

2. La solution : AiiDAlab (l'« atelier intelligent »)

Les auteurs ont créé AiiDAlab, qui repose sur un moteur puissant appelé AiiDA.

• Le moteur (AiiDA) : Imaginez-le comme un majordome-robot invisible et ultra-organisé en arrière-plan. Il se souvient automatiquement de chaque ingrédient que vous avez utilisé, de chaque étape que vous avez suivie et de chaque résultat obtenu. Il garantit que si vous refaites l'expérience, vous obtenez exactement le même résultat (reproductibilité).
• L'atelier (AiiDAlab) : C'est le visage amical du majordome-robot. C'est un site web que vous ouvrez dans votre navigateur. Au lieu d'écrire du code, vous utilisez des menus simples, des curseurs et des images pour configurer votre expérience. Il cache les détails techniques effrayants afin que les scientifiques puissent se concentrer sur la science, et non sur le logiciel.

3. Fonctionnement dans différents domaines

L'article montre que cet « atelier » ne sert pas à un seul type de science ; c'est comme un adaptateur universel qui peut être branché sur différents domaines :

• Sciences de l'atmosphère (Suivi de la pollution) : Imaginez essayer de déterminer d'où vient la pollution en observant le vent. Cela nécessite d'exécuter des millions de minuscules simulations. L'application AiiDAlab pour cela (appelée FLEXPART) permet aux scientifiques de cliquer sur une carte pour sélectionner un lieu, et le système exécute automatiquement les milliers de calculs nécessaires pour retracer la pollution jusqu'à sa source.
• Chimie (Prédiction des couleurs) : Les scientifiques veulent savoir comment de nouvelles molécules absorbent la lumière (ce qui détermine leur couleur). Cela nécessite généralement un doctorat en physique quantique. L'application AtmoSpec permet à un utilisateur de taper un nom chimique, et le système exécute automatiquement les mathématiques complexes pour prédire le spectre de couleur, affichant les résultats dans un graphique simple.
• Recherche sur les batteries (Test de nouvelles batteries) : Construire et tester des batteries est lent et répétitif. L'application Aurora se connecte à un robot qui construit et teste des batteries. Les scientifiques peuvent concevoir un plan de test à l'écran, le robot l'exécute, tandis qu'AiiDAlab enregistre automatiquement chaque lecture de tension et de température, créant un journal numérique parfait de l'expérience.

4. Relier le laboratoire et l'ordinateur

Historiquement, les scientifiques tenaient leurs « cahiers de laboratoire » (papier ou numérique) séparément de leurs simulations informatiques.

• L'intégration : L'article décrit un moyen de relier AiiDAlab aux Cahiers de laboratoire électroniques (ELN). C'est comme avoir une porte magique entre votre laboratoire physique et votre ordinateur. Vous pouvez envoyer une molécule de votre cahier de laboratoire à l'ordinateur, exécuter une simulation, et voir les résultats réapparaître automatiquement dans votre cahier avec toutes les preuves de leur calcul.

5. Aider les grands centres et les étudiants

• Pour les grands centres scientifiques : Dans des endroits comme l'Institut Paul Scherrer (qui utilise d'énormes machines à neutrons), les chercheurs ont souvent du mal à installer le bon logiciel sur leurs ordinateurs portables avant une courte expérience. AiiDAlab agit comme une « clé USB préchargée » qui fonctionne instantanément. Les chercheurs se connectent et ont immédiatement accès aux outils et aux données dont ils ont besoin sans rien installer.
• Pour les étudiants : En classe, les enseignants peuvent donner aux étudiants un lien vers AiiDAlab. Les étudiants peuvent exécuter des simulations avancées en quelques minutes sans avoir besoin d'installer de logiciels complexes sur leurs propres ordinateurs. Cela leur apprend à faire de la science « correctement » (en gardant une trace des données) dès le premier jour.

6. Faciliter le démarrage

Les auteurs admettent que la mise en place de ce système était autrefois difficile. Pour remédier à cela, ils ont créé des outils qui agissent comme un « installateur en un clic ».

• Le serveur de démonstration : Ils ont construit une version publique de l'atelier que n'importe qui peut essayer gratuitement. C'est comme un « essai routier » où vous pouvez exécuter une petite simulation en moins d'une minute pour voir comment cela fonctionne.
• Installation locale : Pour ceux qui souhaitent l'exécuter sur leur propre ordinateur, ils ont créé un outil qui configure tout automatiquement, de sorte que vous n'avez pas besoin d'être un expert en informatique pour commencer.

Résumé

En bref, AiiDAlab soulage les scientifiques de la lourde tâche de gérer des simulations informatiques complexes. Il transforme un processus chaotique et lourd en code en une expérience propre, organisée et visuelle. Il garantit que chaque étape est enregistrée automatiquement, rendant la science plus fiable, plus facile à répéter et accessible à plus de personnes, qu'elles soient dans une salle de classe universitaire ou dans un centre de recherche de haute technologie.

Résumé technique

Résumé technique : Accélérer la découverte scientifique dans toutes les disciplines grâce à des flux de travail reproductibles avec AiiDAlab

Énoncé du problème
Malgré l'augmentation des capacités de calcul disponibles pour la recherche scientifique, l'orchestration de flux de travail robustes et automatisés reste difficile. Bien que les systèmes de gestion de flux de travail (WFMS) comme AiiDA aient établi des principes fondamentaux pour la reproductibilité, le suivi de la provenance et l'exécution à haut débit, la mise en œuvre pratique de ces flux de travail nécessite souvent une expertise technique significative. Les chercheurs doivent toujours configurer les environnements d'exécution, définir les entrées de calcul, interpréter des résultats complexes et gérer les subtilités de l'exécution de code parallèle sur des ressources distantes de calcul haute performance (HPC). Cette barrière technique limite l'adoption d'outils de calcul avancés, en particulier parmi les scientifiques expérimentaux qui souhaitent se concentrer sur les questions de recherche plutôt que sur la gestion de l'infrastructure. De plus, l'intégration des flux de travail de calcul avec les cahiers de laboratoire électroniques (ELN) et la gestion de données expérimentales à grande échelle dans les installations restent des défis, nécessitant souvent des transferts de données manuels et des piles logicielles disparates.

Méthodologie
Pour répondre à ces défis, les auteurs ont développé AiiDAlab, une plateforme web basée sur Jupyter alimentée par l'infrastructure de calcul AiiDA. La plateforme est conçue pour abstraire la complexité sous-jacente du système grâce à des interfaces graphiques (GUI) s'exécutant dans le navigateur web de l'utilisateur, réduisant ainsi la charge cognitive requise pour opérer des systèmes logiciels sophistiqués.

L'architecture technique repose sur plusieurs composants clés :

• Conteneurisation et déploiement : AiiDAlab est déployé sous forme d'application conteneurisée, généralement en utilisant JupyterHub et Kubernetes (ou MicroK8s pour les configurations sur un seul nœud). Cela permet des déploiements basés sur le cloud et locaux, garantissant un environnement cohérent et reproductible.
• Écosystème d'applications modulaires : La plateforme utilise une architecture basée sur des plugins où des applications scientifiques spécifiques (apps) sont construites comme des extensions modulaires. Ces applications exploitent la bibliothèque aiidalab-widget-base, fournissant des composants d'interface utilisateur réutilisables pour la configuration des flux de travail, la soumission de travaux, la surveillance et la visualisation des données.
• Provenance et automatisation : En coulisses, AiiDA gère l'exécution des flux de travail, capturant automatiquement les entrées, les sorties et les métadonnées pour assurer un suivi complet de la provenance sans intervention manuelle.
• Stratégies d'intégration : La plateforme s'intègre à des systèmes externes via des connecteurs spécifiques. Cela inclut le package aiidalab-eln pour la liaison avec les ELN (démontré avec openBIS) et des plugins personnalisés pour le contrôle matériel (par exemple, le package tomato pour les cyclers de batteries) et l'analyse de données (par exemple, yadg pour les données expérimentales).
• Gestion des données : Pour gérer de grands ensembles de données (par exemple, des téraoctets dans la modélisation climatique ou des gigaoctets dans la diffusion de neutrons), le système utilise les mécanismes de « stockage temporaire » (stashing) d'AiiDA pour transférer des données entre des espaces temporaires de scratch et un stockage à long terme, ainsi que des outils comme cubehandler pour une visualisation efficace des données volumétriques.

Contributions et applications clés
L'article détaille la maturation d'AiiDAlab, passant d'un outil de science des matériaux à une plateforme interdisciplinaire grâce à plusieurs implémentations spécifiques :

1. Extension au-delà de la science des matériaux :

   • Sciences de l'atmosphère (Application FLEXPART) : Développée pour le projet ExAiRIM, cette application automatise la modélisation inverse des émissions de gaz à effet de serre. Elle gère la génération de empreintes de concentration à l'aide du code FLEXPART et s'interface avec le système d'inversion régionale lagrangienne d'Empa (ELRIS) pour quantifier les émissions nationales. Elle gère de grands ensembles de données météorologiques en mettant en œuvre des flux de travail de transfert de données dédiés.
   • Chimie atmosphérique (Application AtmoSpec) : Cette application permet la prédiction ab-initio des spectres UV/Vis pour les composés organiques volatils en utilisant l'approche de l'ensemble nucléaire (NEA) et le code ORCA. Elle guide les utilisateurs de l'entrée de chaînes SMILES à la génération de spectres pondérés par Boltzmann, une tâche auparavant réservée aux experts théoriques.
   • Recherche sur les batteries (Application Aurora) : Intégrée à la plateforme robotique Aurora pour l'assemblage de cellules de batteries, cette application orchestre les expériences de cyclage charge-décharge. Elle permet aux utilisateurs de concevoir des protocoles, de gérer des soumissions par lots pour jusqu'à 36 cellules et d'analyser automatiquement les données expérimentales en formats conformes FAIR à l'aide du parseur yadg.

2. Intégration avec les ELN et les LIMS :
   Les auteurs démontrent une intégration « aller-retour » entre AiiDAlab et l'ELN/LIMS openBIS. Les utilisateurs peuvent extraire des données d'inventaire moléculaire d'un ELN, soumettre des simulations via AiiDAlab et renvoyer les résultats (images et archives de provenance) à l'ELN. L'article propose l'utilisation d'annotations sémantiques (RDF/JSON-LD) pour généraliser cette interopérabilité entre différents ELN et WFMS, un concept exploré dans les projets PREMISE et MADICES.

3. Analyse de données expérimentales dans les grandes installations :
   À l'Institut Paul Scherrer (PSI), AiiDAlab a été déployé pour soutenir le spectromètre à neutrons CAMEA et la ligne de faisceau ICON. L'application LNS encapsule le code d'analyse MJOLNIR, permettant aux utilisateurs d'accéder aux données expérimentales « en direct » via un montage NFS partagé dans un environnement conteneurisé sécurisé. Cela élimine le besoin d'installation de logiciels locaux et de transferts de données manuels, réduisant le temps de configuration de 1 à 2 heures par utilisateur.

4. Applications éducatives :
   AiiDAlab sert de plateforme pour l'enseignement de la science des matériaux computationnelle. En fournissant des environnements préconfigurés (par exemple, l'application Quantum ESPRESSO avec des tutoriels intégrés), elle permet aux étudiants de réaliser des simulations de premiers principes sans installer de compilateurs ni gérer les connexions HPC. Cette approche a été testée avec succès dans une école hybride au PSI, où des participants ayant peu d'expérience préalable en DFT ont pu lancer des simulations en quelques minutes.

5. Améliorations du déploiement et de l'utilisabilité :
   L'article décrit des outils pour réduire les barrières à l'adoption, notamment aiidalab-launch pour le déploiement local basé sur Docker et des chartes Helm Kubernetes standardisées pour les configurations multi-utilisateurs institutionnelles. Un serveur de démonstration public (demo.aiidalab.io) est fourni pour une exploration immédiate. Les améliorations « sous le capot » incluent des tests automatisés, le support de l'authentification multifacteur (MFA) sur les ressources HPC via l'application aiidalab-mfa-cscs et des techniques frontend modernes (chargement différé) pour améliorer la réactivité.

Résultats
La mise en œuvre d'AiiDAlab a abouti à :

• Réduction des barrières techniques : Les expérimentateurs et les étudiants peuvent désormais exécuter des flux de travail complexes (par exemple, DFT, modélisation inverse, cyclage de batteries) via des interfaces graphiques intuitives sans une connaissance approfondie des codes sous-jacents.
• Efficacité opérationnelle : Au PSI, le déploiement a considérablement réduit les temps de configuration logicielle et de transfert de données, permettant une analyse de données immédiate pendant les temps de faisceau.
• Reproductibilité : La plateforme garantit que toutes les entrées, processus et sorties sont suivis, permettant le partage des états de simulation et des outils d'analyse.
• Adoption interdisciplinaire : La plateforme a été adaptée avec succès pour les sciences de l'atmosphère, la recherche sur les batteries et la diffusion de neutrons, démontrant son caractère agnostique au domaine.
• Impact éducatif : Lors d'une école récente, plus de 60 % des participants sans expérience préalable en DFT ont réussi à exécuter des simulations, avec des notes de satisfaction élevées (8,5/10).

Signification
L'article positionne AiiDAlab non pas simplement comme une interface graphique pour AiiDA, mais comme une plateforme complète pour accélérer la découverte scientifique dans toutes les disciplines. Sa signification réside dans sa capacité à démocratiser l'accès aux ressources de calcul haute performance et aux flux de travail complexes, transférant les tâches routinières des équipes de calcul spécialisées vers des communautés plus larges de chercheurs expérimentaux. En s'intégrant aux ELN et aux grandes installations, AiiDAlab comble le fossé entre la science expérimentale et la science computationnelle, favorisant un environnement de recherche FAIR (Trouvable, Accessible, Interopérable, Réutilisable). Les auteurs soulignent que, bien que la plateforme ait pris naissance en science des matériaux, son architecture modulaire et son accent sur l'expérience utilisateur en font une solution évolutive pour divers domaines scientifiques, visant ultimement à favoriser une recherche ouverte, reproductible et collaborative à l'échelle mondiale.