Training on Data Analysis Reproducibility via Containerization with Apptainer

Cet article présente les ressources pédagogiques développées par la Fondation Logicielle HEP pour former les physiciens à la reproductibilité des analyses via la technologie de conteneurisation Apptainer, en fournissant des exemples d'outils courants en physique des hautes énergies et nucléaire.

L'essentiel

📦 Le Problème : "Ça marche sur ma machine !"

Imaginez que vous êtes un physicien qui a passé des années à analyser des données complexes pour comprendre l'univers. Vous avez créé un résultat magnifique. Mais quand vous l'envoyez à un collègue dans un autre pays, il vous répond : "Désolé, ça ne marche pas chez moi. Il manque une pièce, une autre est trop vieille..."

C'est le fameux problème du "Ça marche sur ma machine !". En science, c'est un cauchemar : si on ne peut pas reproduire exactement les mêmes résultats ailleurs, la découverte n'est pas vraiment validée. De plus, les logiciels changent tout le temps. Dans 10 ans, les outils d'aujourd'hui seront peut-être obsolètes, et nos analyses historiques seront perdues.

🚚 La Solution : L'Apptainer (le "Conteneur de Déménagement")

C'est là que ce document parle d'une solution géniale appelée Apptainer (anciennement Singularity).

Pour faire simple, imaginez que votre analyse scientifique n'est pas juste un fichier, mais tout un appartement meublé.

• Les meubles, c'est votre code.
• Les murs, c'est le système d'exploitation.
• L'électricité et l'eau, ce sont les bibliothèques et les outils dont vous avez besoin.

Habituellement, si vous déménagez (changez d'ordinateur), vous devez tout démonter et espérer que tout rentre dans le nouvel appartement. C'est l'enfer.

Apptainer, c'est comme un conteneur de déménagement magique.
Au lieu de démonter l'appartement, vous le mettez tout entier, avec ses murs, ses meubles et ses règles, dans un seul gros conteneur étanche.

• Vous pouvez transporter ce conteneur n'importe où (sur un super-ordinateur, dans le cloud, ou sur un ordinateur portable).
• Peu importe la maison d'accueil, le conteneur s'ouvre et l'appartement fonctionne exactement comme avant.
• Le plus beau ? Comme le conteneur est étanche, il ne touche pas à la maison d'accueil. C'est sûr et sécurisé.

🎓 Le But du Document : Une École de "Conteneurs"

Ce papier ne propose pas juste l'outil, il propose un cours complet pour apprendre aux physiciens à l'utiliser. C'est comme une école de conduite, mais pour ces conteneurs magiques.

Voici ce qu'ils apprennent, avec des analogies simples :

1. Chercher et prendre un conteneur (Pull) : C'est comme aller dans un grand magasin (une bibliothèque en ligne) et prendre un conteneur déjà rempli avec les outils dont vous avez besoin, au lieu de tout construire de zéro.
2. Conduire le conteneur (Run/Exec) : Apprendre à entrer dans le conteneur et à utiliser les outils à l'intérieur sans salir votre propre ordinateur.
3. Construire son propre conteneur (Build) : Si vous avez des besoins spéciaux, vous apprenez à assembler votre propre conteneur, comme un Lego géant, en partant d'une liste d'instructions (un fichier de définition).
4. Partager des fichiers : Apprendre à ouvrir une petite fenêtre entre votre ordinateur et le conteneur pour échanger des données, comme une lucarne dans un mur.
5. Faire tourner des services : Apprendre à laisser le conteneur tourner tout seul en arrière-plan (comme un serveur de café qui reste allumé) pour que d'autres puissent s'en servir.

📊 Les Résultats : Ça a marché !

Les auteurs ont testé ce cours avec 360 physiciens entre 2023 et 2025.

• Avant le cours : La plupart des gens ne connaissaient même pas ces outils. C'était comme demander à quelqu'un de conduire un avion alors qu'il n'avait jamais vu de cockpit.
• Après le cours : Les participants se sentaient à l'aise. Ils savaient comment prendre un conteneur, le lancer et l'utiliser. Ils ont compris que c'est la clé pour que leurs recherches soient reproductibles dans 10, 20 ou 50 ans.

🌟 En Résumé

Ce document raconte l'histoire d'une équipe qui a dit : "Arrêtons de perdre du temps à réparer des logiciels qui cassent. Mettons toute notre science dans des boîtes indestructibles et apprenons à tout le monde à les utiliser."

Grâce à ce cours, les physiciens peuvent maintenant garantir que leurs découvertes sur l'univers resteront valides et accessibles, peu importe comment les ordinateurs du futur vont évoluer. C'est une assurance-vie pour la science !

Résumé technique

Titre du document

Formation à la reproductibilité des analyses de données via la conteneurisation avec Apptainer

1. Problématique

Le domaine de la physique des hautes énergies (HEP) et de la physique nucléaire fait face à des défis majeurs liés à la complexité croissante des analyses de données. Ces complexités rendent difficile la capture et la préservation des analyses ainsi que des connaissances qui les entourent.

• Manque de reproductibilité : L'absence d'un environnement standardisé entraîne le problème classique « cela fonctionne sur ma machine », empêchant la reproduction exacte des résultats sur différents systèmes.
• Préservation des données : La valeur élevée des données expérimentales exige un cadre permettant leur réutilisation, leur réinterprétation et leur pérennité, indépendamment de l'évolution des dépendances logicielles ou des systèmes d'exploitation.
• Barrières à la collaboration : La difficulté à partager des environnements d'analyse complets entrave la collaboration entre équipes, institutions et pays.

2. Méthodologie

Pour répondre à ces enjeux, les auteurs ont développé un module de formation complet intitulé « Introduction à Apptainer/Singularity », intégré au Centre de Formation de la Fondation Logicielle pour la Physique des Hautes Énergies (HSF).

• Technologie choisie : Apptainer (anciennement Singularity), une plateforme de conteneurisation conçue spécifiquement pour les scientifiques. Contrairement aux machines virtuelles, elle encapsule l'environnement (dépendances, bibliothèques, configurations) dans un seul fichier image.
  • Avantages clés : Fonctionne sans privilèges superutilisateur (root), préserve les permissions utilisateur (sécurité pour les administrateurs HPC), et facilite le déploiement sur divers environnements (Cloud, clusters, HPC).
• Structure pédagogique : Le module est divisé en épisodes (chapitres) couvrant :
  • Les concepts fondamentaux (images vs conteneurs, différence avec les VM).
  • L'extraction d'images depuis des bibliothèques (Sylab, Docker Hub).
  • La construction de conteneurs à partir de fichiers de définition.
  • Le partage de fichiers entre l'hôte et le conteneur (mounts bind).
  • L'exécution de services persistants (instances).
  • Le déploiement via GitHub Actions.
• Outils pratiques : Les exercices utilisent des outils standards du domaine comme ROOT, Python, PyROOT, Pythia8, Uproot et RooFit.
• Évaluation : Une approche d'apprentissage mixte (cours en direct, exercices pratiques, enregistrements pour l'asynchrone) est couplée à une évaluation par sondage pré- et post-formation pour mesurer l'acquisition de compétences.

3. Contributions Clés

• Développement de matériel de formation : Création de ressources pédagogiques complètes (tutoriels, solutions d'exercices, enregistrements vidéo) spécifiquement adaptées aux physiciens.
• Intégration de cas d'usage réels : Démonstration de l'utilisation d'Apptainer pour des tâches concrètes en physique (exécution interactive de ROOT, génération d'événements physiques, lecture de fichiers ROOT).
• Stratégie de préservation : Démonstration de la capacité à encapsuler des pipelines d'analyse entiers pour garantir leur exécution future, indépendamment des changements de l'environnement système.
• Standardisation : Établissement d'une plateforme commune et d'un langage partagé pour le partage et la collaboration sur les projets d'analyse au sein de la communauté HEP.

4. Résultats

Les résultats sont basés sur l'expérience de formation dispensée lors d'événements HSF et IRIS-HEP entre 2023 et 2025, avec 360 participants inscrits et 82 répondants aux sondages post-formation.

• Évolution des compétences (Sondages) :
  • Avant la formation : La grande majorité des participants n'avait « jamais entendu parler » des commandes Apptainer ou des concepts associés.
  • Après la formation : Une augmentation significative de la familiarité est observée. La plupart des participants se déclarent « familiers » ou « très familiers » avec les commandes de base (apptainer pull, shell, exec).
  • Nuance : Le sujet avancé (apptainer instance) reste moins maîtrisé, ce qui est cohérent avec son statut de fonctionnalité avancée.
• Satisfaction pédagogique : Les participants ont jugé le niveau de difficulté « approprié » et le nombre d'exercices « équilibré » pour un apprentissage interactif, confirmant l'efficacité de l'approche théorique/pratique.
• Adoption : Le module a permis de guider des chercheurs avec de solides compétences en analyse de données vers l'adoption de la conteneurisation pour leurs flux de travail.

5. Signification et Impact

Ce travail revêt une importance capitale pour l'avenir de la recherche en physique :

• Reproductibilité scientifique : Il offre une solution robuste pour éliminer les erreurs d'environnement et garantir que les résultats scientifiques peuvent être reproduits par d'autres chercheurs.
• Préservation à long terme : En encapsulant les analyses dans des conteneurs, la communauté assure que les résultats d'aujourd'hui resteront accessibles et exécutables dans les années à venir, même si les dépendances logicielles originales disparaissent.
• Efficacité des ressources : L'utilisation d'Apptainer permet une utilisation plus efficace des ressources de calcul (HPC, Cloud) en simplifiant le déploiement et en réduisant le temps de configuration.
• Collaboration mondiale : En facilitant le partage d'unités d'analyse autonomes, le module favorise une collaboration transparente entre institutions et nations, essentiel pour les grandes expériences de physique.

En conclusion, ce module de formation ne se limite pas à l'enseignement d'un outil technique, mais établit les fondations nécessaires pour une science ouverte, reproductible et pérenne dans le domaine de la physique des hautes énergies.