Training on Data Analysis Reproducibility via Containerization with Apptainer

Il documento presenta i materiali e le risorse sviluppati per formare i fisici sull'uso di Apptainer, al fine di migliorare la riproducibilità, la portabilità e la collaborazione nell'analisi dei dati della fisica delle alte energie e nucleare.

L'essenziale

Immagina di essere un cuoco che ha preparato una ricetta incredibile per un piatto speciale. Il problema? Se provi a farla cucinare da un amico in un'altra cucina, il piatto viene diverso: la sua padella è troppo grande, il forno ha temperature diverse o gli ingredienti che usa sono leggermente cambiati. Alla fine, il tuo amico ti dice: "Non funziona, il piatto non è buono come il tuo".

Nel mondo della scienza, specialmente in quella che studia le particelle più piccole dell'universo (Fisica delle Alte Energie), questo è un problema enorme. I ricercatori creano analisi complesse basate su enormi quantità di dati. Se un collega in un altro laboratorio non riesce a ripetere esattamente il loro lavoro perché il suo computer è "diverso", la scienza si blocca.

Ecco di cosa parla questo documento: un corso di formazione per insegnare ai fisici a risolvere questo problema usando una tecnologia chiamata "Apptainer".

Ecco la spiegazione semplice, passo dopo passo:

1. Il Problema: "Funziona sulla mia macchina"

I fisici usano software complessi che dipendono da molti pezzi (librerie, versioni specifiche, configurazioni). Spesso, un'analisi funziona perfettamente sul computer del ricercatore A, ma si rompe sul computer del ricercatore B. È come se la tua ricetta funzionasse solo se usi esattamente la stessa marca di farina e lo stesso fornello del tuo vicino.

2. La Soluzione: Le "Scatole Magiche" (Container)

Per risolvere questo, gli scienziati usano i container.
Immagina di non inviare solo la ricetta al tuo amico, ma di inviargli un'intera cucina portatile.

• Dentro questa "scatola" (il container) c'è tutto: il forno, i coltelli, la farina, le spezie e la ricetta.
• Non importa se la cucina del tuo amico è in Italia, in Brasile o sulla Luna: la "scatola magica" porta con sé tutto ciò che serve.
• Il risultato? Il piatto viene esattamente uguale ovunque.

3. Cos'è Apptainer?

Esistono molte "scatole magiche" sul mercato, ma Apptainer (chiamato in passato Singularity) è speciale perché è stato creato da scienziati per scienziati.

• Sicuro e semplice: A differenza di altre scatole che richiedono un "capo" (amministratore di sistema) per aprirle, Apptainer può essere usato da chiunque senza permessi speciali. È come avere una chiave universale che funziona su qualsiasi porta senza dover chiamare il portinaio.
• Portatile: Funziona su computer normali, su enormi supercomputer e nel cloud.
• Un solo file: L'intera cucina è compressa in un unico file. È facile da inviare via email, archiviare o condividere.

4. Cosa insegna questo corso?

Il documento descrive un "corso di cucina" per fisici. Non serve essere esperti di informatica, basta sapere le basi del computer. Il corso insegna:

• Come prendere in prestito le scatole: Scaricare "cucine" già pronte da librerie pubbliche.
• Come costruire la propria scatola: Creare un container personalizzato con gli strumenti specifici che servono per la propria ricerca.
• Come far parlare la scatola con il mondo: Insegnare al container a leggere i file dal computer dell'utente e a salvare i risultati fuori.
• Come condividere: Mettere queste scatole su internet (come su GitHub) in modo che chiunque nel mondo possa usarle per verificare i risultati.

5. I Risultati: Funziona davvero?

Gli autori hanno testato questo corso con centinaia di partecipanti (360 persone tra il 2023 e il 2025).

• Prima del corso: La maggior parte dei partecipanti non aveva mai sentito parlare di queste "scatole magiche".
• Dopo il corso: I partecipanti si sono sentiti molto più sicuri. Sapevano come usare gli strumenti principali e come rendere le loro ricerche "immortali" (cioè riproducibili anche tra 10 anni, anche se i computer cambieranno).

In sintesi

Questo documento è una guida su come insegnare ai ricercatori a confezionare il loro lavoro scientifico in pacchetti sicuri e portatili.
Grazie a questo metodo, la scienza diventa più onesta e collaborativa: chiunque può guardare dentro la "scatola", vedere come è stato fatto il lavoro e ripetere l'esperimento con la certezza che il risultato sarà lo stesso. È come passare dal dire "fidati di me, funziona" al dire "ecco la scatola, prova tu stesso, funziona sempre".

Sommario tecnico

Titolo: Formazione sulla Riproducibilità dell'Analisi dei Dati tramite Containerizzazione con Apptainer

1. Il Problema

L'analisi dei dati nella Fisica delle Alte Energie (HEP) e nella Fisica Nucleare presenta una complessità crescente che rende difficile catturare e preservare non solo i risultati, ma anche il contesto analitico e le conoscenze ad essi associate. Le sfide principali includono:

• Mancanza di Riproducibilità: La famosa problematica "funziona sulla mia macchina" dovuta a dipendenze software, librerie e configurazioni specifiche dell'ambiente di sviluppo.
• Preservazione dei Dati: L'alto valore dei dati sperimentali richiede un framework che permetta il riutilizzo, la reinterpretazione e la riproducibilità dei risultati nel tempo, indipendentemente dall'evoluzione dei sistemi operativi o dalla disponibilità delle dipendenze originali.
• Barriere all'Adozione: La mancanza di competenze specifiche tra i ricercatori su tecnologie di containerizzazione, che sono essenziali per garantire l'integrità e la portabilità dei flussi di lavoro scientifici.

2. Metodologia

Il documento descrive lo sviluppo e l'implementazione di un modulo formativo intitolato "Introduzione ad Apptainer/Singularity", parte del Centro di Formazione della HEP Software Foundation (HSF).

• Tecnologia Scelta: È stato selezionato Apptainer (precedentemente noto come Singularity), una piattaforma di container progettata specificamente per la comunità scientifica. A differenza di altri container, Apptainer:
  • Non richiede privilegi di superutente (root), rendendolo sicuro per ambienti HPC (High-Performance Computing) e cluster.
  • Utilizza immagini basate su file singoli, facilitando la distribuzione e l'archiviazione.
  • Mantiene le identità degli utenti (l'utente dentro il container è lo stesso fuori), preservando i permessi di sistema.
• Struttura del Curriculum: Il modulo è diviso in episodi (capitoli) che coprono:
  • Concetti fondamentali di containerizzazione e differenze rispetto alle macchine virtuali.
  • Operazioni di base: pull di immagini, esecuzione di comandi, e gestione delle interfacce a riga di comando.
  • Costruzione di container: creazione da file di definizione e assemblaggio da immagini esistenti.
  • Gestione dei dati: mappatura delle directory tra host e container (bind mounts).
  • Casi d'uso avanzati: esecuzione di servizi in modalità detached (istanze) e distribuzione tramite GitHub Packages.
• Strumenti Pratici: Gli esercizi utilizzano stack software standard nella comunità HEP, tra cui ROOT, Python, PyROOT, Pythia8, Uproot e RooFit.
• Valutazione: È stato implementato un processo di sondaggio in due fasi (pre- e post-evento) per misurare l'acquisizione di competenze. I sondaggi includevano un sistema di verifica anonima per garantire l'integrità dei dati senza compromettere la privacy.

3. Contributi Chiave

• Materiale Didattico Completo: Sviluppo di un curriculum strutturato con obiettivi di apprendimento, esercizi pratici con soluzioni, riepiloghi e registrazioni video per l'apprendimento asincrono.
• Esempi Specifici per la Fisica: Creazione di casi d'uso reali che dimostrano come eseguire analisi HEP (es. generazione di eventi fisici, lettura di file ROOT) all'interno di container Apptainer.
• Integrazione con l'Infrastruttura Esistente: Dimostrazione di come convertire immagini Docker esistenti in formato Apptainer per ambienti HPC e come integrare i container con gestori di risorse distribuiti.
• Framework di Valutazione: Un metodo robusto per raccogliere feedback quantitativi e qualitativi, permettendo un miglioramento continuo del materiale formativo basato sui dati reali degli utenti.

4. Risultati

I dati raccolti da 360 partecipanti registrati tra il 2023 e il 2025 e da 82 partecipanti che hanno completato i sondaggi post-evento mostrano:

• Basso Livello di Conoscenza Iniziale: La stragrande maggioranza dei partecipanti ("Never heard of it") non aveva familiarità con i comandi o i concetti di Apptainer prima della formazione, confermando la necessità critica di tale training.
• Significativo Aumento delle Competenze: Dopo il corso, i partecipanti hanno mostrato una familiarità sostanziale con i comandi fondamentali (apptainer pull, shell, exec), passando da "mai sentito" a "familiar" o "molto familiare".
• Soddisfazione del Materiale: I partecipanti hanno valutato positivamente il livello di difficoltà delle lezioni e il numero di esercizi, ritenendoli "abbastanza" per un apprendimento interattivo.
• Identificazione di Argomenti Avanzati: Mentre i concetti base sono stati assimilati, comandi come apptainer instance hanno mostrato un livello di familiarità inferiore, suggerendo che questi siano argomenti avanzati che potrebbero richiedere un focus specifico in future iterazioni.

5. Significato

Questo lavoro è fondamentale per il futuro della ricerca scientifica in fisica nucleare e delle alte energie per diversi motivi:

• Garanzia di Riproducibilità: Fornisce agli scienziati gli strumenti per creare ambienti di analisi isolati e riproducibili, eliminando le ambiguità legate alle configurazioni software.
• Preservazione a Lungo Termine: Assicura che le analisi complesse rimangano eseguibili per anni, indipendentemente dai cambiamenti nei sistemi operativi o nelle dipendenze software, a condizione che Apptainer sia supportato.
• Collaborazione Globale: Facilita la condivisione di flussi di lavoro tra istituzioni e team di ricerca, permettendo la collaborazione su dataset aperti e la verifica indipendente dei risultati.
• Efficienza delle Risorse: Ottimizza l'uso delle risorse di calcolo (HPC, Cloud) riducendo il tempo e lo sforzo necessari per configurare e scalare i flussi di lavoro di analisi.

In sintesi, il modulo formativo non solo colma un divario di competenze tecniche, ma stabilisce un linguaggio e una piattaforma comuni per la comunità HEP, promuovendo una cultura di scienza aperta, trasparente e duratura.