CELEBI: Towards Reproducible and FAIR Physics Analysis

Nel mondo della fisica delle alte energie, gli scienziati non si limitano a guardare attraverso un telescopio o un microscopio per trovare risposte. Al contrario, costruiscono macchine massicce e complesse che fanno scontrare particelle, creando una tempesta di dati che devono essere smistati, misurati e compresi. Questo processo non è un singolo evento, ma un lungo e tortuoso viaggio di scoperta. Un ricercatore prende i dati grezzi e li fa passare attraverso una serie di programmi informatici, decidendo quali pezzi di informazione conservare e quali scartare. Regola le impostazioni, testa diverse teorie e perfeziona i suoi metodi per mesi o addirittura anni. Il risultato finale è un reperto scientifico, ma quel reperto è indissolubilmente legato al percorso specifico che il team ha seguito per arrivarci. Se il codice cambia, o se un parametro viene modificato, anche il risultato potrebbe cambiare. La grande sfida in questo campo non è solo ottenere la risposta, ma ricordare esattamente come sia stata trovata. Senza un registro chiaro dei passaggi compiuti, un risultato dell'anno scorso potrebbe diventare impossibile da riprodurre oggi, lasciando la comunità scientifica nell'incapacità di verificare o costruire ulteriormente il lavoro.

Questo è il problema che Mingrui Zhao, un ricercatore della Peking University, ha cercato di risolvere con un nuovo sistema chiamato Celebi. Nel saggio, Zhao descrive come le analisi della fisica moderna evolvano continuamente. Man mano che i dataset crescono e arrivano aggiornamenti software, le condizioni sotto le quali è stato prodotto un precedente risultato possono diventare difficili da determinare. Immaginate un team che lavora su un calcolo complesso dove il codice viene costantemente riscritto. Un risultato presentato durante una revisione interna potrebbe non corrispondere più alla versione attuale dell'analisi perché le regole sottostanti sono cambiate. Nelle grandi collaborazioni, dove molte persone lavorano su diverse varianti dello stesso progetto, questa confusione può essere travolgente. Il ricercatore ha scoperto che gli strumenti esistenti potevano gestire il flusso di dati o archiviare i file finali, ma faticavano a mantenere un legame persistente e indistruttibile tra un risultato specifico e lo stato esatto dell'analisi che lo ha creato.

Per affrontare questo problema, Zhao ha progettato Celebi come un framework che tratta l'analisi non come un singolo documento fluido, ma come una collezione di parti strutturate e riutilizzabili. Il sistema separa le istruzioni leggere — come il codice, le impostazioni di configurazione e le dipendenze — dai pesanti prodotti di dati che vengono generati. Organizza queste istruzioni in un flusso di lavoro chiaro in cui ogni pezzo sa di cosa dipende. L'innovazione principale risiede nel modo in cui il sistema gestisce il cambiamento. Mentre l'analisi di lavoro evolve, Celebi preserva momenti specifici nel tempo chiamati "impressioni". Un'impressione è un'istantanea congelata dell'analisi in un particolare momento, che cattura il codice, i parametri e lo stato esatto di ogni dipendenza utilizzata per produrre un risultato. Queste impressioni sono immutabili, il che significa che non possono essere alterate una volta salvate. Quando viene generato un risultato, esso è permanentemente associato all'impressione specifica che lo ha creato. Ciò significa che anche se l'analisi principale viene aggiornata cento volte, il risultato originale rimane legato alle condizioni esatte sotto le quali è stato prodotto per la prima volta.

L'effetto pratico di questa organizzazione è un sistema che permette agli scienziati di modificare il proprio lavoro senza perdere la propria storia. Poiché i componenti sono modulari, un ricercatore può cambiare una parte dell'analisi, come il metodo utilizzato per filtrare i dati, senza dover riscrivere l'intero progetto. Il sistema traccia automaticamente quali attività a valle sono influenzate da tale modifica. Se uno scienziato vuole eseguire una variazione sistematica, testando ad esempio come un diverso presupposto influenzi il risultato, può farlo riutilizzando le parti invariate dell'analisi e modificando solo la sezione specifica che differisce. Ciò riduce la duplicazione e rende esplicite le differenze tra le varie configurazioni. Il sistema supporta anche l'esecuzione controllata di questi stati preservati. Se un team deve verificare un vecchio risultato, può eseguire nuovamente l'impressione preservata, a patto che gli input e gli ambienti software necessari siano ancora disponibili, garantendo che la nuova esecuzione sia una vera riproduzione di quella precedente.

Questo approccio cambia fondamentalmente il modo in cui avvengono la collaborazione e la revisione all'interno di un team di fisica. In un progetto tipico, più collaboratori potrebbero lavorare su configurazioni diverse e i risultati potrebbero essere sparsi tra vari file e directory personali. Celebi porta ordine in tutto questo organizzando tutti i materiali, la documentazione e le dipendenze in un repository strutturato. Un collaboratore può ispezionare un componente specifico insieme alla sua documentazione locale e allo stato esatto delle sue dipendenze senza dover ricostruire l'intera analisi da zero. Ciò rende più facile per i nuovi membri del team comprendere il lavoro e per i revisori controllare la logica dietro un risultato. Quando un revisore richiede una modifica, il team può aggiornare l'analisi e creare una nuova impressione, mantenendo quella vecchia accanto alla nuova. Ciò consente un confronto diretto tra le revisioni, mostrando esattamente cosa è cambiato e come ha influenzato il risultato. Il sistema costruisce essenzialmente una cronologia trasparente della ricerca, dove ogni risultato può essere ricondotto alla sua fonte.

L'obiettivo ultimo di questo lavoro è rendere l'analisi fisica più FAIR: Trovabile (Findable), Accessibile (Accessible), Interoperabile (Interoperable) e Riutilizzabile (Reusable). Attualmente, riutilizzare un risultato scientifico richiede spesso non solo i dati finali, ma anche una profonda comprensione del codice e delle impostazioni utilizzati per crearlo, che spesso vanno perduti o rimangono sepolti. Associando i risultati a stati identificabili e preservati dell'analisi, Celebi fornisce una base per trovare e riutilizzare questi materiali. La natura strutturata del sistema permette ai computer di interpretare la logica dell'analisi, il che potrebbe aiutare diverse infrastrutture di ricerca a lavorare insieme. Sebbene il saggio non sostenga che Celebi risolva ogni problema della preservazione scientifica, esso offre una base pratica per estendere questi principi oltre i soli dati grezzi, includendo i processi computazionali che generano la conoscenza scientifica. Il sistema non si affida a una contabilità manuale o alla ricostruzione retrospettiva della storia; al contrario, cattura la provenienza del lavoro mentre avviene, giorno dopo giorno. In questo modo, assicura che il percorso verso una scoperta rimanga chiaro e accessibile quanto la scoperta stessa.