FAST-HEP: Compiling Declarative Analysis Workflows for High-Energy Physics and Beyond

Nelle vaste e silenziose collisioni di particelle all'interno di macchine come il Large Hadron Collider, gli scienziati sono alla ricerca delle regole fondamentali che governano il nostro universo. Per trovare queste regole, devono setacciare montagne di dati, cercando rari schemi nascosti tra miliardi di eventi. Questo processo non è un singolo esperimento, ma un lungo viaggio scientifico che può durare decenni, spesso sopravvivendo ai programmi informatici specifici e agli strumenti software utilizzati per crearlo. La sfida non consiste solo nel eseguire l'analisi una volta, ma nell'assicurarsi che la stessa domanda scientifica possa essere posta e risposta anni dopo, anche quando la tecnologia sottostante cambia, le persone coinvolte passano ad altro e i formati dei dati si evolvono. Se le istruzioni su come i dati siano stati elaborati vanno perse o diventano troppo intricate per essere comprese, il risultato scientifico diventa una scatola nera, impossibile da verificare o ricostruire.

Per risolvere questo problema di sopravvivenza scientifica a lungo termine, è stato sviluppato un sistema chiamato FAST-HEP, incentrato su un motore di workflow chiamato Flow, da Luke Kreczko presso l'Università di Bristol. Questo sistema tratta l'analisi scientifica non come un rigido insieme di istruzioni informatiche, ma come una chiara descrizione scritta di ciò che lo scienziato vuole ottenere, separata dal codice specifico utilizzato per farlo. Separando il "cosa" dal "come", il ricercatore ha creato un modo per compilare queste descrizioni in un piano universale che può essere eseguito su diversi computer e con diversi strumenti software senza dover essere riscritto. Questo approccio garantisce che l'intento scientifico rimanga trasparente e riproducibile, permettendo al complesso apparato della fisica delle alte energie di evolversi senza rompere gli esperimenti che dipendono da esso.

Per decenni, i fisici hanno scritto la loro analisi dei dati come codice imperativo, uno stile in cui al computer viene detto esattamente come muoversi passo dopo passo attraverso i dati, controllandone un evento dopo l'altro. Sebbene questo funzioni bene per il momento, accoppia strettamente l'idea scientifica al linguaggio di programmazione e alle librerie utilizzate in quel momento. Quando quelle librerie cambiano o i ricercatori che hanno scritto il codice se ne vanno, l'analisi diventa spesso difficile da comprendere o impossibile da rieseguire. Il nuovo sistema Flow cambia questa dinamica introducendo un linguaggio dichiarativo. In questo modello, uno scienziato descrive semplicemente i dati di cui ha bisogno, le operazioni che vuole eseguire e i risultati che si aspetta, senza preoccuparsi della meccanica sottostante. È come scrivere una ricetta che elenca gli ingredienti e il piatto finale, lasciando che gli strumenti di cottura e le tecniche specifiche siano decisi in seguito dallo chef.

Il cuore di questo sistema è un compilatore che agisce come un traduttore tra la descrizione dello scienziato e l'esecuzione del computer. Quando uno scienziato invia il proprio workflow, il sistema non lo esegue immediatamente. Invece, normalizza prima la descrizione, raccogliendo tutti i pezzi sparsi di informazione — come dove risiedono i dati, quali correzioni applicare e come gestire scenari diversi — in un unico documento completo. Successivamente costruisce un grafo logico, una mappa che mostra come ogni pezzo di dato fluisce dalla sorgente al risultato finale, collegando gli input agli output con chiare linee di dipendenza. Questa mappa permette al sistema di controllare gli errori prima che inizi qualsiasi calcolo pesante, assicurando che i dati richiesti esistano e che i passaggi abbiano senso tra loro.

Una volta costruita e validata la mappa, il sistema crea un piano di esecuzione indipendente dal backend. Questo piano è un insieme dettagliato di istruzioni che descrive il lavoro da svolgere, ma non specifica quale computer o libreria software lo farà. Questa separazione è cruciale perché significa che lo stesso piano scientifico può essere eseguito su un laptop, un cluster locale o una massiccia rete distribuita senza cambiare la logica centrale. Il sistema può anche gestire variazioni, come testare come cambiano i risultati se una specifica misurazione è leggermente diversa, espandendo solo le parti del piano che ne sono influenzate invece di riscrivere tutto il documento. Ciò rende più facile esplorare diversi scenari scientifici e capire come le incertezze influenzino la risposta finale.

Il sistema presta anche molta attenzione alla provenienza, ovvero il record di come esattamente un risultato sia stato prodotto. Ogni volta che il workflow viene eseguito, genera un riepilogo dettagliato che collega l'output finale alla versione specifica del software, all'esatto file di dati utilizzato e all'ambiente informatico in cui è stato eseguito. Questo crea una storia permanente e tracciabile per ogni risultato scientifico. Se uno scienziato deve verificare un reperto anni dopo, può consultare questo record per vedere precisamente cosa è accaduto, invece di cercare di ricostruire il processo dalla memoria o da note sparse. Questo livello di dettaglio trasforma il workflow da una scatola nera in un processo trasparente dove ogni passaggio è visibile e responsabile.

Lo sviluppo di Flow è stato guidato da esperienze reali in cui i sistemi più vecchi faticavano ad adattarsi alle nuove tecnologie. Il ricercatore ha scoperto che scrivere semplicemente il codice in uno stile diverso non era sufficiente; l'architettura software sottostante doveva essere progettata per consentire la sostituzione facile di alcune parti. In passato, cambiare una singola libreria richiedeva spesso la riscrittura di ampi segmenti del framework perché le diverse parti erano troppo strettamente collegate. Flow risolve questo problema trattando ogni componente, dalle sorgenti di dati ai formati di output, come un modulo sostituibile che si connette attraverso contratti chiari e definiti. Ciò significa che man mano che diventano disponibili nuovi strumenti più veloci o efficienti, questi possono essere inseriti nel sistema senza interrompere l'analisi scientifica stessa.

Questo approccio è già stato testato in analisi reali per importanti esperimenti, inclusi quelli del rivelatore CMS e l'esperimento LUX-ZEPLIN. I risultati dimostrano che una descrizione dichiarativa concisa può guidare con successo computazioni complesse attraverso diversi set di dati ed esperimenti. Il sistema riesce a separare l'intento scientifico dall'implementazione, permettendo all'analisi di rimanere stabile mentre l'ecosistema software intorno ad essa evolve. Rendendo il workflow esplicito e ispezionabile, il sistema riduce l'onere per gli scienziati di ricordare ogni dettaglio del proprio codice e fornisce una base solida per la preservazione a lungo termine.

L'obiettivo ultimo di questo lavoro è garantire che le analisi scientifiche rimangano sostenibili nel tempo. In un campo in cui i volumi di dati crescono e le risorse di calcolo diventano sempre più diversificate, la capacità di preservare e riprodurre i risultati è essenziale. Flow fornisce un modo per farlo rendendo il workflow un oggetto di prima classe che può essere compilato, analizzato ed eseguito indipendentemente dagli strumenti usati per crearlo. Ciò consente alla comunità scientifica di far evolvere il proprio software e hardware senza perdere la capacità di comprendere o ripetere il lavoro del passato. Il sistema non si limita a eseguire l'analisi; documenta l'intero processo, assicurando che il percorso dai dati grezzi alla scoperta scientifica rimanga chiaro e accessibile per le generazioni future.

Il successo di questo progetto dipende da un cambiamento nel modo in cui il software scientifico viene costruito. Invece di considerare i workflow come script temporanei che vengono eseguiti una volta e dimenticati, il ricercatore li tratta come programmi che possono essere compilati e validati. Questa prospettiva permette un livello di trasparenza e flessibilità che era precedentemente difficile da raggiungere. Il sistema registra ogni decisione, ogni dipendenza e ogni variazione, creando un quadro completo del processo scientifico. Ciò non aiuta solo con il debugging e la validazione immediata, ma costruisce anche un record duraturo che può essere utilizzato per verificare i risultati molto tempo dopo che il ricercatore originale se n'è andato.

In definitiva, il lavoro presentato in questo articolo offre un nuovo modo di pensare all'informatica scientifica. Si allontana dall'idea che il codice sia la parte più importante di un'analisi e si concentra invece sulla chiarezza della descrizione scientifica. Separando la descrizione della scienza dalla macchina che la esegue, il sistema assicura che la scienza stessa rimanga la priorità. Ciò permette agli strumenti e alle tecnologie di cambiare e migliorare senza minacciare l'integrità della ricerca. Il risultato è un approccio più robusto, trasparente e sostenibile alla scoperta scientifica, capace di adattarsi al futuro onorando al contempo il lavoro del passato.