Accelerating discovery across scientific disciplines through reproducible workflows with AiiDAlab

Questo articolo presenta AiiDAlab, una piattaforma web basata su Jupyter costruita sull'infrastruttura AiiDA che consente agli scienziati di diverse discipline di automatizzare, gestire e analizzare flussi di lavoro computazionali complessi con piena riproducibilità, evidenziando al contempo la sua recente espansione nei quaderni di laboratorio elettronici, nelle strutture su larga scala e negli ambienti educativi.

L'essenziale

Immagina di essere uno scienziato che cerca di risolvere un puzzle complesso. In passato, farlo richiedeva di essere contemporaneamente un meccanico esperto, un archivista di dati e un programmatore informatico. Dovevi costruire i tuoi strumenti, organizzare i tuoi archivi e scrivere le tue istruzioni solo per eseguire un singolo esperimento. Se commettevi un piccolo errore nella configurazione, tutto si bloccava e perdevi il tuo lavoro.

AiiDAlab è come un "laboratorio intelligente e tutto-in-uno" che trasforma questa esperienza. Invece di costringere gli scienziati a costruire i propri strumenti, offre un'interfaccia pre-arredata e facile da usare, dove possono semplicemente cliccare sui pulsanti per eseguire simulazioni complesse.

Ecco una panoramica di ciò che dice il documento, utilizzando semplici analogie:

1. Il Problema: L'Incubo del "Fai-da-te"

Per anni, l'esecuzione di simulazioni al computer (come la modellazione del funzionamento di una nuova batteria o del movimento dell'inquinamento nell'aria) richiedeva competenze tecniche approfondite. Gli scienziati dovevano:

• Scrivere codice complesso per dire al computer cosa fare.
• Gestire manualmente migliaia di file.
• Tenere traccia esattamente di quali impostazioni erano state utilizzate per ogni singolo test (così da poter provare i loro risultati in seguito).

Era come cercare di preparare una torta ma dover prima inventare il forno, macinare la propria farina e scrivere la ricetta da zero ogni volta.

2. La Soluzione: AiiDAlab (Il "Laboratorio Intelligente")

Gli autori hanno costruito AiiDAlab, che si appoggia a un motore potente chiamato AiiDA.

• Il Motore (AiiDA): Pensalo come un maggiordomo robot invisibile e super-organizzato sullo sfondo. Ricorda automaticamente ogni singolo ingrediente che hai usato, ogni passo che hai compiuto e ogni risultato ottenuto. Assicura che, se ripeti l'esperimento, ottieni esattamente lo stesso risultato (riproducibilità).
• Il Laboratorio (AiiDAlab): Questa è la faccia amichevole del maggiordomo robot. È un sito web che apri nel tuo browser. Invece di scrivere codice, utilizzi menu semplici, cursori e immagini per impostare il tuo esperimento. Nasconde i dettagli tecnici spaventosi in modo che gli scienziati possano concentrarsi sulla scienza, non sul software.

3. Come Funziona in Diversi Campi

Il documento mostra che questo "laboratorio" non è solo per un tipo di scienza; è come un adattatore universale che può essere collegato a diversi settori:

• Scienze Atmosferiche (Tracciamento dell'Inquinamento): Immagina di cercare di capire da dove proviene l'inquinamento osservando il vento. Questo richiede l'esecuzione di milioni di minuscole simulazioni. L'app AiiDAlab per questo (chiamata FLEXPART) permette agli scienziati di cliccare su una mappa per selezionare una località, e il sistema esegue automaticamente le migliaia di calcoli necessari per tracciare l'inquinamento fino alla sua fonte.
• Chimica (Previsione dei Colori): Gli scienziati vogliono sapere come le nuove molecole assorbono la luce (ciò che ne determina il colore). Fare questo richiede solitamente un dottorato in fisica quantistica. L'app AtmoSpec permette a un utente di digitare un nome chimico, e il sistema esegue automaticamente la matematica complessa per prevedere lo spettro di colore, mostrando i risultati in un semplice grafico.
• Ricerca sulle Batterie (Test di Nuove Batterie): Costruire e testare batterie è lento e ripetitivo. L'app Aurora si collega a un robot che costruisce e testa le batterie. Gli scienziati possono progettare un piano di test sullo schermo, il robot lo esegue, mentre AiiDAlab registra automaticamente ogni lettura di tensione e temperatura, creando un registro digitale perfetto dell'esperimento.

4. Collegare il Laboratorio e il Computer

Storicamente, gli scienziati tenevano i loro "quaderni di laboratorio" (cartacei o digitali) separati dalle loro simulazioni al computer.

• L'Integrazione: Il documento descrive un modo per collegare AiiDAlab ai Quaderni di Laboratorio Elettronici (ELN). È come avere una porta magica tra il tuo laboratorio fisico e il tuo computer. Puoi inviare una molecola dal tuo quaderno di laboratorio al computer, eseguire una simulazione e far sì che i risultati riappaiano automaticamente nel tuo quaderno con tutte le prove di come sono stati calcolati.

5. Aiutare Grandi Strutture e Studenti

• Per i Grandi Centri Scientifici: In luoghi come l'Istituto Paul Scherrer (che utilizza enormi macchine a neutroni), i ricercatori spesso faticano a installare il software giusto sui loro portatili prima di un breve esperimento. AiiDAlab agisce come una "chiavetta USB pre-caricata" che funziona immediatamente. I ricercatori accedono e hanno immediatamente accesso agli strumenti e ai dati di cui hanno bisogno senza installare nulla.
• Per gli Studenti: In classe, gli insegnanti possono fornire agli studenti un collegamento ad AiiDAlab. Gli studenti possono eseguire simulazioni avanzate in pochi minuti senza dover installare software complesso sui propri computer. Loro insegna a fare scienza nel "modo giusto" (tenendo traccia dei dati) fin dal primo giorno.

6. Rendere Facile Iniziare

Gli autori ammettono che impostare questo sistema era un tempo difficile. Per risolvere questo problema, hanno creato strumenti che agiscono come un "installer con un clic".

• Il Server di Dimostrazione: Hanno costruito una versione pubblica del laboratorio che chiunque può provare gratuitamente. È come un "prova su strada" dove puoi eseguire una piccola simulazione in meno di un minuto per vedere come funziona.
• Installazione Locale: Per coloro che vogliono eseguirlo sul proprio computer, hanno creato uno strumento che imposta tutto automaticamente, così non hai bisogno di essere un esperto di computer per iniziare.

Riepilogo

In breve, AiiDAlab solleva gli scienziati dal peso di gestire simulazioni al computer complesse. Trasforma un processo caotico e ricco di codice in un'esperienza pulita, organizzata e visiva. Assicura che ogni passaggio venga registrato automaticamente, rendendo la scienza più affidabile, più facile da ripetere e accessibile a più persone, sia che si trovino in un'aula universitaria o in una struttura di ricerca ad alta tecnologia.

Sommario tecnico

Sintesi Tecnica: Accelerare la Scoperta Scientifica tra le Discipline attraverso Flussi di Lavoro Riproducibili con AiiDAlab

Enunciato del Problema
Nonostante le crescenti capacità computazionali disponibili per la ricerca scientifica, l'orchestrazione di flussi di lavoro robusti e automatizzati rimane difficile. Sebbene i Sistemi di Gestione dei Flussi di Lavoro (WFMS) come AiiDA abbiano stabilito principi fondamentali per la riproducibilità, il tracciamento della provenienza e l'esecuzione ad alto rendimento, l'esecuzione pratica di questi flussi di lavoro richiede spesso una significativa competenza tecnica. I ricercatori devono ancora configurare gli ambienti di esecuzione, definire gli input dei calcoli, interpretare output complessi e gestire le sottigliezze dell'esecuzione parallela del codice su risorse remote di Calcolo ad Alte Prestazioni (HPC). Questa barriera tecnica limita l'adozione di strumenti computazionali avanzati, in particolare tra gli scienziati sperimentali che desiderano concentrarsi sulle domande di ricerca piuttosto che sulla gestione dell'infrastruttura. Inoltre, l'integrazione dei flussi di lavoro computazionali con i Quaderni di Laboratorio Elettronici (ELN) e la gestione di dati sperimentali su larga scala presso le strutture rimangono sfide, richiedendo spesso trasferimenti manuali di dati e stack software disparati.

Metodologia
Per affrontare queste sfide, gli autori hanno sviluppato AiiDAlab, una piattaforma web basata su Jupyter alimentata dall'infrastruttura computazionale AiiDA. La piattaforma è progettata per astrarre la complessità del sistema sottostante attraverso Interfacce Grafiche Utente (GUI) eseguite nel browser web dell'utente, riducendo così il carico cognitivo necessario per operare sistemi software sofisticati.

L'architettura tecnica si basa su diversi componenti chiave:

• Containerizzazione e Distribuzione: AiiDAlab è distribuito come applicazione containerizzata, tipicamente utilizzando JupyterHub e Kubernetes (o MicroK8s per configurazioni a nodo singolo). Ciò consente distribuzioni sia basate su cloud che locali, garantendo un ambiente coerente e riproducibile.
• Ecosistema di Applicazioni Modulari: La piattaforma utilizza un'architettura basata su plugin in cui specifiche applicazioni scientifiche (app) sono costruite come estensioni modulari. Queste app sfruttano la libreria aiidalab-widget-base, fornendo componenti UI riutilizzabili per la configurazione del flusso di lavoro, la sottomissione di lavori, il monitoraggio e la visualizzazione dei dati.
• Provenienza e Automazione: Sotto il cofano, AiiDA gestisce l'esecuzione dei flussi di lavoro, catturando automaticamente input, output e metadati per garantire un tracciamento completo della provenienza senza intervento manuale.
• Strategie di Integrazione: La piattaforma si integra con sistemi esterni attraverso connettori specifici. Ciò include il pacchetto aiidalab-eln per il collegamento con gli ELN (dimostrato con openBIS) e plugin personalizzati per il controllo dell'hardware (ad esempio, il pacchetto tomato per i ciclatori di batterie) e l'analisi dei dati (ad esempio, yadg per i dati sperimentali).
• Gestione dei Dati: Per gestire grandi set di dati (ad esempio, terabyte nella modellazione climatica o gigabyte nella diffusione di neutroni), il sistema utilizza i meccanismi di "stashing" di AiiDA per trasferire dati tra spazi temporanei di scratch e archiviazione a lungo termine, e strumenti come cubehandler per una visualizzazione efficiente dei dati volumetrici.

Contributi Chiave e Applicazioni
Il documento descrive la maturazione di AiiDAlab da strumento per le scienze dei materiali a piattaforma interdisciplinare attraverso diverse implementazioni specifiche:

1. Espansione oltre le Scienze dei Materiali:

   • Scienze Atmosferiche (App FLEXPART): Sviluppata per il progetto ExAiRIM, questa app automatizza la modellazione inversa delle emissioni di gas serra. Gestisce la generazione di impronte di concentrazione utilizzando il codice FLEXPART e si interfaccia con il Sistema di Inversione Regionale Lagrangiana Empa (ELRIS) per quantificare le emissioni nazionali. Gestisce grandi set di dati meteorologici implementando flussi di lavoro dedicati al trasferimento di dati.
   • Chimica Atmosferica (App AtmoSpec): Questa applicazione consente la previsione ab-initio degli spettri UV/Vis per composti organici volatili utilizzando l'Approccio dell'Ensemble Nucleare (NEA) e il codice ORCA. Guida gli utenti dall'input della stringa SMILES alla generazione di spettri ponderati secondo Boltzmann, un compito precedentemente riservato agli esperti teorici.
   • Ricerca sulle Batterie (App Aurora): Integrata con la piattaforma robotica Aurora per l'assemblaggio di celle batteria, questa app orchestra esperimenti di cicli di carica-scarica. Consente agli utenti di progettare protocolli, gestire sottomissioni in batch per fino a 36 celle e analizzare automaticamente i dati sperimentali in formati conformi ai principi FAIR utilizzando il parser yadg.

2. Integrazione con ELN e LIMS:
   Gli autori dimostrano un'integrazione "andata e ritorno" tra AiiDAlab e l'ELN/LIMS openBIS. Gli utenti possono estrarre dati sull'inventario molecolare da un ELN, sottomettere simulazioni tramite AiiDAlab e restituire i risultati (immagini e archivi di provenienza) all'ELN. Il documento propone l'uso di annotazioni semantiche (RDF/JSON-LD) per generalizzare questa interoperabilità tra diversi ELN e WFMS, un concetto che viene esplorato nei progetti PREMISE e MADICES.

3. Analisi dei Dati Sperimentali presso Grandi Strutture:
   Presso l'Istituto Paul Scherrer (PSI), AiiDAlab è stato distribuito per supportare lo spettrometro a neutroni CAMEA e la linea di fascio ICON. L'app LNS incapsula il codice di analisi MJOLNIR, consentendo agli utenti di accedere ai dati sperimentali "in tempo reale" tramite un mount NFS condiviso all'interno di un ambiente sicuro e containerizzato. Ciò elimina la necessità di installare software localmente e di trasferire dati manualmente, riducendo il tempo di configurazione di 1-2 ore per utente.

4. Applicazioni Educative:
   AiiDAlab funge da piattaforma per l'insegnamento delle scienze computazionali dei materiali. Fornendo ambienti preconfigurati (ad esempio, l'app Quantum ESPRESSO con tutorial integrati), permette agli studenti di eseguire simulazioni dai primi principi senza installare compilatori o gestire connessioni HPC. Questo approccio è stato testato con successo in una scuola ibrida al PSI, dove partecipanti con poca esperienza precedente in DFT sono riusciti ad avviare simulazioni in pochi minuti.

5. Miglioramenti nella Distribuzione e nell'Usabilità:
   Il documento delinea strumenti per ridurre le barriere all'adozione, tra cui aiidalab-launch per la distribuzione locale basata su Docker e grafici Helm Kubernetes standardizzati per configurazioni istituzionali multi-utente. È disponibile un server demo pubblico (demo.aiidalab.io) per un'esplorazione immediata. I miglioramenti "sotto il cofano" includono test automatizzati, supporto per l'autenticazione a più fattori (MFA) sulle risorse HPC tramite l'app aiidalab-mfa-cscs e tecniche frontend moderne (caricamento differito) per migliorare la reattività.

Risultati
L'implementazione di AiiDAlab ha portato a:

• Riduzione delle Barriere Tecniche: Sperimentatori e studenti possono ora eseguire flussi di lavoro complessi (ad esempio, DFT, modellazione inversa, cicli di batterie) tramite GUI intuitive senza una profonda conoscenza di dominio dei codici sottostanti.
• Efficienza Operativa: Al PSI, la distribuzione ha ridotto significativamente i tempi di configurazione del software e di trasferimento dei dati, consentendo un'analisi immediata dei dati durante il tempo di fascio.
• Riproducibilità: La piattaforma garantisce che tutti gli input, i processi e gli output siano tracciati, consentendo la condivisione degli stati di simulazione e degli strumenti di analisi.
• Adozione Interdisciplinare: La piattaforma è stata adattata con successo per le scienze atmosferiche, la ricerca sulle batterie e la diffusione di neutroni, dimostrando la sua natura agnostica rispetto al dominio.
• Impatto Educativo: In una recente scuola, oltre il 60% dei partecipanti senza esperienza pregressa in DFT ha eseguito con successo simulazioni, con alti punteggi di soddisfazione (8,5/10).

Significato
Il documento posiziona AiiDAlab non semplicemente come un'interfaccia grafica per AiiDA, ma come una piattaforma completa per accelerare la scoperta scientifica tra le discipline. Il suo significato risiede nella capacità di democratizzare l'accesso alle risorse computazionali ad alte prestazioni e ai flussi di lavoro complessi, spostando i compiti routinari dai team computazionali specializzati verso comunità più ampie di ricercatori sperimentali. Integrandosi con gli ELN e le strutture su larga scala, AiiDAlab colma il divario tra scienza sperimentale e computazionale, promuovendo un ambiente di ricerca FAIR (Trovaibile, Accessibile, Interoperabile, Riutilizzabile). Gli autori sottolineano che, sebbene la piattaforma abbia avuto origine nelle scienze dei materiali, la sua architettura modulare e l'attenzione all'esperienza utente ne fanno una soluzione scalabile per diversi domini scientifici, con l'obiettivo finale di promuovere una ricerca aperta, riproducibile e collaborativa a livello globale.