Accelerating discovery across scientific disciplines through reproducible workflows with AiiDAlab

Dit artikel presenteert AiiDAlab, een op Jupyter gebaseerd webplatform dat is gebouwd op de AiiDA-infrastructuur en wetenschappers uit diverse disciplines in staat stelt complexe computationele workflows te automatiseren, beheren en analyseren met volledige reproduceerbaarheid, terwijl het de recente uitbreiding naar elektronische laboratoriumboeken, grote faciliteiten en educatieve omgevingen belicht.

De kern

Stel je voor dat je een wetenschapper bent die probeert een complex raadsel op te lossen. In het verleden vereiste dit dat je tegelijkertijd een meester-mechanicus, een data-bibliothecaris en een computerprogrammeur was. Je moest je eigen tools bouwen, je eigen archiefkasten organiseren en je eigen instructies schrijven, alleen maar om één experiment uit te voeren. Als je een klein foutje maakte in de opstelling, crashte het hele systeem en ging je voortgang verloren.

AiiDAlab is als een "slimme, alles-in-één werkplaats" die deze ervaring verandert. In plaats van wetenschappers te dwingen hun eigen tools te bouwen, biedt het een vooraf ingerichte, gebruiksvriendelijke interface waar ze gewoon op knoppen kunnen klikken om complexe simulaties uit te voeren.

Hier is een opsplitsing van wat het artikel zegt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Zelfdoen"-Nachtmerrie

Jarenlang vereiste het uitvoeren van computersimulaties (zoals het modelleren van hoe een nieuwe batterij werkt of hoe vervuiling zich door de lucht verplaatst) diepgaande technische expertise. Wetenschappers moesten:

• Complexe code schrijven om de computer te vertellen wat hij moest doen.
• Duizenden bestanden handmatig beheren.
• Presies bijhouden welke instellingen voor elke enkele test werden gebruikt (zodat ze hun resultaten later konden bewijzen).

Het was alsof je een taart probeerde te bakken, maar eerst de oven zelf moest uitvinden, je eigen meel moest malen en het recept elke keer opnieuw van nul moest schrijven.

2. De Oplossing: AiiDAlab (De "Slimme Werkplaats")

De auteurs bouwden AiiDAlab, dat bovenop een krachtige motor genaamd AiiDA draait.

• De Motor (AiiDA): Denk hierbij aan de onzichtbare, super-georganiseerde robot-butler op de achtergrond. Hij onthoudt automatisch elk ingrediënt dat je hebt gebruikt, elke stap die je hebt gezet en elk resultaat dat je hebt behaald. Hij zorgt ervoor dat als je het experiment opnieuw uitvoert, je exact hetzelfde resultaat krijgt (reproduceerbaarheid).
• De Werkplaats (AiiDAlab): Dit is het vriendelijke gezicht van de robot-butler. Het is een website die je in je browser opent. In plaats van code te schrijven, gebruik je eenvoudige menu's, schuifbalken en afbeeldingen om je experiment op te zetten. Het verbergt de engere technische details zodat wetenschappers zich kunnen focussen op de wetenschap, niet op de software.

3. Hoe Het Werkt in Verschillende Velden

Het artikel laat zien dat deze "werkplaats" niet alleen voor één type wetenschap is; het is als een universele adapter die in verschillende velden kan worden gestoken:

• Atmosferische Wetenschap (Het Volgen van Vervuiling): Stel je voor dat je probeert uit te zoeken waar vervuiling vandaan komt door naar de wind te kijken. Dit vereist het uitvoeren van miljoenen kleine simulaties. De AiiDAlab-app hiervoor (genaamd FLEXPART) stelt wetenschappers in staat om op een kaart te klikken om een locatie te selecteren, waarna het systeem automatisch de duizenden berekeningen uitvoert die nodig zijn om de vervuiling terug te traceren naar de bron.
• Chemie (Het Voorspellen van Kleuren): Wetenschappers willen weten hoe nieuwe moleculen licht absorberen (wat hun kleur bepaalt). Dit vereist meestal een PhD in kwantumfysica. De AtmoSpec-app laat een gebruiker een chemische naam invoeren, waarna het systeem automatisch de complexe wiskunde uitvoert om het kleurenspectrum te voorspellen en de resultaten in een eenvoudige grafiek toont.
• Batterijonderzoek (Het Testen van Nieuwe Batterijen): Het bouwen en testen van batterijen is traag en repetitief. De Aurora-app verbindt met een robot die batterijen bouwt en test. Wetenschappers kunnen een testplan op het scherm ontwerpen, waarna de robot het uitvoert, terwijl AiiDAlab automatisch elke spanning- en temperatuurmeting registreert, waardoor een perfect digitaal logboek van het experiment ontstaat.

4. Het Verbinden van het Lab en de Computer

Historisch gezien hielden wetenschappers hun "labnotitieboeken" (papieren of digitaal) gescheiden van hun computersimulaties.

• De Integratie: Het artikel beschrijft een manier om AiiDAlab te koppelen aan Elektronische Labnotitieboeken (ELN's). Het is alsof je een magische deur hebt tussen je fysieke lab en je computer. Je kunt een molecuul vanuit je labnotitieboek naar de computer sturen, een simulatie uitvoeren en de resultaten laten terugkeren naar je notitieboek, compleet met het bewijs van hoe ze werden berekend.

5. Het Helpen van Grote Faciliteiten en Studenten

• Voor Grote Wetenschapscentra: Op plaatsen zoals het Paul Scherrer Instituut (waar reuzen neutronenmachines worden gebruikt), worstelen onderzoekers vaak met het installeren van de juiste software op hun laptops voor een kort experiment. AiiDAlab fungeert als een "vooraf geladen USB-stick" die direct werkt. Onderzoekers loggen in en hebben direct toegang tot de tools en data die ze nodig hebben, zonder iets te hoeven installeren.
• Voor Studenten: In klaslokalen kunnen docenten studenten een link naar AiiDAlab geven. Studenten kunnen binnen enkele minuten geavanceerde simulaties uitvoeren zonder complexe software op hun eigen computers te hoeven installeren. Het leert hen vanaf dag één hoe ze wetenschap op de "goede manier" moeten doen (data bijhouden).

6. Het Maken van een Eenvoudige Start

De auteurs erkennen dat het opzetten van dit systeem vroeger moeilijk was. Om dit op te lossen, creëerden ze tools die fungeren als een "één-klik-installatie".

• De Demo-server: Ze bouwden een publieke versie van de werkplaats die iedereen gratis kan proberen. Het is als een "testrit" waarbij je binnen een minuut een kleine simulatie kunt uitvoeren om te zien hoe het werkt.
• Lokale Installatie: Voor degenen die het op hun eigen computer willen draaien, creëerden ze een tool die alles automatisch opzet, zodat je geen computerexpert hoeft te zijn om te beginnen.

Samenvatting

Kortom, AiiDAlab neemt het zware werk van het beheren van complexe computersimulaties uit handen van wetenschappers. Het verandert een chaotisch, code-zwaar proces in een schone, georganiseerde en visuele ervaring. Het zorgt ervoor dat elke stap automatisch wordt vastgelegd, waardoor wetenschap betrouwbaarder wordt, makkelijker te herhalen is en toegankelijker voor meer mensen, of ze nu in een universiteitsklaslokaal zitten of in een high-tech onderzoekscentrum.

Technische samenvatting

Technische Samenvatting: Versnelling van Ontdekking over Wetenschappelijke Disciplines heen via Reproduceerbare Werkstromen met AiiDAlab

Probleemstelling
Ondanks de toenemende rekenkracht die beschikbaar is voor wetenschappelijk onderzoek, blijven robuuste en geautomatiseerde werkstromen moeilijk te coördineren. Hoewel Workflow Management Systemen (WFMS) zoals AiiDA fundamentele principes hebben vastgesteld voor reproduceerbaarheid, herleidbaarheid en uitvoering met hoge doorvoer, vereist de praktische uitvoering van deze werkstromen vaak aanzienlijke technische expertise. Onderzoekers moeten nog steeds uitvoeringsomgevingen configureren, invoer voor berekeningen definiëren, complexe uitvoer interpreteren en de ingewikkeldheid van parallelle code-uitvoering op externe High-Performance Computing (HPC) resources beheren. Deze technische drempel beperkt de adoptie van geavanceerde rekenhulpmiddelen, vooral onder experimentele wetenschappers die zich willen richten op onderzoeksvragen in plaats van infrastructuurbeheer. Bovendien blijft de integratie van computationele werkstromen met Elektronische Laboratoriumboeken (ELN's) en het verwerken van grootschalige experimentele data op faciliteiten uitdagend, wat vaak handmatige datatransfer en uiteenlopende softwarestapels vereist.

Methodologie
Om deze uitdagingen aan te pakken, hebben de auteurs AiiDAlab ontwikkeld, een webplatform op basis van Jupyter dat wordt aangedreven door de computationele infrastructuur van AiiDA. Het platform is ontworpen om de onderliggende systeemcomplexiteit te abstraheren via Grafische Gebruikersinterfaces (GUI's) die in de webbrowser van de gebruiker draaien, waardoor de cognitieve last die nodig is voor het bedienen van geavanceerde softwaresystemen wordt verlaagd.

De technische architectuur rust op verschillende sleutelcomponenten:

• Containerisatie en Implementatie: AiiDAlab wordt geïmplementeerd als een gecontaineriseerde applicatie, doorgaans met behulp van JupyterHub en Kubernetes (of MicroK8s voor single-node configuraties). Dit maakt zowel cloud-gebaseerde als lokale implementaties mogelijk, waarmee een consistente, reproduceerbare omgeving wordt gewaarborgd.
• Modulair App-ecosysteem: Het platform maakt gebruik van een plugin-gebaseerde architectuur waarbij specifieke wetenschappelijke applicaties (apps) worden gebouwd als modulaire extensies. Deze apps maken gebruik van de bibliotheek aiidalab-widget-base, die herbruikbare UI-componenten biedt voor werkstroomconfiguratie, taakindiening, monitoring en datavisualisatie.
• Herleidbaarheid en Automatisering: Onder de motorkap beheert AiiDA de uitvoering van werkstromen, waarbij invoer, uitvoer en metadata automatisch worden vastgelegd om volledige herleidbaarheid te garanderen zonder handmatige tussenkomst.
• Integratiestrategieën: Het platform integreert met externe systemen via specifieke connectoren. Dit omvat het pakket aiidalab-eln voor koppeling met ELN's (gedemonstreerd met openBIS) en aangepaste plugins voor hardwarebesturing (bijvoorbeeld het pakket tomato voor batterijcyclers) en data-parsing (bijvoorbeeld yadg voor experimentele data).
• Data-handling: Om grote datasets te beheren (bijvoorbeeld terabytes in klimaatmodellering of gigabytes in neutronenverstrooiing), maakt het systeem gebruik van de "stashing"-mechanismen van AiiDA om data over te dragen tussen tijdelijke scratch-ruimtes en langetermijnopslag, en tools zoals cubehandler voor efficiënte visualisatie van volumetrische data.

Belangrijkste Bijdragen en Toepassingen
Het artikel beschrijft de rijping van AiiDAlab van een tool voor materiaalkunde tot een platform voor disciplinesoverschrijdend gebruik via verschillende specifieke implementaties:

1. Uitbreiding Buiten Materiaalkunde:

   • Atmosferische Wetenschap (FLEXPART App): Ontwikkeld voor het ExAiRIM-project, automatiseert deze app de inverse modellering van broeikasgasemissies. Het beheert de generatie van concentratievoetafdrukken met de FLEXPART-code en communiceert met het Empa Lagrangian Regional Inversion System (ELRIS) om nationale emissies te kwantificeren. Het verwerkt grote meteorologische datasets door middel van specifieke datatransfer-werkstromen.
   • Atmosferische Chemie (AtmoSpec App): Deze applicatie maakt de ab-initio voorspelling van UV/Vis-spectra voor vluchtige organische verbindingen mogelijk met behulp van de Nuclear Ensemble Approach (NEA) en de ORCA-code. Het leidt gebruikers van invoer in SMILES-strings naar de generatie van Boltzmann-gewogen spectra, een taak die voorheen beperkt was tot theoretische experts.
   • Batterijonderzoek (Aurora App): Geïntegreerd met het Aurora-robotplatform voor assemblage van batterijcellen, coördineert deze app experimenten met laad-ontlaadcycli. Het stelt gebruikers in staat protocollen te ontwerpen, batch-indieningen voor maximaal 36 cellen te beheren en experimentele data automatisch te parseren naar FAIR-conforme formaten met de yadg-parser.

2. Integratie met ELN's en LIMS:
   De auteurs demonstreren een "round-trip" integratie tussen AiiDAlab en de openBIS ELN/LIMS. Gebruikers kunnen moleculaire inventarisdata uit een ELN halen, simulaties indienen via AiiDAlab en resultaten (afbeeldingen en herleidbaarheidsarchieven) terugsturen naar de ELN. Het artikel stelt het gebruik voor van semantische annotaties (RDF/JSON-LD) om deze interoperabiliteit te generaliseren over verschillende ELN's en WFMS's, een concept dat wordt verkend in de projecten PREMISE en MADICES.

3. Experimentele Data-analyse op Grote Faciliteiten:
   Bij het Paul Scherrer Instituut (PSI) werd AiiDAlab ingezet ter ondersteuning van het CAMEA-neutronenspectrometer en de ICON-beamline. De LNS-app kapselt de MJOLNIR-analysecode in, waardoor gebruikers experimentele data "live" kunnen benaderen via een gedeelde NFS-mount binnen een beveiligde, gecontaineriseerde omgeving. Dit elimineert de noodzaak voor lokale software-installatie en handmatige datatransfer, waardoor de opzetijd met 1–2 uur per gebruiker wordt verkort.

4. Onderwijsapplicaties:
   AiiDAlab dient als platform voor het onderwijzen van computationele materiaalkunde. Door vooraf geconfigureerde omgevingen te bieden (bijvoorbeeld de Quantum ESPRESSO-app met ingebouwde tutorials), stelt het studenten in staat eerste-principe-simulaties uit te voeren zonder compilers te installeren of HPC-verbindingen te beheren. Deze aanpak werd succesvol getest in een hybride school bij PSI, waarbij deelnemers met weinig eerdere DFT-ervaring binnen enkele minuten simulaties konden starten.

5. Implementatie en Gebruikservaring Verbeteringen:
   Het artikel schetst hulpmiddelen om adoptiedrempels te verlagen, waaronder aiidalab-launch voor lokale Docker-gebaseerde implementatie en gestandaardiseerde Kubernetes Helm-charts voor institutionele multi-gebruikersopstellingen. Een publieke demo-server (demo.aiidalab.io) wordt aangeboden voor directe verkenning. "Onder de motorkap"-verbeteringen omvatten geautomatiseerd testen, ondersteuning voor Multi-Factor Authenticatie (MFA) op HPC-resources via de aiidalab-mfa-cscs-app, en moderne frontend-technieken (lazy-loading) om de responsiviteit te verbeteren.

Resultaten
De implementatie van AiiDAlab heeft geleid tot:

• Verminderde Technische Drempels: Experimentatoren en studenten kunnen nu complexe werkstromen (bijvoorbeeld DFT, inverse modellering, batterijcycli) uitvoeren via intuïtieve GUI's zonder diepgaande domeinkennis van de onderliggende codes.
• Operationele Efficiëntie: Bij PSI heeft de implementatie de tijd voor software-opzet en datatransfer aanzienlijk verkort, waardoor directe data-analyse tijdens beamtime mogelijk werd.
• Reproduceerbaarheid: Het platform zorgt ervoor dat alle invoer, processen en uitvoer worden bijgehouden, waardoor het delen van simulatiestaten en analysetools mogelijk wordt.
• Disciplinesoverschrijdende Adoptie: Het platform is succesvol aangepast voor atmosferische wetenschap, batterijonderzoek en neutronenverstrooiing, wat de domein-agnostische aard ervan aantoont.
• Onderwijsimpact: Tijdens een recente school hebben meer dan 60% van de aanwezigen zonder eerdere DFT-ervaring succesvol simulaties uitgevoerd, met hoge tevredenheidsscores (8,5/10).

Betekenis
Het artikel positioneert AiiDAlab niet louter als een grafische interface voor AiiDA, maar als een uitgebreid platform voor het versnellen van wetenschappelijke ontdekkingen over disciplines heen. De betekenis ervan ligt in het vermogen om de toegang tot high-performance rekenresources en complexe werkstromen te democratiseren, waarbij routinematige taken worden verschoven van gespecialiseerde computationele teams naar bredere gemeenschappen van experimentele onderzoekers. Door te integreren met ELN's en grootschalige faciliteiten, overbrugt AiiDAlab de kloof tussen experimentele en computationele wetenschap, en stimuleert het een FAIR (Findable, Accessible, Interoperable, Reusable) onderzoeksomgeving. De auteurs benadrukken dat hoewel het platform zijn oorsprong vindt in de materiaalkunde, de modulaire architectuur en de focus op gebruikerservaring het een schaalbare oplossing maken voor diverse wetenschappelijke domeinen, met als uiteindelijke doel het wereldwijd stimuleren van open, reproduceerbaar en collaboratief onderzoek.