The IAEA Fusion Data Lake Project -- Accelerating AI and Big Data Applications through Open Science and FAIR Data

Dit rapport schetst het IAEA Fusion Data Lake-project, dat via een internationaal dataknooppunt en FAIR-principes de ontwikkeling van AI-toepassingen voor kernfusie versnelt door de zichtbaarheid en toegankelijkheid van wereldwijde experimentele datasets te vergroten.

De kern

🌊 Het Grote "Fusie-Oceaan"-Project: Hoe AI de Sterrenkracht helpt vinden

Stel je voor dat de wereld van kernfusie (de technologie die probeert de energie van de zon te nabootsen op aarde) een enorme bibliotheek is. Maar in plaats van boeken, zitten hier in duizenden laboratoria over de hele wereld data opgeslagen: meetresultaten, experimenten en berekeningen.

Het probleem? Deze data zit opgeslagen in duizenden verschillende kasten, in verschillende talen, en niemand weet precies waar iets staat. Het is alsof je een recept zoekt voor een taart, maar de ingrediëntenlijst staat verspreid over 20 verschillende supermarkten in verschillende landen, en niemand heeft een lijstje met wat er precies in zit.

De IAEA (het Internationale Atoomenergie Agentschap) heeft besloten: "Dit moet anders." Ze starten een project genaamd het Fusion Data Lake (een "Fusie-Watervalle").

1. Waarom hebben we dit nodig? (De AI-Boodschapper)

Vandaag de dag gebruiken wetenschappers kunstmatige intelligentie (AI) om sneller nieuwe ontdekkingen te doen. AI is als een super-snelle boodschapper die patronen herkent die mensen missen. Maar een AI heeft voedsel nodig om te leren: veel data.

Helaas is er nu te weinig voedsel beschikbaar. Veel data is versnipperd. Het IAEA-project wil een centrale plek creëren waar deze data makkelijk te vinden, te begrijpen en te gebruiken is. Ze noemen dit FAIR-data:

• Findable (Vindbaar)
• Accessible (Toegankelijk)
• Interoperable (Uitwisselbaar)
• Reusable (Opnieuw te gebruiken)

2. Hoe werkt het? (De Bouwplannen)

Het project bouwt een digitaal platform met drie hoofddoelen, die we kunnen vergelijken met een supermarkt:

1. De Catalogus (Het Schuifdeur-systeem): Een centrale lijst waar je kunt zoeken: "Waar heb ik experimenten gedaan met een magnetisch veld?" Het is alsof je in een app typt wat je zoekt en je ziet direct waar het ligt.
2. De Federatie (De Telefooncel): Je wilt niet alles in één groot magazijn gooien. Soms willen landen hun data bij zichzelf houden. Dit systeem werkt als een telefooncel: je belt de data op de locatie waar hij staat, maar je krijgt het antwoord direct op je scherm. Je hoeft niet te verhuizen.
3. De Opslag (De Koelkast): Voor data die nog niet klaar is om verspreid te worden, is er een tijdelijke, veilige opslagplek.

De techniek: Ze gebruiken moderne "cloud"-technologie (zoals Microsoft Azure en Snowflake) als het fundament. Het proces lijkt op het maken van een gerecht:

• ETL (Haal, Verwerk, Serveer): Data wordt opgehaald, schoongemaakt (zoals groenten wassen en snijden) en in een standaard formaat gezet, zodat elke AI het kan "eten".

3. De Proefperiodes (Het Koken in Drie Stappen)

Het project is niet in één keer klaar. Het groeit in drie fases, net als het opbouwen van een restaurant:

• Fase 1 (De Proefmaaltijd): Ze hebben getest of het systeem werkt door data van het Britse MAST-laboratorium te koppelen. Het systeem kon de data vinden en downloaden zonder dat het fysiek verplaatst hoefde te worden. Succes!
• Fase 2 (Het Menu uitbreiden): Nu voegen ze data toe van Japan (LHD) en de VS (Alcator C-Mod). Het bewijs: het systeem kan data van drie heel verschillende landen en formaten verwerken alsof het allemaal uit één pot komt.
• Fase 3 (Het Restaurant openen): Ze voegen nog meer landen toe (zoals China) en maken de website en apps zo gebruiksvriendelijk dat iedereen het kan gaan testen.

4. De Regels (De Huishoudelijke Orde)

Omdat dit een internationaal project is, zijn er strikte regels nodig, net als bij een clubhuis:

• Wie mag wat?
  • Publiek: Iedereen mag kijken (zoals een open park).
  • Intern: Alleen leden van de IAEA-gemeenschap (zoals een leden-only club).
  • Beperkt: Alleen leden van specifieke landen die toestemming hebben (zoals een vergaderzaal met een wachtwoord).
  • Gesloten: Alleen voor heel specifieke mensen met een uitnodiging (zoals een kluis).
• Eerlijkheid: Als je data gebruikt, moet je de bronnen noemen (citeren), net als je een bron vermeldt in een schoolopstel. Je mag geen data stelen of gebruiken waarvoor je geen toestemming hebt.

5. Wat is het einddoel?

Het doel is om een wereldwijde community te creëren waar wetenschappers, bedrijven en studenten samenwerken. Door deze "Fusie-Watervalle" open en toegankelijk te maken, kunnen AI-systemen sneller leren hoe we de energie van de zon veilig en duurzaam op aarde kunnen gebruiken.

Kortom: Het IAEA bouwt de Google Maps voor fusie-energie, zodat niemand meer verdwaalt in de data en we samen sneller naar een schone energietoekomst kunnen reizen.

Technische samenvatting

Probleemstelling

De ontwikkeling van kernfusie-technologie wordt versneld door kunstmatige intelligentie (AI) en big data-toepassingen, zoals neurale netwerken als surrogaatmodellen, digitale tweelingen en Large Language Models (LLM's) voor logboekanalyse. Een fundamenteel obstakel voor de schaalvergroting van deze activiteiten is echter het gebrek aan moderne data-infrastructuur en metadata-rijke datasets. Veel instellingen worstelen met de beschikbaarheid van multimachine-datasets die nodig zijn om machine-agnostische modellen te ontwikkelen die schaalbaar zijn naar toekomstige fusieapparaten. De huidige data-ecosystemen zijn vaak gefragmenteerd, wat samenwerking en geautomatiseerde analyse bemoeilijkt.

Methodologie

Het project, gelanceerd binnen het vijfjarige "AI for Fusion" gecoördineerd onderzoeksproject (CRP) van het Internationaal Atoomenergieagentschap (IAEA), introduceert de Fusion Data Lake (FDL). De aanpak combineert een holistische visie op data-infrastructuur met specifieke technologische keuzes:

1. Architectuur en Technologie Stack:

   • De FDL is gebouwd op de enterprise-technologie-stack van de IAEA.
   • Berekening & Database: Snowflake voor Python-data-pipelines en SQL-databaseservers.
   • Opslag: Microsoft Azure.
   • CI/CD: Azure DevOps.
   • Webapplicatie: Ontwikkeld in C# en .NET.
   • Data Pipeline: Een moderne "medallion"-structuur (Bron -> Zilver -> Goud) met een ETL-benadering (Extract, Transform, Load). Er is een metadata-gedreven ingestie-pipeline ontwikkeld die configuratiebestanden gebruikt voor transformatie en mapping naar het data-model, waardoor nieuwe bronnen met minimale onderhoudsinspanning kunnen worden toegevoegd.

2. Data Governance & Modellen:

   • Er is een Minimal Metadata Model ontwikkeld voor de hoogste catalogusniveaus, onderverdeeld in drie tabellen: "core", "icf" (inertial confinement fusion) en "mcf" (magnetic confinement fusion).
   • De ontologie wordt ontwikkeld in lijn met het ITER IMAS Data Dictionary om adoptie te vergemakkelijken.
   • Een voorlopige governance-strategie omvat Terms of Service (ToS) (uploaden, downloaden, attributie) en een viertraps privacymodel:
     1. Public: Openbaar zonder login.
     2. Internal: Toegang voor IAEA NUCLEUS-gebruikers.
     3. Restricted: Toegang voor vooraf goedgekeurde instellingen (bijv. via OpenAthens).
     4. Closed: Individueel goedgekeurde gebruikers.

3. Proof of Concept (PoC) Fasering:

   • Fase I: Bewezen het federatieconcept door data van de MAST-tokamak (UKAEA) te integreren via een REST API, waarbij data direct vanuit de bron kan worden gedownload zonder via de FDL-infrastructuur te gaan.
   • Fase II: Toont schaalbaarheid door integratie van datasets van LHD (Japan, via Azure Blob Storage) en Alcator C-Mod (MIT, USA, via PSFC-tools en MDS Plus). Alle datasets worden omgezet naar één enkel FDL-data-model.
   • Fase III: Uitbreiding met de HL-2A (China) en ontwikkeling van volwassen API's en webinterfaces voor pre-release testing.

Belangrijkste Bijdragen

• Globale Federatie: De FDL fungeert als een centraal punt voor toegang tot een gedecentraliseerd netwerk van experimentele en simulatie-repositories van verschillende instellingen wereldwijd, zonder dat alle data fysiek naar één locatie hoeft te worden verplaatst.
• Interoperabiliteit: Door het gebruik van een gestandaardiseerd Minimal Metadata Model en de afstemming op ITER IMAS, wordt de barrière verlaagd voor het combineren van data van verschillende fusiemachines (MAST, LHD, Alcator C-Mod, HL-2A).
• Dual Interface: Het platform biedt zowel een mensvriendelijke webinterface als een programmeerbare API, essentieel voor integratie in moderne AI/ML-analysesystemen.
• Governance-raamwerk: Een uitgewerkt model voor data-eigendom, licenties en privacy-niveaus dat internationaal vertrouwen en juridische veiligheid biedt voor data-uitwisseling.

Resultaten

• De Proof of Concept is succesvol doorlopen tot en met Fase II.
• Het platform heeft bewezen dat het schaalbaar is door drie volledig verschillende datasets van internationale partners (VK, Japan, VS) te integreren via unieke ingestiepatronen, terwijl ze toch voldoen aan één centraal data-model.
• De technische infrastructuur (Snowflake, Azure, .NET) functioneert stabiel voor het beheer van metadata en het faciliteren van data-overdracht.
• De governance-richtlijnen zijn gedefinieerd, inclusief een duidelijk model voor toegangsrechten en citatieverplichtingen, wat de basis legt voor een soft launch.

Betekenis en Toekomstperspectief

De Fusion Data Lake-project is van cruciaal belang voor de versnelling van fusie-ontwikkeling. Het vult een kritieke lacune op door een moderne, schaalbare infrastructuur te bieden die de global fusion community, industrie en academische wereld verbindt.

• AI-voorbereiding: Het project levert de metadata-rijke, multimachine-datasets die essentieel zijn voor het trainen van geavanceerde AI-modellen en het ontwikkelen van digitale tweelingen.
• Open Science: Door te werken volgens de FAIR-principes (Findable, Accessible, Interoperable, Reusable), maximaliseert het project de waarde van bestaande experimentele data.
• Toekomst: Het project zal doorgaan met uitbreiding binnen en buiten het AI for Fusion CRP, met als doel de platformcapaciteiten te vergroten en de pre-release voor te bereiden. Het project positioneert de IAEA als een centrale facilitator voor data-integratie in de wereldwijde fusie-inspanning.