TokaMark: A Comprehensive Benchmark for MAST Tokamak Plasma Models

Dit paper introduceert TokaMark, een gestructureerde en open-source benchmark die een gestandaardiseerd kader biedt voor het evalueren van AI-modellen op heterogene experimentele data van de MAST-tokamak, met als doel de ontwikkeling van datagedreven plasma-modellering voor fusie-energie te versnellen.

De kern

Samenvatting van "TokaMark": Een nieuwe meetlat voor de toekomst van schone energie

Stel je voor dat je probeert een heel complex, razendsnel dansend vuurwerk te bestuderen, maar je mag er niet bij in de buurt komen en je hebt maar een paar gebroken brillen om naar te kijken. Dat is ongeveer wat wetenschappers doen met fusie-energie. Ze proberen de kracht van de zon na te bootsen in een reactor (een zogenaamde tokamak), maar de hitte is zo extreem dat geen enkel materiaal het kan aanraken. Ze moeten de plasma (het gloeiende gas) dus "van buitenaf" gissen met sensoren.

Het probleem? De data die deze sensoren leveren is een rommelig mengelmoes: sommige meten heel snel, andere langzaam, sommige zijn onvolledig, en het is allemaal erg ruisig.

Hier komt TokaMark om de hoek kijken. Dit is een nieuw, openbaar "speelveld" (een benchmark) dat door IBM en het Britse kernenergie-agentschap (UKAEA) is gemaakt. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Verdwaalde Puzzel"

Vroeger probeerden wetenschappers de plasma-bewegingen te voorspellen met zware wiskundige formules. Dat is als proberen een auto te besturen door elke beweging van de wielen en de motor te berekenen met een pen en papier. Het werkt, maar het is te traag voor echte controle.

Nu willen ze Kunstmatige Intelligentie (AI) gebruiken. AI is slim in het vinden van patronen in grote hoeveelheden data. Maar er was een groot probleem: elke onderzoeksgroep had zijn eigen versie van de data, in zijn eigen formaat, met zijn eigen regels. Het was alsof elke groep een andere taal sprak en een andere puzzel probeerde op te lossen. Je kon niet eerlijk zeggen wie de beste AI had, omdat ze op verschillende puzzels speelden.

2. De Oplossing: TokaMark (De "Gouden Meetlat")

TokaMark is de oplossing. Het is een gestandaardiseerde testomgeving voor AI-modellen, gebaseerd op echte data van de MAST-reactor in Engeland.

Je kunt TokaMark vergelijken met een groot, openbaar examen voor AI-studenten:

• De Examenvragen: Er zijn 14 verschillende taken (vragen) opgesteld.
• De Data: Alle studenten krijgen exact dezelfde "examenvragen" (de data), zodat iedereen eerlijk wordt beoordeeld.
• De Doelen: De taken variëren van makkelijk tot extreem moeilijk.

3. De 4 Soorten "Examenvragen" (De Taken)

De auteurs hebben de taken ingedeeld in vier groepen, die je kunt zien als verschillende niveaus in een videospel:

• Niveau 1: De Momentopname (Evenwicht)
  • Analogie: Je kijkt naar een foto van een dansende vlam en moet op basis daarvan de vorm van de vlam tekenen.
  • Wat doet de AI? Het moet direct uit de sensoren zien hoe de vorm van het plasma eruitziet. Dit is de basis van alles.
• Niveau 2: De Snelle Reactie (Magnetische Dynamica)
  • Analogie: Je ziet iemand die een knop indrukt en moet voorspellen hoe de vlam daarop reageert in de volgende seconde.
  • Wat doet de AI? Het moet voorspellen hoe het plasma beweegt als je de stroom of het magnetisch veld verandert. Dit gaat heel snel.
• Niveau 3: De Langzame Verandering (Profiel Evolutie)
  • Analogie: Je moet voorspellen hoe een plant groeit over een uur, maar je krijgt maar af en toe een foto van de plant.
  • Wat doet de AI? Het moet de temperatuur en dichtheid van het plasma voorspellen. Dit gaat langzamer, maar de data is vaak onvolledig (gaten in de foto's).
• Niveau 4: Het Voorspellen van Rampen (MHD Activiteit)
  • Analogie: Je moet een storm voorspellen voordat hij losbreekt, door naar heel subtiele tekeningen in de lucht te kijken.
  • Wat doet de AI? Dit is het allerzwaarste niveau. De AI moet signalen zien die aangeven dat het plasma instabiel wordt en misschien "uitbrandt" (een disruptie). Als dit gebeurt, is de reactor beschadigd.

4. De "Basisstudent" (Het Basismodel)

Om te laten zien hoe moeilijk het is, hebben de auteurs een "standaard AI" (een basismodel) laten meedoen aan dit examen.

• Dit model is als een gemiddelde student die geen speciale trucs heeft geleerd.
• Het deed het goed op de makkelijke vragen (Niveau 1 en 2), maar kreeg het zwaar te verduren bij de moeilijke vragen (Niveau 3 en 4).
• Dit is heel nuttig! Het geeft een ondergrens. Als een nieuwe, slimme AI dit examen beter doet dan de "standaardstudent", dan weten we dat die AI echt iets nieuws heeft geleerd.

Waarom is dit belangrijk?

Tot nu toe was het voor AI-onderzoekers in de fusiewereld als "in het donker schieten". Iedereen deed zijn eigen ding. Met TokaMark hebben ze nu:

1. Een gemeenschappelijke taal: Iedereen gebruikt dezelfde data en regels.
2. Eerlijke vergelijking: Je kunt nu precies zien welke AI het beste is.
3. Snelheid: Omdat de tests gestandaardiseerd zijn, kunnen onderzoekers sneller nieuwe, betere modellen bouwen.

Conclusie:
TokaMark is de eerste grote stap om AI echt bruikbaar te maken voor het oplossen van de grootste energievraag van onze tijd. Het is de "olympiade" waar de slimste computers van de wereld strijden om de toekomst van schone, oneindige energie dichterbij te brengen. En het beste deel? De regels en de data zijn voor iedereen gratis beschikbaar, zodat iedereen kan meedoen en meehelpen.

Technische samenvatting

Probleemstelling

De ontwikkeling en exploitatie van commercieel haalbare fusiereactoren (zoals tokamaks) vereisen nauwkeurige voorspellingen van plasma-dynamica op basis van data van sensoren die vaak schaars, ruisend en incompleet zijn. De complexiteit van de onderliggende fysica en de heterogeniteit van experimentele data vormen enorme uitdagingingen voor traditionele numerieke methoden.

• Beperkingen van bestaande methoden: Fysica-gebaseerde modellen (op basis van partiële differentiaalvergelijkingen) zijn nauwkeurig maar computationally zeer duur, waardoor ze ongeschikt zijn voor real-time toepassing of het analyseren van grote datasets.
• Data-uitdagingen: AI-modellen worden gehinderd door het gebrek aan gestructureerde, open datasets. Bestaande fusiedata is versnipperd over instituten, zit achter gesloten interfaces, is facility-specifiek en inconsistent geannoteerd. Dit maakt reproduceerbaarheid en eerlijke vergelijking van AI-methoden onmogelijk.
• Data-karakteristieken: Tokamak-data is inherent multi-modaal (verschillende sensortypes), multi-rate (verschillende sample-frequenties tot 500 kHz), en bevat vaak ontbrekende waarden of asynchrone metingen.

Methodologie

Het paper introduceert TokaMark, het eerste grote, open benchmark voor het evalueren van AI-modellen getraind op echte fusiedata van de MAST (Mega Ampere Spherical Tokamak).

1. Data: FAIR-MAST

• De benchmark gebruikt een gecureerde subset van de FAIR-MAST dataset, die 11.573 experimentele schoten (shots) bevat van de MAST-tokamak.
• Er zijn 39 signalen geselecteerd uit verschillende modaliteiten: magnetisch, kinetisch (Thomson scattering), straling (Dalpha, zachte röntgenstraling), stromen, spanningen en afgeleide grootheden (zoals evenwichtsreconstructies).
• De data is gestandaardiseerd qua metadata, eenheden en tijdsalignement.

2. Taakdefinitie (14 Taken in 4 Groepen)
De taken zijn ontworpen om verschillende fysieke processen en tijdschalen te testen:

• Groep 1: Evenwichtsreconstructie: Directe reconstructie van plasma-vorm, grenzen en magnetische flux uit instantane magnetische metingen (5 ms venster).
• Groep 2: Magnetische Dynamica: Voorspelling van magnetische signalen en coil-stromen op korte termijn (25 ms) als reactie op actuatorcommando's.
• Groep 3: Profiel-dynamica: Modellering van de tijdsontwikkeling van kinetische profielen (elektronendichtheid en -temperatuur) en voorspelling van overgangen in confinement-modi. Dit vereist integratie van onvolledige informatie over langere tijd.
• Groep 4: MHD-activiteit: Voorspelling van zeldzame maar kritieke gebeurtenissen zoals thermische quenches, verticale verplaatsingsgebeurtenissen en "Locked Modes". Dit vereist het verwerken van lange tijdsvensters (100 ms) en complexe, niet-Markoviaanse afhankelijkheden.

3. Evaluatieprotocol
Een hiërarchisch evaluatiekader wordt voorgesteld om prestaties op drie niveaus te meten:

• Signalen: Individuele fysische grootheden.
• Taken: Wetenschappelijke doelen.
• Groepen: Brede fysieke objectives.
  De metric is de NRMSE (Normalized Root-Mean-Square Error), genormaliseerd met de empirische standaardafwijking van het signaal, wat vergelijking tussen verschillende signalen mogelijk maakt.

4. Baseline Model
Als referentie wordt een multi-branch convolutional encoder-decoder architectuur gepresenteerd:

• Encoders: Specifieke convolutielagen voor elke input-modaliteit (1D voor tijdreeksen, 2D voor profielen, 3D voor video/kaarten).
• Latent Fusion: Alle encoder-embeddings worden samengevoegd in een gedeelde latent space.
• Decoders: Specifieke decoders voor elke output-taak die de latent vector terugtransformeren naar de gewenste output-dimensies.
• Het model is fysica-onafhankelijk (geen handmatige feature engineering) en traint op ruwe metingen.

Belangrijkste Bijdragen

1. Eerste Open Benchmark: TokaMark is de eerste gestructureerde benchmark voor AI in fusieplasma-modellering met open data en tools.
2. Gestandaardiseerde Data: Een stabiele subset van FAIR-MAST data is vrijgegeven met opgeloste schema-inconsistenties en uniforme metadata.
3. Uitgebreide Tooling: Een Python-pakket (geïntegreerd met PyTorch) voor data-loading, masking, alignment en evaluatie.
4. 14 Diverse Taken: Een reeks taken die variëren van snelle magnetische reconstructie tot langdurige voorspelling van instabiliteiten, wat de breedte van AI-toepassingen in fusie dekt.
5. Reproduceerbare Baselines: Referentie-implementaties en trainingsscripts voor alle taken om verdere onderzoek te faciliteren.

Resultaten

De baseline resultaten (weergegeven in Tabel 3 van het paper) tonen een duidelijk onderscheid in complexiteit:

• Groep 1 & 2 (Reconstructie & Magnetische Dynamica): De prestaties zijn goed, met groeps-NRMSE scores onder de 0,17. Dit suggereert dat AI-modellen effectief kunnen leren uit magnetische data voor snelle dynamica.
• Groep 3 (Profiel-dynamica): De scores dalen (NRMSE ~0,34), wat aangeeft dat het modelleren van transport en kinetische profielen moeilijker is, waarschijnlijk door de trage tijdschalen en onvolledige data.
• Groep 4 (MHD-activiteit): Dit zijn de moeilijkste taken. De scores variëren sterk, waarbij Taak 4-5 (Locked Modes) een NRMSE van >1,0 heeft. Een score >1 betekent dat het model slechter presteert dan het simpelweg voorspellen van het gemiddelde van het signaal. Dit wijst op de extreme moeilijkheid om deze zeldzame, niet-lineaire instabiliteiten te voorspellen zonder specifieke fysica-informatie.

Betekenis en Impact

TokaMark vormt een cruciale stap in de richting van AI voor wetenschap (AI for Science) in de fusie-industrie:

• Versnelling van Onderzoek: Het biedt een gemeenschappelijk platform voor de fusie- en AI-gemeenschap om modellen objectief te vergelijken, wat de ontwikkeling van "Foundation Models" voor plasma mogelijk maakt.
• Real-time Toepassingen: Succesvolle AI-modellen kunnen fungeren als snelle surrogaten voor trage fysica-simulaties, essentieel voor real-time controle van toekomstige reactoren (zoals ITER of DEMO).
• Veiligheid: Het verbeteren van de voorspelling van MHD-instabiliteiten en disrupties is direct relevant voor de veiligheid en levensduur van fusiemachines.
• Open Science: Door de volledige open-source release van data, tools en baselines, wordt de drempel voor onderzoekers verlaagd en wordt reproduceerbaarheid gegarandeerd.

Samenvattend stelt TokaMark de standaard voor data-gedreven plasma-modellering en markeert het de overgang van geïsoleerde, taak-specifieke oplossingen naar robuuste, generaliseerbare AI-systemen voor fusie-energie.