Technische Samenvatting: TOKAMARK Benchmark voor MAST Tokamak Plasma Modellen

Probleemstelling

De ontwikkeling van commercieel levensvatbare fusie-energie reactoren, specifiek tokamaks, is afhankelijk van nauwkeurige voorspellingen van de dynamica van plasma. Deze voorspellingen worden echter gehinderd door de extreme fysieke omstandigheden van thermonucleaire opsluiting (hoger dan 100 miljoen graden Celsius), die niet-invasieve metingen vereisen van schaarse, ruisgevoelige en heterogene sensoren. Hoewel traditionele modellen gebaseerd op eerste beginselen (first-principles), gebaseerd op gekoppelde partiële differentiaalvergelijkingen, fysiek rigoureus zijn, beperkt hun hoge computationele kosten hun bruikbaarheid voor real-time controle en systematische interrogatie van grote experimentele datasets. Daartegenover bieden moderne data-gestuurde AI-benaderingen weliswaar efficiëntie en het vermogen om met ruwe, incomplete data om te gaan, maar hun adoptie wordt vertraagd door een gebrek aan gecureerde, openbaar beschikbare datasets en gestandaardiseerde benchmarks. Bestaande fusie-datasets zijn gefragmenteerd over instituten, specifiek voor bepaalde faciliteiten en inconsistent geannoteerd, wat eerlijke vergelijkingen, reproduceerbaarheid en de ontwikkeling van generaliseerbare AI-modellen in de weg staat.

Methodologie

Het artikel introduceert TOKAMARK, een gestructureerde benchmark ontworpen om AI-modellen te evalueren op echte experimentele data van de Mega Ampere Spherical Tokamak (MAST). De methodologie is gebouwd op de FAIR-MAST dataset, die 11.573 experimentele shots (ontladingen) uit de operationele geschiedenis van MAST cureert.

Data Taxonomie en Preparatie

De benchmark maakt gebruik van 39 signalen over heterogene modaliteiten, georganiseerd door:

• Categorie: Magnetica, kinetica, radiatieve processen, snelle magnetica, stromen, voltages, referenties, fueling en evenwicht (equilibrium).
• Oorsprong: Diagnostiek (directe hardwaremetingen), actuatoren (controleerbare parameters) en afgeleide signalen (gereconstrueerde grootheden zoals flux-kaarten).
• Frequentie: Variërend van 0,2 kHz tot 500 kHz.
• Modaliteit: Tijdreeksen (1D), profielen (2D) en video's (3D).

Om dataproblemen zoals multi-fidelity bemonsteringsfrequenties, ontbrekende data en multi-modaliteit aan te pakken, gebruiken de auteurs een gestandaardiseerde preprocessing-pipeline. Dit omvat filtering op fysieke validiteit, het afhandelen van ontbrekende waarden door middel van zero-filling (zonder imputatie), en het segmenteren van shot-niveau data in input- en output-vensters. De dataset wordt opgesplitst in trainings-, validatie- en testsets met behulp van zowel random sampling (80-10-10) als temporele splitsing (waarbij de meest recente campagnes worden uitgesloten) om generalisatie te beoordelen.

Taakdefinitie

TOKAMARK definieert 14 downstream taken georganiseerd in vier groepen, die een hiërarchie van fysieke complexiteit weerspiegelen:

1. Instantane Evenwichtsreconstructie: Het afleiden van de plasmavorm, grenzen en flux-kaarten uit magnetische diagnostiek (Taken 1-1 tot 1-3).
2. Kortetermijn Magnetische Dynamica: Het voorspellen van magnetische signalen en de evolutie van het evenwicht als reactie op actuator-commando's over korte horizonten (25 ms) (Taken 2-1 tot 2-3).
3. Kinetische Profiel Dynamica: Het modelleren van de temporele evolutie van elektronendichtheid en temperatuurprofielen, inclusief voorspelling en reconstructie vanuit partiële inputs (Taken 3-1 tot 3-3).
4. Langetermijn Voorspelling van MHD-activiteit: Het voorspellen van thermische quenches, verticale verplaatsingsgebeurtenissen (VDE's), stroomquenches en MHD-precursors over uitgebreide vensters (100 ms) (Taken 4-1 tot 4-5).

Evaluatieprotocol

De auteurs stellen een hiërarchische evaluatiemetriek voor die fouten aggregeert van het sample-niveau tot aan het groepsniveau:

• Samples: Atomaire datapunten.
• Windows: Geaggregeerde Root-Mean-Square Error (RMSE) per venster.
• Signalen: Genormaliseerde RMSE (NRMSE) relatief aan de globale empirische standaarddeviatie van het doel-signaal.
• Taken: Gemiddelde NRMSE over alle output-signalen voor een specifieke taak.
• Groepen: Gemiddelde NRMSE over taken binnen een groep.

Baseline Modellen

Om reproduceerbare baselines vast te stellen, implementeert het artikel:

• Naive Modellen: Persistentie (het voortzetten van initiële condities) en Mean-modellen.
• Geavanceerde Modellen: Een multi-branch convolutionele encoder-decoder architectuur. Dit model verwerkt verschillende input-modaliteiten via toegewijde encoders, fuseert deze via een gedeelde latente backbone (ofwel MLP-gebaseerd of LSTM-gebaseerd), en genereert outputs via symmetrische decoders.

Belangrijkste Resultaten

De evaluatie van baseline-modellen op TOKAMARK onthult onderscheidende prestatiekenmerken per taakgroep:

• Evenwicht en Magnetica (Groepen 1 & 2): Deep learning-modellen (CNN en CNN+LSTM) presteren aanzienlijk beter dan de naive baselines, waarbij lage NRMSE-waarden worden bereikt (bijv. Groep 1 NRMSE ~0,13–0,14 voor CNN). De CNN+LSTM variant laat over het algemeen consistente verbeteringen zien ten opzichte van de pure CNN.
• Profiel en MHD-dynamica (Groepen 3 & 4): De prestaties verslechteren voor deze complexere taken. Hoewel modellen bij random splits nog steeds beter presteren dan de naive baselines, wordt de kloof kleiner of keert deze zelfs om bij temporele splitsing, wat wijst op uitdagingen bij de generalisatie.
• Generalisatie: Temporele splitsing legt significante distributieverschuivingen bloot tussen de trainings- en testsets (waarschijnlijk door variaties in experimentele campagnes), met name voor soft X-ray voorspelling (Taken 4-1, 4-2), waarbij de fouten de eenheid overschrijden. Dit onderstreept de moeilijkheid van het leren van robuuste representaties over verschillende operationele regimes zonder natuurkundig geïnformeerde restricties.

Betekenis en Claims

Het artikel positioneert TOKAMARK als de eerste grootschalige, open benchmark die specifiek is ontworpen voor het evalueren van AI-modellen op echte fusiedata. De primaire bijdragen zijn:

1. Standaardisatie: Het biedt een verenigd framework met 14 diverse taken, gestandaardiseerde data loaders en hiërarchische evaluatiemetrieken, wat een eerlijke cross-vergelijking van algoritmen mogelijk maakt.
2. Toegankelijkheid: Door de dataset, tools en baseline-modellen onder een open-source licentie vrij te geven, wordt de drempel voor Machine Learning-onderzoekers buiten de fusiegemeenschap verlaagd.
3. Fundament voor Generalistische Modellen: De benchmark is ontworpen om de ontwikkeling van Foundation Models (FM's) voor fusie te ondersteunen, waarbij de focus verschuift van geïsoleerde, taakspecifieke oplossingen naar generalistische AI-systemen die in staat zijn een uitgebreid begrip van de plasmafysica te hebben.

De auteurs concluderen dat TOKAMARK ernaar streeft de vooruitgang in data-gestuurde plasmamodellering te versnellen, samenwerking tussen de fusie- en AI-gemeenschappen te bevorderen en bij te dragen aan het bredere doel van het bereiken van stabiele, commercieel levensvatbare fusie-energie. De benchmark dient als een realistisch ondergrens voor modelprestaties en identificeert specifieke gebieden (zoals langdurige MHD-voorspelling en cross-campagne generalisatie) waar verder onderzoek vereist is.