🤖 machine learning

Offline Reinforcement Learning for Plasma Control in Nuclear Fusion: Codebase and Benchmark

Dit artikel introduceert RL4F, een gestandaardiseerde offline reinforcement learning benchmark voor de controle van kernfusieplasma gebouwd op echte DIII-D tokamak-data, die diverse algoritmen evalueert over vier volledige profielvolgtaken en aantoont dat offline modelgebaseerde methoden over het algemeen superieure prestaties leveren in deze complexe, langetermijnproblemen.

Oorspronkelijke auteurs: Yang Fu, Haomin Bao, Rohit Sonker, Xiaoyan Hu, Aravind Venugopal, Jeff Schneider, Jiayu Chen

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yang Fu, Haomin Bao, Rohit Sonker, Xiaoyan Hu, Aravind Venugopal, Jeff Schneider, Jiayu Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een zeer ingewikkeld, instabiel vliegtuig moet besturen. Het probleem is dat het vliegtuig zo duur en gevaarlijk is dat je de robot niet duizend keer kunt laten crashen om te leren vliegen. Elke keer dat hij crasht, kost het miljoenen dollars en kan het mensen in gevaar brengen.

Dit is precies de situatie waar wetenschappers voor staan bij kernfusie, de technologie die streeft naar de kracht van de zon om schone energie te creëren. Binnen een fusiemachine (een tokamak genoemd), bevindt zich een superhete, kolkende soep van gas genaamd plasma. Dit plasma is ongelooflijk instabiel. Als je het niet perfect onder controle houdt, koelt het direct af of beschadigt het de machine.

Lange tijd hebben wetenschappers geprobeerd om Reinforcement Learning (RL) te gebruiken — een vorm van AI die leert door middel van trial-and-error — om het plasma te besturen. Maar, net als de robotpiloot, kunnen zij de AI niet op de echte machine laten "spelen" om te leren.

Het Probleem: Geen "Vliegsimulator"

Normaal gesproken bouw je voor het trainen van een AI een perfecte videogame-simulator. Maar voor kernfusie is de fysica zo complex dat het bouwen van een perfecte simulator is alsof je een videogame probeert te schrijven die het weer, de oceaanstromingen en de beweging van elk afzonderlijk atoom tegelijkertijd perfect voorspelt. Dat is te traag en te moeilijk om goed te krijgen.

De Oplossing: "RL4F" (De Fusie-vliegsimulator)

De auteurs van dit artikel hebben een nieuwe tool ontwikkeld genaamd RL4F. Zie dit als een high-tech vliegsimulator die niet is gebouwd op basis van natuurkundige vergelijkingen, maar van historische vluchtlogs.

De Data: Ze namen duizenden uren aan echte data van een echte fusiemachine (de DIII-D tokamak).
De "Digitale Tweeling": Ze trainden een AI om naar die oude logs te kijken en te leren: "Wanneer de operators X deden, reageerde het plasma meestal met Y."
Het Resultaat: Deze AI werd een "Digitale Tweeling" van de echte machine. Nu kunnen onderzoekers hun nieuwe controle-algoritmen trainen binnen deze Digitale Tweeling. De AI kan crashen, falen en het miljoenen keren opnieuw proberen zonder ooit de echte, gevaarlijke machine aan te raken.

De Uitdaging: De "Profiel"-puzzel

Het besturen van fusie gaat niet alleen over het hoog houden van de temperatuur. Het gaat over het vormen van het volledige profiel van het plasma. Stel je het plasma voor als een brood. Je wilt niet alleen dat het hele brood warm is; je wilt dat de korst een bepaalde krokantheid heeft, het midden zacht is en de kern perfect gebakken is, allemaal tegelijkertijd.

De paper testte de AI op vier specifieke "broden" (taken):

Rotatie: Hoe snel het plasma draait.
Dichtheid: Hoe vol het zit met deeltjes.
Temperatuur: Hoe heet het is.
Druk: Hoeveel kracht het uitoefent.

De Race: Wie Leerde het Beste?

De auteurs nodigden veel verschillende AI-"studenten" (algoritmen) uit om een test af te leggen in deze simulator. Ze wilden zien welke er het beste in slaagde om de vorm van het plasma-"brood" correct te houden.

Dit is wat ze ontdekten:

De "Nabootsende" Studenten: Sommige AI's probeerden gewoon te kopiëren wat de menselijke operators deden in de oude logs. Ze waren oké, maar ze konden niet goed omgaan met nieuwe situaties.
De "Model-Free" Studenten: Deze AI's probeerden puur door te raden en te controleren binnen de data te leren. Ze deden het beter dan de nabootsers, maar hadden nog steeds moeite met de lange, complexe ketens van oorzaak en gevolg in het plasma.
De "Model-Based" Studenten: Deze AI's bouwden hun eigen interne begrip op van hoe het plasma werkt (een "world model") en planden vervolgens hun zetten op basis daarvan. Deze studenten wonnen de race.

Specifiek waren de MOPO en COMBO algoritmen (de "Model-Based" studenten) het best in het op koers houden van de temperatuur- en dichtheidsprofielen. Echter, geen enkele student was perfect in alles. Bijvoorbeeld, één was geweldig in het besturen van rotatie, terwijl een ander beter was in druk.

Waarom dit Belangrijk is

De paper concludeert dat model-based learning (eerst de regels van het spel leren) de meest veelbelovende weg is voor het besturen van fusie.

Ze hebben al hun code, data en de "Digitale Tweeling" simulator gratis beschikbaar gesteld voor iedereen om te gebruiken. Dit is alsoals het geven van dezelfde vliegsimulator en hetzelfde testcircuit aan elke onderzoeker ter wereld. Nu, in plaats van dat iedereen zijn eigen verwarrende simulators bouwt, kunnen ze allemaal eerlijk met elkaar concurreren om te zien wie de beste AI-piloot voor de toekomstige schone energie kan bouwen.

Kortom: Ze hebben een veilige, virtuele speeltuin gebouwd met behulp van echte werelddata, zodat AI kan leren om de zon te besturen zonder het laboratorium op te blazen. En ze ontdekten dat de AI die eerst de "regels van de natuurkunde" leert, het beste presteert.

Technische Samenvatting: RL4F – Offline Reinforcement Learning voor Plasma-controle in Kernfusie

Probleemstelling

Het ontwikkelen van controllers voor kernfusie-tokamaks via online reinforcement learning (RL) is even kostbaar als riskant vanwege de hoge operationele kosten, tijdsbeperkingen en het veiligheidskritische karakter van echte apparaten. Hoewel er natuurkundige simulaties (bijv. RAPTOR, TORAX) bestaan, zijn deze computationeel duur, vereisen ze uitgebreide kalibratie en hebben ze vaak moeite met het vastleggen van complexe, niet-lineaire plasma-dynamica. Daarentegen biedt het direct leren van historische experimentele data zonder online interactie (offline RL) een veiliger alternatief, maar het ontbreeft aan een gestandaardiseerde benchmark. De huidige uitdagingen omvatmen de hoge dimensionaliteit van plasma-profielen, niet-lineaire en stochastische dynamica, partiële observeerbaarheid en de moeilijkheid van het specificeren van beloningen voor controle-taken met een lange horizon.

Methodologie

Het artikel introduceert RL4F, een verenigde benchmark voor offline RL in tokamak-profielcontrole. De methodologie is gestructureerd rond vier kernelementen:

1. Dynamica-modellering (De Omgeving)

In plaats van natuurkundige simulaties te gebruiken, construeren de auteurs een data-gedreven "digitale tweeling" met behulp van een Recurrent Probabilistic Neural Network (RPNN) ensemble.

Trainingsdata: Het model wordt getraind op 18.000 historische experimentele ontladingen van de DIII-D tokamak, verspreid over bijna een decennium.
Architectuur: Een ensemble van 25 RPNN's voorspelt de distributie van staatveranderingen ( $\Delta s_t$ ) gegeven de huidige staat ( $s_t$ ), de vorige actuator-instelling ( $a_{t-1}$ ) en de actuator-increment ( $\Delta a_t$ ).
Onzekerheidskwantificering: Het model geeft parameters voor een Gaussische distributie ( $\mu_t, \sigma_t$ ) uit. Het ensemble vangt epistemische onzekerheid op (via discrepantie tussen leden), terwijl de log-variantie kop de aleatorische onzekerheid vangt.
Tweestaps-training: In de eerste fase wordt het voorspellende gemiddelde geoptimaliseerd (MSE), en in de tweede fase wordt de backbone bevroren om de onzekerheid te kalibreren via negatieve log-likelihood.

2. Dataset-constructie

Een synthetische offline dataset wordt gegenereerd door rollouts te initialiseren vanuit echte "flat-top" shot-staten en autoregressief de referentie-dynamica te doorlopen.

Schaal: De uiteindelijke dataset bestaat uit 5.882 shots en 945.828 transities.
Splitsing: Er worden vaste splitsingen gebruikt: 5.282 shots voor training, 300 voor validatie en 300 voor testen.
Procedure: Gemeten volgende staten worden vervangen door ensemble-voorspellingen om closed-loop gedrag te simuleren terwijl de echte actuator-schema's behouden blijven.

3. Benchmark-taken

De benchmark evalueert algoritmen op vier full-profile tracking taken, waarbij het doel is om hoog-dimensionale ruimtelijke grootheden te reguleren over de genormaliseerde radiale coördinaat ( $\psi_N \in [0, 1]$ ):

Rotatie: Cruciaal voor de onderdrukking van tearing modes en brandstofasymmetrie.
Dichtheid: Reguleert de kernbrandstofvoorraad en fusiesnelheden.
Elektronentemperatuur: Beïnvloedt warmetransport en opsluiting.
Druk: Bepaalt de MHD-stabiliteitslimieten en opgeslagen energie.

Controle-opstelling:

Actieruimte: Neutral Beam Injection (NBI) vermogen, NBI koppel, gas-puffing spanning en Electron Cyclotron Heating (ECH) vermogen.
Observatieruimte: Stroomprofiel, doelprofiel, toekomstig doel (verschoven met 10 stappen), en proportionele fouttermen (P-termen).
Beloning: Negatieve gemiddelde kwadratische fout (MSE) tussen het doelprofiel en het behaalde profiel.

4. Evaluatieprotocol

Algoritmen worden getraind op de statische synthetische dataset en geëvalueerd in een closed-loop setting op het referentie-dynamica model.

Baselines: De studie evalueert een breed scala aan methoden, inclusief Imitation Learning (GCIL), Model-Free Offline RL (TD3BC, CQL, IQL, EDAC, MCQ) en Model-Based Offline RL (PPO, COMBO, MOPO, MOBILE, RAMBO, BAMCTS).
Metriek: Root Mean Squared Error (RMSE) over 33 radiale locaties, gemiddeld over 300 test-shots en 30 willekeurige seeds.

Belangrijkste Bijdragen

RL4F Benchmark: De eerste gestandaardiseerde offline RL benchmark specifiek ontworpen voor fusie-plasma controle, die een gemeenschappelijk testveld biedt voor algoritmevergelijking.
Realistische Data-gedreven Omgeving: Een hoogwaardig dynamica-model getraind op echte DIII-D data, wat de kalibratie-overhead van natuurkundige simulaties vermijdt terwijl apparaatspecifieke niet-lineariteiten worden gevangen.
Uitgebreide Baseline Evaluatie: Een verenigde evaluatie van diverse offline RL en imitatie leer-benaderingen over vier verschillende, lang-horizon profiel-tracking taken.
Open-Source Release: De codebase, datasets en het evaluatieframework worden open-source vrijgegeven om reproduceerbaarheid en gemeenschapsadoptie te bevorderen.

Resultaten

De evaluatie laat zien dat model-gebaseerde offline RL-methoden over het algemeen beter presteren dan model-vrije baselines, hoewel geen enkel algoritme alle taken domineert:

Rotatie: RAMBO behaalde de laagste gemiddelde RMSE (8.03), gevolgd door COMBO en MOPO. Model-vrije methoden presteerden aanzienlijk slechter, waarschijnlijk door de moeilijkheid om af te wijken van de gedragsdistributie in een statische dataset voor lang-horizon koppelcorrectie.
Dichtheid: COMBO presteerde het best (RMSE 0.691), met MOPO en PPO vlak daarachter. De kleinere kloof tussen model-gebaseerde en model-vrije methoden suggereert dat de dataset voldoende dekking bood voor dichtheidscontrole.
Temperatuur: MOPO behaalde de beste prestatie (RMSE 0.193). Het vermogen om onzekere modelvoorspellingen te bestraffen bleek voordelig voor temperatuur-dynamica, die vertraagde reacties en cumulatieve transporteffecten met zich meebrengt.
Druk: MOPO leidde opnieuw (RMSE 5198.6), gevolgd door RAMBO. De sterke koppeling van druk aan dichtheid en temperatuur maakt dit de meest uitdagende taak, wat de voorkeur geeft aan onzekerheid-bewuste methoden.

Algemene trends:

Tracking nabij de plasmacore ( $\psi_N \approx 0$ ) is consistent moeilijker dan aan de rand vanwege grotere profiel-magnitudes en temporele variaties.
Pure imitatie leer (GCIL) was onvoldoende voor deze lang-horizon problemen, wat resulteerde in aanzienlijk hogere fouten dan offline RL-methoden.
Geen enkel algoritme is universeel optimaal; prestaties variëren op basis van de specifieke fysieke dynamica en de koppeling van het doelprofiel.

Betekenis en Claims

Het artikel claimt dat RL4F een cruciale stap vormt naar het versnellen van de vooruitgang in zowel kernfusie als de ontwikkeling van offline RL-algoritmen. Door een gestandaardiseerde, data-gedreven omgeving aan te bieden, stelt het onderzoekers in staat om controllers te ontwikkelen en te vergelijken zonder de directe risico's en kosten van experimenten op echte apparaten.

De auteurs merken bescheiden op dat hoewel de benchmark gebouwd is op echte DIII-D data, de generaliseerbaarheid naar andere tokamaks een open vraag blijft die bredere samenwerking vereist. Ze benadrukken dat RL4F dient als een gecontroleerde offline evaluatie-setting; prestaties hier zijn bewijs van algoritmisch potentieel, maar vervangen geen veiligheidskritische validatie op fysieke apparaten. De benchmark adresseert de specifieke uitdagingen van niet-lineaire dynamica, lang-horizon controle en partiële observeerbaarheid die inherent zijn aan fusie, en positioneert zichzelf daarmee als een rigoureuze testomgeving voor de bredere offline RL-gemeenschap.