Application of Reinforcement Learning for Multigroup Energy Grid Optimization for Neutron Transport Criticality Problems

Dit artikel presenteert een versterkingsleerbenadering in combinatie met neurale netwerksurrogaatmodellen om multigroepsenergiestructuren te optimaliseren voor eendimensionale sferische k-kriticiteitsneutrontransportproblemen, waarbij een nauwkeurigheid wordt bereikt die vergelijkbaar is met of beter dan bestaande methoden, terwijl er tegelijkertijd meer flexibiliteit en rekenefficiëntie wordt geboden.

De kern

Het Grote Plaatje: De Radio Afstemmen op een Kernsignaal

Stel je voor dat je probeert een heel zwak radiosignaal te ontvangen dat van een kernreactor komt. Het signaal (neutronen) is complex, met verschillende "frequenties" (energieën) die snel veranderen. Om het signaal te begrijpen, moet je de radio afstemmen.

In de kernfysica gebruiken wetenschappers een methode genaamd Multigroup Neutron Transport. Denk hierbij aan het verdelen van het volledige radiospectrum in een vast aantal "kanalen" of "bakken" (zogenaamde energiegroepen).

• Te veel bakken: Je krijgt een kristalhelder beeld van het signaal, maar je computer moet zo veel werk verzetten dat het dagen duurt voordat de berekening klaar is. Het is alsof je probeert elke enkele frequentie individueel te beluisteren.
• Te weinig bakken: De computer draait snel, maar je mist mogelijk belangrijke details of hoort ruis, wat leidt tot onnauwkeurige resultaten.

Het doel van dit artikel is het vinden van het perfecte aantal bakken en de perfecte plekken om de lijnen tussen hen te trekken voor een specifiek kernprobleem.

Het Probleem: Het "Goudlokje"-Dilemma

Decennia lang hebben wetenschappers standaard "vooraf ingestelde" kanaalindelingen gebruikt (zoals de LANL30- of LANL70-structuren). Dit is alsof je een radio koopt met vaste knoppen. Ze werken redelijk voor veel situaties, maar ze zijn niet perfect voor elke specifieke reactor.

Het vinden van de beste aangepaste indeling is moeilijk.

1. Het is duur: Om te testen of een nieuwe indeling werkt, moet je een enorme, trage computersimulatie draaien (alsof je een volledige fysicatest uitvoert voor elke enkele knopdruk).
2. Het is lastig: Als je gewoon begint met gokken, kun je vastlopen in een "lokaal minimum". Stel je voor dat je in een mistige vallei staat; je denkt misschien dat je de bodem hebt bereikt omdat je de diepere vallei net over de volgende heuvel niet kunt zien.

De Oplossing: Een Slimme Robot met een Kristallen Bol

De auteurs, Ben Whewell en zijn team bij het Los Alamos National Laboratory, gebruikten Versterkend Leren (RL).

De Analogie:
Stel je een robot voor die een doolhof probeert op te lossen.

• De Robot (RL-agent): Zijn taak is om te beginnen met een zeer gedetailleerde kaart (een rooster met hoge precisie van 618 kanalen) en lijnen te verwijderen totdat het een doelwit aantal bereikt (zoals 30 of 70).
• De Beloning: Elke keer dat de robot een lijn verwijdert, krijgt hij een score. Hij wil een hoge score, wat betekent dat de simulatie nog steeds nauwkeurig is en hij zo veel mogelijk lijnen heeft verwijderd om tijd te besparen.
• De Valstrik: Als de robot gewoon gissen doet, zal het miljoenen pogingen kosten om te leren, en vereist elke poging een trage, dure fysicasimulatie.

Het Geheime Wapen: Het Surrogaatmodel (De Kristallen Bol)
Om de robot sneller te laten leren, bouwde het team een Neuraal Netwerk Surrogaatmodel.

• Denk hierbij aan een kristallen bol of een zeer ervaren coach.
• In plaats van elke keer dat de robot een zet doet de trage, dure fysicasimulatie te draaien, vraagt de robot aan de kristallen bol: "Als ik deze lijn verwijder, hoe goed zal het resultaat dan zijn?"
• De kristallen bol kijkt naar het patroon van de lijnen en de materialen (zoals Uranium of Plutonium) en voorspelt direct de nauwkeurigheid. Het geeft geen perfect getal, maar plaatst het resultaat in een "kwaliteitsbak" (bijvoorbeeld: "Dit is een 9 van de 10").

Hierdoor kan de robot miljoenen keren oefenen in een paar uur in plaats van duizenden jaren.

Wat Ze Dedden

Ze testten dit "Robot + Kristallen Bol"-team op twee beroemde kernpuzzels:

1. Godiva: Een bol van puur Uranium.
2. BeRP Ball: Een bol van Plutonium omringd door een schil van Beryllium.

Ze leerden de robot om te beginnen met een massief rooster en het te "snoeien" tot 30 of 70 groepen, waarbij het leerde welke lijnen essentieel waren om te behouden en welke konden worden weggeknipt.

De Resultaten: Beter dan de Standaard

Toen ze de aangepaste indelingen van de robot testten tegen de standaard "vooraf ingestelde" indelingen (LANL30 en LANL70):

• Nauwkeurigheid: De aangepaste indelingen van de robot waren nauwkeuriger. Ze vingen de belangrijke details van de kernreactie beter op dan de standaardvoorinstellingen.
• Snelheid: De robot leerde deze goede indelingen veel sneller te vinden dan eerdere methoden (zoals "Hiërarchische Agglomeratie", wat een trage, stap-voor-stap hebzuchtige aanpak is).
• Flexibiliteit: De robot leerde een algemene strategie. Als je de grootte van de bol of het materiaal veranderde, kon de robot zich aanpassen zonder dat het opnieuw vanaf nul getraind hoefde te worden.

Belangrijkste Punten in Gewone Taal

1. Slim Snoeien: In plaats van een rooster vanaf nul te bouwen, begint de AI met een perfect, gedetailleerd rooster en leert precies welke delen weggehaald moeten worden om tijd te besparen zonder nauwkeurigheid te verliezen.
2. De Coach: Ze gebruikten een snelle AI-"coach" (surrogaatmodel) om resultaten te voorspellen, waardoor ze bespaard werden van het miljoenen keren draaien van trage, dure simulaties.
3. Winnen: De door AI ontworpen roosters wonnen van de oude, standaard roosters voor deze specifieke kernproeven, en bieden een flexibelere en efficiëntere manier om kernfysica-problemen op te lossen.

Kortom, ze leerden een computer om een meester in afstemming te zijn, die de perfecte balans vindt tussen snelheid en nauwkeurigheid voor kernveiligheidsberekeningen, met behulp van een "kristallen bol" om het leerproces te versnellen.

Technische samenvatting

Technische Samenvatting: Toepassing van Versterkend Leren voor Multigroep-Energiegrid-Optimalisatie voor Neutronentransport-Kritikaliteitsproblemen

Probleemstelling
Nauwkeurige neutronentransportberekeningen zijn sterk afhankelijk van het multigroep-discretisatieschema, waarbij de continue energievariabele over eindige intervallen wordt geïntegreerd om stuksgewijs constante energiegroepen te creëren. De selectie van energiegroepgrenzen is cruciaal; suboptimale grenzen kunnen leiden tot aanzienlijke fouten in neutronenvluchtspectra en reactiesnelheden. Hoewel hoogwaardige grids (bijvoorbeeld LANL618) nauwkeurigheid bieden, brengen ze hoge rekenkosten en geheugenvoetafdrukken met zich mee. Omgekeerd verminderen laagwaardige grids (bijvoorbeeld LANL30, LANL70) de kosten, maar vereisen ze een zorgvuldige selectie van grenzen om de nauwkeurigheid te behouden. Bestaande optimalisatietechnieken, zoals Particle Swarm Optimization (PSO) en Hiërarchische Agglomeratie (HA), staan voor uitdagingen, waaronder hoge rekenkosten door de noodzaak van volledige transportsimulaties voor elke evaluatiestap, en gevoeligheid voor lokale minima of slechte convergentie.

Methodologie
De auteurs stellen een nieuw raamwerk voor dat Versterkend Leren (RL) combineert met neurale netwerk-surrogaatmodellen om energiegroepstructuren te optimaliseren voor één-dimensionale bolvormige $k$-kritikaliteitsproblemen.

• Formulering van Versterkend Leren: Het probleem wordt gemodelleerd met behulp van het Proximal Policy Optimization (PPO)-algoritme.

  • Staatruimte: Een binaire vector van lengte 619 die de aanwezigheid of afwezigheid van energiegrenzen uit een referentie LANL618-grid weergeeft. Voor niet-homogene problemen (bijvoorbeeld de BeRP-bal) worden materiaaldikte en totale doorsnedegegevens toegevoegd.
  • Actieruimte: De agent verwijdert telkens één energiegrens, waardoor er een overgang plaatsvindt van een hoogwaardige startstaat ($G_{max} \in [200, 617]$) naar een doelaantal groepen ($G_{min}$). Actiemaskering zorgt ervoor dat alleen geldige verwijderingen plaatsvinden.
  • Beloningsfunctie: De beloning balanceert twee doelstellingen: het minimaliseren van het aantal energiegroepen en het maximaliseren van de gridnauwkeurigheid. De nauwkeurigheid wordt geëvalueerd via een foutmetriek ($\epsilon$) die de relatieve fouten van de effectieve vermenigvuldigingsfactor ($k_{eff}$) en geïntegreerde reactiesnelheden (totaal, $\nu$-fissie en absorptie) combineert. Om foutcompensatie door het maskeren van vluchtonnauwkeurigheden te voorkomen, wordt de $k_{eff}$-fout met een factor 3 gewogen in de wortel-som-kwadraten-berekening.

• Surrogaatmodelleren: Om de steekproefinefficiëntie van on-policy RL te overwinnen (wat anders miljoenen volledige transportsimulaties zou vereisen), wordt een 10-klasse classificatie-neuraal netwerk-surrogaatmodel ingezet.

  • Architectuur: Voor homogene problemen (Godiva) verwerkt een 1D Convolutional Neural Network (CNN) de binaire energiegrensvector. Voor heterogene problemen (BeRP-bal) combineert een multimodale architectuur de CNN met een Long Short-Term Memory (LSTM)-netwerk om ruimtelijke en materiaaleigenschappen te coderen.
  • Trainingsdata: Willekeurige subsets van het LANL618-grid worden gegenereerd en er worden volledige transportsimulaties uitgevoerd om de foutmetriek $\epsilon$ te berekenen. Deze fouten worden omgezet in normale verdelingen en in 10 klassen gebint (1 = minst nauwkeurig, 10 = meest nauwkeurig).
  • Integratie: Het surrogaatmodel geeft de kansverdeling over deze 10 klassen weer. De verwachte klassewaarde wordt gebruikt om de beloning te berekenen, waardoor de RL-agent kan leren zonder bij elke stap een volledige transportsimulatie uit te voeren.

Belangrijkste Bijdragen

1. RL voor Optimalisatie van Groepsstructuur: Dit werk introduceert de toepassing van PPO-gebaseerd RL op het specifieke probleem van het optimaliseren van multigroep-energiestructuren, waardoor de agent kritieke grenzen kan identificeren zonder beperkt te zijn tot een vaste initiële gridtopologie (beyond de LANL618-subsetbeperking).
2. Surrogaat-versnelde Training: De ontwikkeling van een op classificatie gebaseerd surrogaatmodel dat energie-, materiaal- en ruimtelijke informatie integreert, vermindert de rekenkosten van RL-training aanzienlijk, door dure transportsimulaties te vervangen door snelle neurale netwerk-inferentie.
3. Flexibele Optimalisatie: In tegenstelling tot gretige hiërarchische methoden die voor elke nieuwe startconditie opnieuw simulaties moeten uitvoeren, kunnen de getrainde RL-agenten zich aanpassen aan verschillende startgroepsstructuren en materiaallay-outs zonder hertraining.

Resultaten
De methode werd gevalideerd op twee benchmarkproblemen: de Godiva (uraniumbol) en de BeRP-bal (plutoniumbol met berylliumreflector).

• Surrogaatprestaties:
  • Godiva: De CNN-surrogaat bereikte 78,3% ware nauwkeurigheid en 98,2% aangrenzende nauwkeurigheid (voorspelling binnen één klasse) op subkritieke testdata, en generaliseerde goed naar superkritieke configuraties.
  • BeRP-bal: De multimodale CNN-LSTM-surrogaat bereikte 70,8% ware nauwkeurigheid en 97,4% aangrenzende nauwkeurigheid over variërende plutoniumstralen en kritikaliteitsstaten.
• RL-Optimalisatieprestaties:
  • Nauwkeurigheid: De door RL geconstrueerde groepsstructuren (RL30 en RL70) presteerden beter dan de standaard LANL30- en LANL70-structuren wat betreft zowel $k_{eff}$- als reactiesnelheidsfouten, vergeleken met de LANL618-referentie.
  • Vergelijking met HA: De RL-methode bereikte prestaties die vergelijkbaar waren met de Hiërarchische Agglomeratie (HA)-methode, maar met aanzienlijk verminderde rekenoverhead. Waar HA tienduizenden volledige transportsimulaties vereiste (45.225 voor een start met 301 groepen, 191.362 voor een start met LANL618) om één probleem te optimaliseren, vereiste de RL-methode slechts twee getrainde modellen (voor doelen van 30 en 70 groepen) en geen hertraining voor verschillende startgrids of materiaallay-outs.
  • Trainings-efficiëntie: Het trainen van de surrogaat- en RL-modellen duurde ongeveer zes uur op een standaard laptop (Apple M3 Max), terwijl trainen zonder het surrogaat (met volledige simulaties) meer dan 8.300 uur zou hebben vereist.
  • Spectrale Aanpassing: Analyse van de resulterende groepsstructuren toonde aan dat de RL-agenten de energiegrenzen succesvol aanpasten aan het specifieke neutronenspectrum. Voor het snelle-spectrum Godiva-probleem concentreerden de RL-modellen de grenzen in het snelle-energiegebied, terwijl standaard LANL30-structuren meer resolutie plaatsten in resonantie/thermische gebieden die minder relevant waren voor het specifieke probleem.

Betekenis
Het artikel toont aan dat versterkend leren, wanneer gekoppeld aan surrogaatmodelleren, een flexibele en rekenkundig efficiënt alternatief biedt voor traditionele technieken voor groepsstructuur-optimalisatie. De methode slaagt erin lokale-minima-valstrikken die gemeenschappelijk zijn in gretige algoritmen te vermijden en vermindert de rekenlast van optimalisatie met ordes van grootte. Door te leren grenzen te verwijderen uit een hoogwaardig grid, genereert de aanpak probleemspecifieke groepsstructuren die beter presteren dan gegeneraliseerde standaardgrids (LANL30/70), terwijl het vermogen behouden blijft om te generaliseren over verschillende materiaalconfiguraties en startcondities zonder hertraining. De auteurs merken op dat toekomstig werk de actieruimte kan uitbreiden tot het toevoegen of perturberen van grenzen en de surrogaatresolutie verder kan verfijnen om de prestaties te verbeteren.