Inverse Critical Experiment Design via Gradient Optimization and a Multigroup Attention-Based Neural Network Architecture

Technische Samenvatting: Invers Ontwerp van Kritische Experimenten via Gradiëntoptimalisatie en een Multigroep Attention-gebaseerd Neuraal Netwerk

Probleemstelling
De validatie van geavanceerde kernreactorontwerpen en brandstofconcepten, met name die gebruikmaken van High-Assay Low-Enriched Uranium (HALEU), vereist kritische experimenten met een hoge neutronische gelijkenis met de doeltechnologie. Deze gelijkenis wordt gekwantificeerd door de correlatiecoëfficiënt, $c_k$, die de gedeelde bias in de effectieve multiplicatiefactor ($k_{eff}$) meet die wordt veroorzaakt door onzekerheden in kerngegevens. Een $c_k \geq 0,9$ is over het algemeen vereist om een experiment als voldoende gelijkaardig aan een doelsysteem te beschouwen. Echter, voor specifieke toepassingen zoals de TN-Americas TN-LC transportkist, voldoen bestaande benchmarks voor kritische experimenten vaak niet aan deze drempelwaarde (bijv. geen bestaande experimenten die $c_k \geq 0,9$ bereikten voor bepaalde TN-LC configuraties). Traditionele ontwerpmethoden worden beperkt door de hoge computationele kosten van Monte Carlo-simulaties die nodig zijn om kandidaat-geometrieën te evalueren, wat de exploratie van de volledige combinatorische ontwerpruimte onhandelbaar maakt.

Methodologie
De auteurs stellen een methodologie voor het invers ontwerp van kritische experimenten voor die een deep neural network (DNN) surrogaatmodel combineert met niet-parametrische gradiëntoptimalisatie.

1. Surrogaatmodellering:

   • Datageneratie: Een dataset van 5.000 procedureel gegenereerde 2D-experimentgeometrieën werd gecreëerd met behulp van een cellulaire automaat-algoritme. Deze geometrieën werden gemodelleerd in OpenMC om sensitiviteitsvectoren te berekenen voor vier reacties ($^{235}$U fissie, $^{12}$C elastische verstrooiing, $^{1}$H elastische verstrooiing en $^{58}$Ni absorptie) over 252 energiegroepen.
   • Architectuur: Het surrogaatmodel maakt gebruik van een heterogene architectuur die een U-Net convolutionele encoder-decoder combineert met een nieuwe Multigroup Attention Pooling laag.
     • De U-Net extraheert ruimtelijke kenmerken uit de invoergeometrie (gecodeerd als een 32x32 kwart-grid van materiaaltoewijzingen).
     • De Multigroup Attention Pooling laag leert voor elke energiegroep afzonderlijke attention maps, waarbij ruimtelijke kenmerken worden gewogen op basis van hun belang voor die specifieke groep. Dit introduceert een inductieve bias die de verschillende ruimtelijke afhankelijkheden van neutronentransport bij verschillende energieschalen weerspiegelt.
     • Een 1D convolutionele regressor verwerkt de groep-descriptors om het uiteindelijke sensitiviteitsprofiel te voorspellen.
   • Training: Het model wordt getraind om sensitiviteitsprofielen te voorspellen (in plaats van $c_k$ direct) met behulp van een genormaliseerde mean squared error (MSE) loss, wat zorgt voor een fijnmazige evaluatie over reacties en energiegroepen heen.

2. Gradiëntgebaseerde Optimalisatie:

   • De differentieerbaarheid van het surrogaatmodel maakt de directe optimalisatie van de materiaaltoewijzing in het geometrie-grid mogelijk om $c_k$ te maximaliseren.
   • Om de discrete aard van materiaaltoewijzingen aan te pakken, wordt het probleem gerelaxeerd door het optimaliseren van continue materiaallogits ($\ell$). Een temperatuur-geschaalde softmax zet deze logits om in waarschijnlijkheden, die vervolgens gediscretiseerd worden met een Straight-Through Estimator (STE) voor de forward pass, terwijl de differentieerbaarheid behouden blijft voor de backward pass.
   • De optimalisatie minimaliseert de negatieve voorspelde correlatiecoëfficiënt ($-\hat{c}_k$) met behulp van de AdamW-optimizer. Een cosine annealing schedule wordt toegepast op de softmax-temperatuur om de overgang van exploratie naar exploitatie te faciliteren.

Belangrijkste Bijdragen

• Invers Ontwerp Framework: Dit werk vestigt een framework voor het genereren van kritische experimentgeometrieën die de neutronische gelijkenis ($c_k$) tot een doelsysteem maximaliseren door direct de materiaaltoewijzingen te optimaliseren via gradiëntafdaling.
• Multigroup Attention Mechanisme: De introductie van een multigroup attention pooling laag stelt het netwerk in staat om de onderscheidende ruimtelijke afhankelijkheden van neutronen-sensitiviteiten over verschillende energiegroepen heen te vangen. De auteurs demonstreren dat deze architectuur traditionele max en average pooling overtreft in termen van voorspellingsnauwkeurigheid (lagere Mean Absolute Error) en interpreteerbare interne gedragingen biedt die consistent zijn met de fysieke intuïtie (bijv. thermische neutronen die gelokaliseerd blijven in de brandstof, snelle neutronen die interageren met de omliggende regio's).
• Differentiabele Surrogaten voor Neutronica: De studie demonstreert de haalbaarheid van het gebruik van differentiabele deep learning surrogaten om de volledige combinatorische ontwerpruimte van kritische experimenten te navigeren, een taak die voorheen werd gehinderd door de computationele kosten van Monte Carlo-sensitiviteitsberekeningen.

Resultaten
De methodologie werd toegepast op het ontwerpen van experimenten voor drie configuraties van een TN-LC transportkist: een droge kist, een ondergelopen kist met lage dichtheid gif (Geval 1), en een ondergelopen kist met hoge dichtheid gif (Geval 2).

• Prestaties: De optimalisatie genereerde succesvol experimentgeometrieën met hoge $c_k$ scores:
  • Droge Kist: $c_k = 0,97757$
  • Geval 1: $c_k = 0,81324$ (overschrijdt de vereiste drempel van 0,8 om $k_{eff}$ straffen te vermijden)
  • Geval 2: $c_k = 0,93276$ (een significante prestatie, aangezien geen enkel eerder experiment met $c_k \geq 0,8$ bestond voor deze configuratie).
• Geometrie Kenmerken: De geoptimaliseerde geometrieën waren zeer heterogeen en "alien" in ontwerp, waarbij prioriteit werd gegeven aan UO$_2$ en geboreerd aluminium boven roestvrij staal en polyethyleen. De optimizer richtte zich primair op het matchen van de magnitude en vorm van het $^{235}$U fissie-sensitiviteitsprofiel, wat de dominante bijdrage is aan de $k_{eff}$ onzekerheid.
• Model Nauwkeurigheid: Het surrogaatmodel bereikte een testset Mean Absolute Error (MAE) van 41,19 pcm, waarbij de multigroup attention pooling configuratie de laagste fout vertoonde vergeleken met traditionele pooling methoden.

Betekenis en Claims
Het artikel claimt dat deze aanpak de potentie aantoont van deep learning en gradiëntoptimalisatie om de ontwikkeling en validatie van geavanceerde nucleaire technologieën te versnellen. Specifiek adresseert het de kritieke kloof in experimentele dekking voor HALEU-transportscenario's waar traditionele benchmarking tekortschiet.

De auteurs merken expliciet beperkingen en bescheiden claims op:

• $k_{eff}$ Constraint: De huidige methode legt tijdens de optimalisatie geen beperking op aan de effectieve multiplicatiefactor ($k_{eff}$). Hoewel de resulterende experimenten $k_{eff}$ waarden hadden die nabij of boven 1 lagen, vereist het waarborgen van subkritikaliteit of specifieke kritikaliteitsmarges aanvullende restricties of surrogaatmodellen, wat wordt geïdentificeerd als toekomstig werk.
• Scope: De studie richt zich op 2D-geometrieën en een specifiek materiaalpalet. Uitbreiding naar 3D-geometrieën en de volledige materiaalontwerpruimte van faciliteiten zoals SPARC wordt voorgesteld als een richting voor toekomstig onderzoek.
• Interpreteerbaarheid: Hoewel de attention maps kwalitatieve inzichten bieden die consistent zijn met de neutronenfysica, erkennen de auteurs dat een striktere interpreteerbaarheidsanalyse nodig is om het interne gedrag van het model volledig te kwantificeren.

Samenvattend biedt dit werk een bewijs van concept dat differentiabele surrogaatmodellen gebruikt om inverse ontwerpproblemen in de kerntechniek op te lossen, waarbij nieuwe experimentconfiguraties worden gegenereerd die een hoge neutronische gelijkenis bereiken waar die voorheen niet bestond.