Using Neural Networks to Accelerate TALYS-2.0 Nuclear Reaction Simulations

Deze studie toont aan dat kunstmatige neurale netwerken als snelle vervangende modellen kunnen dienen om TALYS-2.0-simulaties voor kernreacties meer dan 1000 keer te versnellen, waardoor een efficiënte aanpassing van modelparameters mogelijk wordt om de overeenstemming met experimentele data te verbeteren.

De kern

Hoe AI de "Superrekenmachine" voor kernfysica versnelt: Een Simpele Uitleg

Stel je voor dat je een enorme, ingewikkelde bakkerij hebt die broodjes bakt. Deze bakkerij heet TALYS-2.0. Het is een computerprogramma dat voorspelt hoe atoomkernen reageren wanneer ze worden gebombardeerd met deeltjes. Dit is cruciaal voor het maken van medicijnen tegen kanker, voor energieopwekking en voor veiligheid.

Het probleem? De bakkerij is traag. Als je wilt weten welk broodje het beste is, moet je de bakkerij duizenden keren aanzetten, wachten tot het brood klaar is, en dan kijken of het smaakt. Als je de ingrediënten (de parameters) wilt aanpassen om het brood nog lekkerder te maken, duurt dit proces dagen of zelfs weken.

In dit artikel vertellen onderzoekers hoe ze kunstmatige intelligentie (neurale netwerken) hebben gebruikt om dit proces te versnellen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Snelkookpan" in plaats van de Oventest

Stel je voor dat je een nieuwe bakkerij wilt openen, maar je hebt geen tijd om elke keer echt te bakken. In plaats daarvan leer je een slimme assistent (het neurale netwerk) hoe de echte bakkerij werkt.

• De Oude Manier: Je probeert een recept, wacht uren, proeft het, past de suiker toe, wacht weer uren, proeft opnieuw. Dit is wat de onderzoekers vroeger deden met TALYS-2.0.
• De Nieuwe Manier: Je laat de assistent eerst 1.500 keer "proefbakken" in de echte bakkerij. Daarna leert de assistent de patronen. Zodra hij het snapt, kan hij voorspellen hoe het broodje eruit zal zien als je de suiker iets verandert, zonder dat je de oven hoeft aan te zetten.

Het resultaat? De assistent is 1.000 keer sneller dan de echte bakkerij. Wat normaal dagen duurt, doet hij nu in minuten.

2. Het Leerproces: Hoe leer je de assistent?

Om de assistent goed te laten werken, moeten ze hem eerst trainen. De onderzoekers stelden zich de vraag: "Wat is de beste manier om de assistent te laten oefenen?"

Ze probeerden drie methoden om de oefenbroodjes (de data) te kiezen:

• Willekeurig: Net alsof je blindelings ingrediënten uit een kast pakt.
• Geordend (Latin Hypercube): Alsof je systematisch elke hoek van de kast afloopt.
• Wiskundig perfect (Sobol): Een zeer geavanceerde manier om te zorgen dat je geen ruimte overlaat.

De verrassing: Het bleek dat het voor de assistent bijna niet uitmaakte welke methode ze gebruikten! Of je nu willekeurig of heel geordend oefende, de assistent leerde even snel en even goed. Dit is een groot voordeel, want het maakt het trainen veel flexibeler.

3. Van "Eén voor één" naar "Alles tegelijk"

Vroeger pasten de onderzoekers de ingrediënten één voor één aan (eerst de suiker, dan de bloem, dan de gist). Dit noemen ze een 1-D aanpassing. Het was als een sollicitant die één vraag per keer beantwoordt.

Met de nieuwe snelle assistent konden ze echter alles tegelijk aanpassen (een N-D aanpassing). Ze lieten de assistent zoeken naar de perfecte combinatie van alle 17 ingrediënten in één keer.

• Resultaat: De assistent vond een nog beter recept dan de oude methode, en dat in slechts 8 minuten!

4. Waarom is dit belangrijk?

Dit is niet alleen een snellere rekenmachine; het opent deuren voor de toekomst:

• Medicijnen: We kunnen sneller nieuwe radio-isotopen vinden voor kankerbehandelingen.
• Flexibiliteit: Als de onderzoekers morgen een nieuw experiment willen doen met andere ingrediënten, hoeven ze de bakkerij niet opnieuw te draaien. Ze kunnen gewoon de instructies voor de assistent aanpassen.
• Toekomst: Ze hopen dat ze in de toekomst nog minder oefenbroodjes nodig hebben (misschien zelfs minder dan 1.500), waardoor het nog goedkoper en sneller wordt.

Samenvattend

De onderzoekers hebben een "slimme kopie" (een surrogaatmodel) gemaakt van een trage, maar zeer nauwkeurige kernfysica-simulatie. Door deze kopie te trainen met een beetje data, hebben ze een systeem gecreëerd dat duizenden keren sneller is. Het is alsof je van een fiets op een supersonisch vliegtuig stapt, maar met precies dezelfde bestemming.

Dit betekent dat wetenschappers nu veel sneller nieuwe ontdekkingen kunnen doen en betere medicijnen kunnen ontwikkelen, zonder dat ze jaren hoeven te wachten op de resultaten van hun computers.

Technische samenvatting

Probleemstelling

De voorspelbaarheid van TALYS-2.0 voor berekende dwarsdoorsneden van geladen-deeltjes-residuproducten is een kritiek aspect voor de productie van radio-isotopen voor onderzoek, geneeskunde en beveiliging. Hoewel eerdere studies (zoals Morrell et al.) succesvol parameters van het optische model en het pre-equilibrium-proces hebben aangepast om de overeenkomst met experimentele data te verbeteren, is dit proces uiterst tijdrovend.
De traditionele aanpak vereist een iteratieve workflow met sequentiële TALYS-2.0-berekeningen. Omdat TALYS-2.0 een complex model is, duurt elke individuele berekening lang, wat parallelisatie beperkt en de totale tijd voor parameteroptimalisatie aanzienlijk oprekt. Er is behoefte aan een snellere methode om deze parameters te schalen en te optimaliseren zonder de nauwkeurigheid van het onderliggende fysische model te verliezen.

Methodologie

De auteurs stellen een surrogaatmodel voor op basis van kunstmatige neurale netwerken (ANN) om de TALYS-2.0-berekeningen te vervangen tijdens het optimalisatieproces.

1. Dataset Generatie:

   • TALYS-2.0 werd gebruikt om datasets te genereren voor proton-geïnduceerde reacties (o.a. op $^{nat}$Cu en $^{139}$La).
   • De datasets varieerden in complexiteit: van 3 variabelen (voor benchmarking), 6 variabelen, tot 17 variabelen (de volledige set parameters die eerder werd gebruikt voor $^{139}$La).
   • Drie verschillende steekproefmethoden werden getest voor het genereren van trainingsdata: uniforme random sampling, Latin Hypercube Sampling (LHC) en Shuffled Sobol sequence.
   • De data werd gegenereerd op een HPC-cluster (Brookhaven) en een standalone CPU (AMD Ryzen 7960X).

2. Neuraal Netwerk Architectuur:

   • Een volledig verbonden, diepe feedforward-neuraal netwerk (geïmplementeerd in PyTorch) werd gebruikt.
   • De architectuur bevatte verborgen lagen met 256, 128, 512, 512 en 512 knopen.
   • Training: Gebruikmakend van de AdamW-optimizer, Huber-verliesfunctie, en technieken om overfitting te voorkomen (weight decay, batch normalization, dropout).
   • De dwarsdoorsneden werden genormaliseerd ten opzichte van de maximale waarde van de standaard TALYS-2.0-output.

3. Optimalisatie Strategie:

   • 1-D Aanpassing: Parameters werden sequentieel geoptimaliseerd (één voor één) tot convergentie.
   • N-D (Multi-parameter) Aanpassing: Een dual annealing algoritme werd gebruikt voor gelijktijdige constrained optimalisatie van alle 17 parameters.

Belangrijkste Bijdragen

• Validatie van Surrogaatmodellen: Het bewijs dat een ANN TALYS-2.0-output binnen het domein van de inputparameters nauwkeurig kan voorspellen, met een snelheid die >1000x sneller is dan directe TALYS-2.0-berekeningen.
• Vergelijking van Sampling-methoden: Het aantonen dat er geen praktische verschillen zijn in prestaties tussen uniforme random, LHC en Sobol sampling voor het genereren van trainingsdata, hoewel Sobol vaak wordt aanbevolen voor multidimensionale dekking.
• Schalbaarheid: De succesvolle schaalvergroting van een 3-parameter model naar een complex 17-parameter model, wat de toepasbaarheid voor realistische scenario's aantoont.
• Efficiëntie: De demonstratie dat een hoogwaardig surrogaatmodel kan worden opgezet met slechts ~1500 TALYS-2.0-bestanden, wat de totale verwerkingstijd van dagen naar uren (of minder met HPC/GPU) reduceert.

Resultaten

• Snelheid: Het gebruik van het getrainde NN-model resulteerde in een snelheidswinst van meer dan 1000x bij het genereren van dwarsdoorsneden in vergelijking met directe TALYS-2.0-berekeningen.
• Nauwkeurigheid:
  • Bij het 3-parameter model presteerde het NN-model robuuster dan een traditionele kubische interpolator, vooral bij kleinere datasets (6x6x6).
  • Bij het 17-parameter model (met 2048 trainingsbestanden) bereikte het NN-model een RMSE van 0,75 mb en een MAE van 86,7 mb.
  • De prestaties waren vergelijkbaar voor zowel $^{139}$La als $^{nat}$Cu, wat wijst op generaliseerbaarheid.
• Parameteraanpassing:
  • De N-D (multi-parameter) aanpassing leverde een betere overeenkomst met TALYS-2.0 en experimentele data op dan de 1-D aanpassing.
  • De N-D-procedure duurde slechts 8 minuten (inclusief >100.000 parameter-evaluaties), terwijl een equivalente sequentiële TALYS-berekening onpraktisch lang zou duren.
  • Hoewel de resulterende dwarsdoorsneden vergelijkbaar waren met eerdere publicaties, vertoonden de geoptimaliseerde parameters zelf enkele verschillen, voornamelijk door verschillen in convergentiecriteria en gevoeligheid van bepaalde parameters.

Significantie

Deze studie markeert een belangrijke doorbraak in de computernucleaire fysica door machine learning te integreren in het workflow voor parameteroptimalisatie.

• Parallelisatie: Het maakt het mogelijk om de parameteraanpassing volledig te paralleliseren, wat gebruik maakt van moderne HPC-systemen en GPU's.
• Flexibiliteit: Omdat het surrogaatmodel zo snel is, kunnen onderzoekers snel verschillende FOM-metrics (Figure of Merit), experimentele datasets of selecties van reactiekanalen testen zonder opnieuw duizenden TALYS-berekeningen te hoeven draaien.
• Toekomstperspectief: De methode biedt de basis voor verdere optimalisatie (bijv. het verminderen van het aantal benodigde trainingsbestanden) en uitbreiding naar meerdere doelkernen binnen één model, wat de productie van radio-isotopen voor medische en wetenschappelijke doeleinden aanzienlijk kan versnellen.