Multi-task deep neural network for predicting both nuclear fission yields and their experimental errors in peak-shaped data

Dit paper introduceert een multi-task deep neural network met een nieuwe verliesfunctie en de integratie van het oneven-even-effect om zowel kernsplijtingsopbrengsten als hun experimentele fouten in piekvormige data nauwkeuriger te voorspellen dan bestaande methoden.

De kern

Stel je voor dat je een enorme, complexe puzzel probeert op te lossen. De stukjes van deze puzzel zijn kernsplijting: het proces waarbij zware atoomkernen (zoals uranium) uit elkaar vallen in kleinere stukjes. Voor het veilig en efficiënt ontwerpen van kerncentrales is het cruciaal om te weten welke stukjes er precies ontstaan en in welke hoeveelheden. Dit noemen wetenschappers de "opbrengst" (yield).

Het probleem is dat deze opbrengst niet zomaar een rechte lijn is. Het lijkt meer op een berglandschap met scherpe pieken en diepe dalen. Bovendien is het niet altijd mogelijk om in het lab elke mogelijke situatie te meten. Soms missen we gegevens voor bepaalde energieën of zeldzame atoomsoorten.

Hier komt dit onderzoek om de hoek kijken. De auteurs hebben een slimme nieuwe manier bedacht om deze ontbrekende puzzelstukjes te voorspellen, en ze hebben het gedaan met een beetje "magie" van kunstmatige intelligentie.

Hier is een eenvoudige uitleg van wat ze hebben gedaan, vertaald naar alledaagse taal:

1. De Twee Vragen die je tegelijk moet beantwoorden

Stel je voor dat je een weerman bent. Je wilt niet alleen voorspellen of het gaat regenen (de hoeveelheid), maar ook hoe zeker je bent van die voorspelling (de foutmarge).

• De Opbrengst (FPY): Hoeveel van een bepaald atoom ontstaat er?
• De Foutmarge (FPY Error): Hoe betrouwbaar is die schatting?

In de natuurkunde hangen deze twee dingen sterk aan elkaar. Als er veel van een atoom ontstaat, is de meting vaak heel betrouwbaar (kleine foutmarge). Als er weinig ontstaat, is het lastiger te meten (grote foutmarge).

De oude aanpak: Wetenschappers probeerden deze twee vragen apart te beantwoorden. Alsof je eerst de weersvoorspelling doet, en daarna in een apart boekje kijkt hoe onzeker die voorspelling is.
De nieuwe aanpak (Multi-task Learning): De onderzoekers hebben een slim computerprogramma (een "Multi-task Deep Neural Network") gebouwd dat beide vragen tegelijk beantwoordt. Het is alsof je een weerman opleidt die de voorspelling en de zekerheid ervan in één adem leert berekenen. Omdat de twee dingen met elkaar verbonden zijn, helpt het ene antwoord het andere om beter te worden.

2. Het probleem met de "Pieken"

De data ziet eruit als een berglandschap met scherpe pieken. Standaard computerprogramma's (die vaak werken met gemiddelden) zijn niet goed in het voorspellen van die scherpe pieken. Ze maken de berg vaak te glad of missen de top helemaal.

De oplossing: Een gewogen beloningssysteem
Stel je voor dat je een speler traint in een spel. Normaal krijg je punten voor elke goede zet. Maar in dit onderzoek zeggen ze tegen de computer: "Als je de scherpe pieken goed raakt, krijg je dubbel zoveel punten. Als je de vlakke dalen mist, maakt dat minder uit."
Dit noemen ze een "gewogen verliesfunctie". Door de computer extra te belonen voor het goed voorspellen van die moeilijke pieken, leert hij die specifieke vorm veel beter na te bootsen.

3. De "Even-Odd" Magie

In de kernfysica is er een grappig fenomeen: atoomkernen met een even aantal deeltjes zijn vaak stabieler en komen vaker voor dan die met een oneven aantal. Dit zorgt voor een zigzag-patroon in de data (zoals een tandenborstel).
De onderzoekers hebben dit patroon expliciet in het programma gestopt als een extra hint. Het is alsof je een speler vertelt: "Kijk, als het getal even is, moet je verwachten dat de berg iets hoger is." Dit helpt het programma om de kleine, fijne details in het berglandschap veel realistischer te tekenen.

4. Wat leverde dit op?

De onderzoekers hebben hun nieuwe methode getest tegen oude methoden (zoals Bayesiaanse netwerken) en traditionele deep learning.

• Resultaat: Hun nieuwe methode (Multi-task + Gewogen punten + Even/Odd hint) was de beste. Het kon de scherpe pieken van de kernsplijting veel nauwkeuriger voorspellen dan de oude methoden.
• Bovendien: Omdat het programma ook de "zekerheid" (foutmarge) meeleerde, gaf het ook een goed beeld van hoe betrouwbaar de voorspelling was. Dit is goud waard voor ingenieurs die kerncentrales bouwen; ze weten dan precies hoe groot het risico is.

5. Waarom is dit belangrijk?

Kernenergie is complex en veiligheidskritisch. Als je niet precies weet welke atomen er ontstaan bij een splijting, kun je geen veilige reactoren ontwerpen of weten hoe je afval het beste moet verwerken.
Met deze nieuwe "slimme puzzeloplosser" kunnen wetenschappers nu betrouwbaar voorspellen wat er gebeurt in situaties die we nog niet in het lab hebben gemeten (bijvoorbeeld bij heel hoge energieën). Het vult de gaten in onze kennis op een manier die natuurkundig logisch is en technisch zeer nuttig.

Kortom: Ze hebben een slimme AI-trainer gebouwd die twee taken tegelijk doet, extra punten geeft voor moeilijke pieken, en gebruikmaakt van een natuurwettige hint (even/oneven), zodat we de toekomst van kernenergie beter kunnen begrijpen en veilig kunnen maken.

Technische samenvatting

Titel: Multi-task deep neural network voor het voorspellen van zowel opbrengsten van kernsplijting als hun experimentele fouten in piekvormige data

1. Het Probleem

Kernsplijtingsproductopbrengsten (FPY - Fission Product Yields) zijn cruciaal voor diverse nucleaire toepassingen, zoals reactorontwerp, simulatie en veiligheid. Een groot probleem is dat bestaande nucleaire databanken (zoals JENDL, ENDF, etc.) vaak slechts beperkte data bevatten, voornamelijk voor thermische neutronenenergieën (0,5 eV) en enkele hoge energieën (14 MeV). Voor snelle reactoren en andere toepassingen moeten FPY-data bij andere energieën worden voorspeld.

De uitdagingen zijn tweeledig:

• Piekvormige distributie: FPY-data vertonen een kenmerkende "dubbel-gedrukte" (double-humped) piekvormige structuur met fijne, onregelmatige oscillaties veroorzaakt door het oneven-even effect (nucleonenparing). Traditionele modellen en zelfs geavanceerde machine learning-methoden (zoals Bayesiaanse Neurale Netwerken of BNN's) hebben moeite om deze complexe, niet-gladde piekstructuren nauwkeurig te reproduceren.
• Foutenbeheersing: Naast de opbrengstwaarde is de bijbehorende experimentele onzekerheid (FPY-fout) essentieel. Deze fouten zijn sterk gecorreleerd met de opbrengstwaarden (hoge opbrengsten hebben vaak lagere relatieve fouten), maar worden in conventionele methoden vaak onafhankelijk behandeld.

2. Methodologie

De auteurs stellen een geavanceerde Multi-task Deep Neural Network (DNN) architectuur voor, gebaseerd op het Multi-gate Mixture-of-Experts (MMoE) model, om zowel FPY-waarden als hun experimentele fouten gelijktijdig te voorspellen.

Kerncomponenten van de methode:

• Multi-task Learning (MMoE): In plaats van aparte modellen te trainen voor FPY en FPY-fouten, gebruikt het model een gedeelde inputlaag met meerdere "experts" (feedforward netwerken) en taakspecifieke poorten (gates). Dit stelt het model in staat om de sterke correlatie tussen opbrengst en fout te benutten, waardoor beide taken elkaar versterken tijdens het leerproces.
• Nieuwe Gewogen Verliesfunctie (Weighted Loss Function): Om het probleem van het onderschatten van de piekstructuren aan te pakken (een bekend probleem bij standaard MSE-verliesfuncties), introduceren de auteurs een aangepaste verliesfunctie.
  • Data-punten die als "piekdata" worden geïdentificeerd (gebaseerd op een drempelwaarde $r$ van de genormaliseerde FPY-waarde) krijgen een hogere weging.
  • De weging neemt lineair toe met de grootte van de FPY-waarde.
  • Dit forceert het model om prioriteit te geven aan het nauwkeurig voorspellen van de piekgebieden.
• Incorporatie van het Oneven-Even Effect: Als extra input-feature wordt een pariteitsindicator ($O_i$) toegevoegd. Deze geeft aan of het massagetal ($A$) even (1) of oneven (0) is. Voor niet-piekdata wordt deze waarde op 0,5 gezet om het contrast te verminderen waar het effect minder prominent is. Dit helpt het model de karakteristieke "zaagtand"-patronen in de distributie beter te leren.
• Data: Het model is getraind op data uit de JENDL-5 (Japanese Evaluated Nuclear Data Library) bibliotheek. De input bestaat uit ladingsgetal ($Z$), neutronengetal ($N$), massagetal van het fragment ($A$) en excitatie-energie ($E$).

3. Belangrijkste Bijdragen

1. Gelijktijdige voorspelling: Het is het eerste werk dat een multi-task model toepast om zowel FPY-waarden als hun geëvalueerde experimentele fouten simultaan te voorspellen, gebruikmakend van de onderliggende correlatie.
2. Specifiek voor piekdata: De ontwikkeling van een nieuwe verliesfunctie die specifiek is ontworpen om de onderfitting van piekstructuren in FPY-data te corrigeren.
3. Verbeterde fysieke consistentie: Door het oneven-even effect expliciet op te nemen als input, wordt de fysieke consistentie van de voorspellingen verbeterd, wat leidt tot een betere weergave van de fijne structuur in de splijtingsopbrengst.
4. Validatie op verschillende energieën: Het model is getest op belangrijke actiniden ($^{235,238}$U, $^{239,241}$Pu) bij thermische en snelle neutronenenergieën, en is in staat om data te voorspellen bij tussenliggende energieën waar geen experimentele data beschikbaar is.

4. Resultaten

De prestaties van het voorgestelde model (Multi-task DNN met gewogen verlies en oneven-even effect) werden vergeleken met Bayesiaanse Neurale Netwerken (BNN) en conventionele DNN's (enkelvoudige taken).

• Voorspellende nauwkeurigheid: Het voorgestelde model behaalde over het algemeen de laagste $\chi^2$-foutwaarden voor zowel totale data als specifiek voor de piekstructuren. Het presteerde beter dan zowel BNN als standaard DNN.
• Pieken: De combinatie van de gewogen verliesfunctie en het oneven-even effect resulteerde in de beste reproduceerbaarheid van de dubbel-gedrukte piekstructuur en de fijne oscillaties.
• Foutvoorspelling: Het model slaagde erin om de FPY-fouten nauwkeuriger te voorspellen dan BNN's. Interessant is dat BNN's vaker negatieve FPY-voorspellingen genereerden (17,52%), terwijl het multi-task model dit veel minder deed (8,29%).
• Energie-afhankelijkheid: Het model kon de trends in FPY-data bij verschillende incident-energieën (van 0,58 MeV tot 14,8 MeV) correct voorspellen, inclusief de verbreding van de pieken en de verschuiving van de piekposities door multi-kans splijting.
• Vergelijking BNN vs. DNN: Hoewel BNN's goed zijn in onzekerheidskwantificatie via betrouwbaarheidsintervallen, bleek het voorgestelde multi-task DNN superieur in het voorspellen van de gedetailleerde structuur van de pieken, wat de primaire focus van dit onderzoek was.

5. Betekenis en Conclusie

Dit onderzoek demonstreert dat multi-task learning, gecombineerd met domeinspecifieke aanpassingen (zoals de gewogen verliesfunctie en fysieke features), een krachtige aanpak is voor het voorspellen van complexe nucleaire data.

• Praktische toepassing: De methode biedt een betrouwbare manier om ontbrekende FPY-data bij niet-gemeten energieën te voorspellen, wat essentieel is voor het ontwerp en de veiligheidsanalyse van toekomstige kernreactoren (zoals snelle kweekreactoren).
• Onzekerheidsschatting: Het leveren van zowel de voorspelde waarde als de bijbehorende foutmarge helpt ingenieurs om de betrouwbaarheid van de data te beoordelen, wat cruciaal is voor de evaluatie van herverwerkingsinstallaties en geologische opslag.
• Toekomstperspectief: De auteurs benadrukken dat verdere verfijning van de verliesfuncties en het uitbreiden van de validatie naar een breder scala aan nucliden noodzakelijk is. Ook wordt voorgesteld om in de toekomst een simulatieframework te ontwikkelen om fouten voor supplementaire data (gegenereerd door Gaussische modellen) realistischer te schatten in plaats van ze op nul te zetten.

Kortom, de studie levert een significant vooruitgang in de toepassing van machine learning in de nucleaire fysica, specifiek voor het overwinnen van de uitdagingen die gepaard gaan met piekvormige en onzekerheidsbelaste data.