Machine Learning for neutron source distributions

Dit artikel stelt een nieuwe aanpak voor en evalueert deze, waarbij probabilistische generatieve modellen worden gebruikt om neutronenbronverdelingen te schatten op basis van Monte Carlo-deeltjeslijsten, waardoor na het trainen van de modellen efficiënt en geheugenonafhankelijk bemonsteren mogelijk wordt.

De kern

Stel je voor dat je probeert het perfecte recept voor een complexe, meerlagige taart na te maken. In de wereld van neutronenwetenschap is deze "taart" een stroom neutronen (kleine deeltjes) die uit een bron schieten, elk met hun eigen specifieke snelheid, richting, energie en timing.

Traditioneel hebben wetenschappers geprobeerd deze stroom op twee manieren na te maken:

1. De "Kopieer-Plak"-Methode: Ze draaien een enorme, trage computersimulatie om een gigantische lijst van elk afzonderlijk neutron te genereren. Ze slaan deze lijst op (een zogenaamd MCPL-bestand) en proberen deze keer op keer opnieuw te gebruiken. Het probleem? Als je meer neutronen nodig hebt dan de lijst bevat, kopieer en plak je gewoon dezelfde neutronen keer op keer. Dit veroorzaakt "glitches" of "hot spots" in de simulatie, zoals het eindeloos herhaalde patroon van kruimels zien.
2. De "Daan-Regel"-Methode: Ze proberen het recept te raden door de ingrediënten apart te bekijken (bijvoorbeeld: "hoeveel zijn snel?" "hoeveel zijn traag?"). Het probleem? Dit negeert hoe de ingrediënten zich met elkaar mengen. In werkelijkheid beweegt een snel neutron misschien altijd in een specifieke richting, maar deze methode behandelt ze alsof ze ongerelateerd zijn, waardoor de "smaak" van de echte data verloren gaat.

De Nieuwe Aanpak: De "AI-Kok"
Dit artikel introduceert een nieuwe manier om dit probleem op te lossen met behulp van Machine Learning. In plaats van de lijst te kopiëren of de regels te raden, hebben de auteurs vier verschillende soorten "AI-koks" (Generatieve Modellen) getraind om de essentie van het neutronenrecept te leren.

Hier is hoe het artikel dit uiteenzet:

1. De Trainingsfase (Het Recept Leren)

De AI-koks krijgen een steekproef van de originele, trage computersimulatie (de "trainingsdata"). Ze memoriseren niet zomaar de lijst; ze leren de complexe relaties tussen alle variabelen.

• De Analogie: Stel je voor dat je een kok duizend foto's van een specifiek type wolk laat zien. Ze memoriseren niet alleen de foto's; ze leren wat een wolk eruit laat zien als die wolk: de manier waarop de randen krullen, de dichtheid en hoe het licht erop valt. Zodra ze dit hebben geleerd, kunnen ze een nieuwe wolk schilderen die nog nooit heeft bestaan, maar er precies goed uitziet.

2. De Vier AI-Koks

De auteurs testten vier verschillende soorten AI-modellen om te zien welke het recept het beste leerde:

• Normalizing Flows (NF): Denk hierbij aan een kok die een stuk deeg perfect kan rekken en knijpen. Ze beginnen met een eenvoudige, uniforme bal deeg (willekeurige ruis) en rekken deze uit tot de exacte complexe vorm van de neutronenwolk. Het artikel concludeerde dat dit de beste kok was, die de meest accurate "nieuwe" neutronen creëerde die perfect overeenkwamen met de originele data.
• Variational Autoencoders (VAE): Deze kok probeert het recept te comprimeren tot een samenvatting en het daarna weer op te bouwen. Het is snel en goed voor complexe vormen, maar soms komt de herbouwde taart een beetje "wazig" of minder scherp uit dan het origineel.
• Generative Adversarial Networks (GAN): Dit is een "touwtrouw" tussen twee koks. De ene probeert een neppe taart te bakken, en de andere probeert de nep te ontdekken. Ze blijven concurreren totdat de neppe taart niet meer van het echte te onderscheiden is. Dit artikel vond ze wat lastig te trainen en vatbaar voor "valsspelen" (het herhalen van dezelfde paar patronen).
• Diffusion Models (DM): Deze kok begint met een lawaaierige, rommelige taart en maakt deze stap voor stap langzaam schoon totdat hij perfect is. Het werkt goed, maar is zeer traag en rekenkundig duur, alsof je een kamer schoonmaakt door één stofdeeltje per keer op te pakken.

3. De Resultaten: Waarom Het Belangrijk Is

Het artikel testte deze AI-koks op twee realistische scenario's:

• Scenario A (Het TDR-Datastel): Een complexe, hoog-energetische neutronenbron. De AI-koks leerden het recept zo goed dat ze miljoenen nieuwe neutronen konden genereren die statistisch identiek leken aan de originele simulatie, maar zonder de "kopieer-plak"-glitches.
• Scenario B (Het Benchmark-Datastel): Een realistisch experiment waarbij ze de door AI gegenereerde neutronen vergeleken met werkelijke metingen die in een laboratorium waren gedaan. De AI (specifiek de Normalizing Flow) kwam bijna perfect overeen met de realistische data.

Het Belangrijkste Voordeel:
Zodra de AI-kok het recept heeft geleerd, is de enorme, zware lijst van originele neutronen niet langer nodig. Het AI-model is klein (zoals een paar kilobyte) en kan direct onbeperkt nieuwe neutronen genereren die statistisch perfect zijn. Dit bespaart enorme hoeveelheden computertijd en geheugen.

Wat Het Artikel Niet Zegt

De auteurs zijn voorzichtig om te stellen dat deze modellen datagedreven zijn. Ze leren strikt van de data die ze krijgen.

• Als de originele simulatie een bepaald type neutron mistte, zal de AI dat niet uitvinden (tenzij het model specifiek wordt aangepast om buiten de data te gokken, wat het artikel opmerkt als een specifiek kenmerk van andere methoden, niet het primaire doel hier).
• Het artikel beweert niet dat deze modellen nieuwe fysica kunnen voorspellen of slechte data kunnen repareren; ze zijn hulpmiddelen om bestaande datapatronen efficiënt na te maken voor gebruik bij het ontwerpen van neutroneninstrumenten.

Samenvattend:
Het artikel toont aan dat we zware, glitch-gevoelige lijsten met neutronendata kunnen vervangen door kleine, slimme AI-modellen. Deze modellen leren het "DNA" van de neutronenstroom en kunnen op verzoek verse, realistische neutronen genereren, waardoor het ontwerpen van toekomstige neutronenexperimenten sneller, goedkoper en nauwkeuriger wordt. Van de vier geteste modellen was de Normalizing Flow de duidelijke winnaar.

Technische samenvatting

Technische Samenvatting: Machine Learning voor Neutronenbronverdelingen

Probleemstelling
Binnen neutronenoptica en instrumentontwerp is een accurate karakterisering van neutronen-fasruimtedistributies (positie, richting, tijd, energie, gewicht en polarisatie) op specifieke oppervlakken van cruciaal belang. Traditioneel worden deze distributies afgeleid uit Monte Carlo (MC)-simulaties (bijv. MCNP, PHITS, OpenMC) en opgeslagen als Monte Carlo Particle List (MCPL)-bestanden. Hoewel MCPL-bestanden als standaardinput dienen voor straaltraceersoftware (bijv. Vitess, McStas), brengt hun directe hergebruik aanzienlijke beperkingen met zich mee:

1. Statistische artefacten: Ondersampling en statistische ruis in het oorspronkelijke MCPL-bestand worden doorgegeven aan downstream-simulaties, wat kunstmatige structuren (bijv. "hot spots") en slechte convergentie veroorzaakt.
2. Verlies van correlatie: Alternatieve benaderingen die analytische of semi-analytische modellen aan individuele variabelen aanpassen, slagen er vaak niet in complexe, hoogdimensionale correlaties tussen fasruimtevariabelen te behouden. Deze correlaties zijn essentieel voor realistisch transport, vooral bij bronnen met hoge brilliancie.
3. Rekenkosten: Het opnieuw uitvoeren van MC-simulaties met hoge statistiek om nieuwe bronlijsten te genereren voor verschillende instrumentconfiguraties is tijdrovend en rekenkundig duur.

Bestaande machine learning-oplossingen, zoals Kernel Density Estimation (KDSource), adresseren enkele problemen maar vereisen vaak handmatige afstelling van belangsgewichten en worstelen met volledige multivariate fasruimteschatting, met name wanneer deeltjesgewichten variëren.

Methodologie
De auteurs stellen een raamwerk voor dat Probabilistische Generatieve Modellen (PGM's) gebruikt om de gezamenlijke waarschijnlijkheidsverdeling van neutronen-fasruimtevariabelen direct uit MCPL-bestanden te leren. Eenmaal getraind, kunnen deze modellen nieuwe, statistisch onafhankelijke neutronenstalen genereren die de correlaties van de oorspronkelijke verdeling behouden, zonder dat de oorspronkelijke deeltjeslijst nodig is.

• Datasets: Er werden twee verschillende datasets gebruikt om de modellen te evalueren:

  1. TDR-dataset: Een PHITS-simulatie van de para-waterstofmoderator van de High Brilliance Source (HBS) (676.558 neutronen). Deze dataset bevat deeltjesgewichten en bestrijkt een breed energiespectrum (koud, thermisch, snel), wat een complexe, hoogdimensionale (7 variabelen) modelleringstakente.
  2. Benchmark-dataset: Een PHITS-simulatie van het JULIC Neutron Platform (118.219 neutronen), gebenchmarkt tegen experimentele metingen uit 2023. Deze dataset heeft constante deeltjesgewichten (dimensie gereduceerd tot 6 variabelen) en staat directe validatie toe tegen experimentele spectra.
  3. Preprocessing: Alle variabelen werden genormaliseerd met MinMax-schaalverdeling. Logaritmische transformaties werden toegepast op tijd- en energiewaarden om hun brede dynamisch bereik te hanteren.

• Generatieve Modellen: Vier verschillende PGM-architecturen werden vergeleken:

  1. Normalizing Flows (NF): Specifiek Coupling Flows en Masked Autoregressive Flows (MAF). Deze modellen leren omkeerbare transformaties tussen een eenvoudige referentieverdeling (Gaussisch) en de complexe dataverdeling, wat exacte likelihood-evaluatie en steekproefneming mogelijk maakt.
  2. Variational Autoencoders (VAE): Een encoder-decoder-architectuur die een latente representatie van de data leert, geoptimaliseerd via een reconstructieverlies en een Kullback–Leibler (KL)-divergentie-regularisator.
  3. Generative Adversarial Networks (GAN): Een generatornetwerk dat getraind wordt tegen een discriminatornetwerk om stalen te produceren die niet te onderscheiden zijn van de echte data.
  4. Diffusion Models (DM): Modellen die leren een voorwaartse noiseproces om te keren om data uit willekeurige ruis te reconstrueren.

• Implementatie: Modellen werden getraind met PyTorch op het JUWELS booster-cluster. Een aangepaste C++-module, source AI, werd ontwikkeld voor de Vitess MC-software om getrainde PyTorch-modellen (via TorchScript) te laden en steekproeven in real-time uit te voeren, waardoor de invoer van MCPL-bestanden effectief wordt vervangen.

• Evaluatiemetrieken:

  • Maximum Mean Discrepancy (MMD): Gebruikt om de afstand tussen de geleerde verdeling en de oorspronkelijke MCPL-verdeling te kwantificeren in een Reproducing Kernel Hilbert Space (RKHS).
  • Steekproefsnelheid: Tijd nodig om 20.000 neutronen te genereren.
  • Fysische validatie: Vergelijking van gesimuleerde golflengtespectra met experimentele data van het JULIC-platform.

Belangrijkste Resultaten

• Verdelingsgetrouwheid: Alle modellen leerden succesvol de onderliggende verdelingen, maar Normalizing Flows (NF) toonden superieure prestaties. NF's behaalden de laagste MMD-scores op beide datasets (bijv. $1,19 \times 10^{-4}$ voor TDR en $1,20 \times 10^{-4}$ voor Benchmark), en presteerden beter dan VAE's, GAN's, Diffusion Models en de KDSource-basislijn.
• Behoud van correlaties: Visuele analyse van 2D-histogrammen bevestigde dat NF's complexe correlaties tussen variabelen (bijv. tijd-energie, hoek-positie) succesvol behielden die verloren gingen bij eenvoudigere fitmethoden.
• Steekproefficiëntie: Hoewel KDSource de snelste steekproeftijden bood, boden NF's een gunstig evenwicht tussen snelheid en nauwkeurigheid. VAE's en GAN's waren ook snel, terwijl Diffusion Models aanzienlijk langzamer waren om stalen te nemen vanwege hun iteratieve denoisingskarakter.
• Experimentele validatie: In de Benchmark-dataset reproduceerden NF-genereren bronnen het experimentele golflengtespectrum met hoge getrouwheid, waarbij ze de prestaties van KDSource evenaarden. In tegenstelling tot KDSource, hield het NF-model zich echter strikt aan de grenzen van de trainingsdata (vanwege de Sigmoid-activeringslaag), waardoor het genereren van onfysische extrapolaties (bijv. neutronen buiten de gids of met niet-geobserveerde golflengten) werd voorkomen, tenzij expliciet zo ontworpen.
• Robuustheid: Dezelfde modelarchitecturen vereisten minimale herafstelling wanneer ze werden toegepast op de twee verschillende datasets, wat robuustheid aantoont over variërende dimensionaliteiten en verdelingscomplexiteiten.

Betekenis en Claims
Het artikel beweert de eerste vergelijkende studie te presenteren die moderne generatieve ML-modellen integreert in neutronen-MC-pijplijnen en deze valideert tegen experimentele data. De primaire betekenis ligt in het aantonen dat:

1. PGM's levensvatbare vervangers zijn: Probabilistische generatieve modellen kunnen ruwe MCPL-bestanden vervangen, wat een geheugenefficiënte (modellen van enkele kilobytes versus bestanden van gigabytes) en statistisch robuuste methode biedt voor bronrepresentatie.
2. Normalizing Flows optimaal zijn: Van de geteste architecturen bieden NF's de beste afweging voor deze specifieke toepassing, met hoogwaardig verdelingsleren en de mogelijkheid om harde fysische beperkingen (bijv. begrenste fasruimte) direct in de architectuur op te nemen.
3. Workflow-integratie: De ontwikkelde source AI-module in Vitess bewijst dat deze modellen naadloos kunnen worden geïntegreerd in bestaande neutronensimulatie-workflows, waardoor snelle, onafhankelijke steekproefneming mogelijk is zonder de noodzaak van de oorspronkelijke trainingsdata.

De auteurs concluderen dat generatieve modellen, hoewel ze de behoefte aan initiële hoogwaardige MC-simulaties niet vervangen, wel een efficiënt, flexibel en fysisch betekenisvol hulpmiddel bieden voor downstream instrumentontwerp en -optimalisatie, met name in scenario's die herhaalde simulaties of steekproeven met hoge statistiek vereisen waarbij direct hergebruik van MCPL onpraktisch is.