Pulse Shape Discrimination Algorithms: Survey and Benchmark

Dit artikel presenteert een uitgebreid overzicht en benchmark van bijna zestig algoritmes voor puls-vormdiscriminatie in stralingsdetectie, waarbij diep leermethoden vaak de traditionele technieken overtreffen en een open-source toolbox wordt vrijgegeven om reproduceerbaarheid te bevorderen.

De kern

Stel je voor dat je in een drukke feestzaal staat waar twee soorten mensen praten: Neutrons (laten we ze "de zware gasten" noemen) en Gamma-stralen (de "lichte, snelle gasten"). Beide groepen maken geluid, maar hun stemmen klinken net iets anders. De zware gasten spreken met een langere, diepere echo, terwijl de lichte gasten kort en scherp klinken.

Je taak als "detective" is om in dit geluidskabaal precies te weten wie wie is. Dit noemen we in de wetenschap Pulse Shape Discrimination (PSD).

Deze paper is als een enorme wedstrijd tussen 60 verschillende detectives (algoritmes) om te zien wie het beste kan horen wie wie is. De auteurs hebben niet alleen gekeken naar de oude, bewezen methoden, maar ook naar de nieuwste, slimme kunstmatige intelligentie (AI).

Hier is wat ze hebben ontdekt, vertaald naar begrijpelijke taal:

1. De Twee Campussen: De Oude School vs. De Nieuwe Slimme Jongens

De onderzoekers hebben alle methoden in twee groepen verdeeld:

• De Oude School (Statistische Methoden): Dit zijn de detectives die werken met vaste regels. Ze zeggen bijvoorbeeld: "Als het geluid langer dan 10 milliseconden echoot, is het een zware gast." Ze kijken naar specifieke delen van het geluid, zoals de hoeveelheid energie of de snelheid van de afname.
  • Voorbeeld: Charge Comparison. Dit is alsof je kijkt naar hoe lang de staart van de geluidsgolf is.
• De Nieuwe Slimme Jongens (Machine Learning & Deep Learning): Dit zijn detectives die niet met regels werken, maar met leren. Je geeft ze duizenden voorbeelden van "zware" en "lichte" gasten, en ze leren zelf de patronen te herkennen. Ze zijn als een kind dat door veel te luisteren leert het verschil te horen, zonder dat iemand een boekje met regels heeft gegeven.

2. De Grote Wedstrijd: Wie wint er?

De auteurs hebben alle 60 detectives getest op twee verschillende datasets (een soort "proefballen" met bekende en onbekende geluiden).

• De verrassing: De Deep Learning-modellen (de slimme AI) wonnen vaak, maar niet altijd op de manier waarop je zou denken.
• De kampioen: De winnaar was vaak een MLP (Multi-Layer Perceptron). Klinkt ingewikkeld? Denk hieraan als een super-simpel, maar zeer scherp zenuwstelsel. Het kijkt naar het hele geluid en weet precies welk stukje belangrijk is.
• De teleurstelling: De CNN's (Convolutional Neural Networks), die normaal gesproken de koningen zijn van beeldherkenning (zoals het herkennen van katten op foto's), deden het hier slecht.
  • Waarom? Een CNN is als een detective die zoekt naar patronen die overal kunnen staan (zoals een neus op een gezicht, of een neus op een andere plek). Maar bij geluidsgolven is het patroon altijd op precies hetzelfde tijdstip. De CNN probeerde te zoeken waar het niet nodig was, en raakte daardoor in de war.
• De andere verliezers: De Transformers (de modellen die ChatGPT aandrijven) en Mamba (een nieuwe, snelle AI) deden het ook niet zo goed. Ze zijn te complex voor dit kleine, simpele probleem. Het is alsof je een raket gebruikt om een postzegel te plakken; het werkt, maar het is overkill en inefficiënt.

3. De "Leerling" die de "Meester" verslaat

Een van de coolste ontdekkingen is dat de AI soms beter kan zijn dan de regels waarvoor hij is getraind.

• Stel, je geeft een AI een "oude school" methode als leraar. De AI leert van die methode, maar is zo slim dat hij kleine foutjes in de regels van de leraar oplost en zelfs beter presteert.
• De beste strategie bleek een hybride aanpak: Gebruik een bewezen, simpele statistische methode om de basis te leggen, en laat een slimme AI de rest doen. Dit is als het hebben van een ervaren gids die je de weg wijst, maar een GPS die de route perfect optimaliseert.

4. Hoe meten we of het goed gaat?

Vroeger keken wetenschappers alleen naar een getal genaamd FOM (Figure of Merit). Dit is alsof je kijkt of de twee groepen mensen in de zaal ver genoeg uit elkaar staan.

• De paper zegt: "Kijk niet alleen naar de afstand!" Soms staan ze ver uit elkaar, maar zijn ze toch verkeerd ingedeeld.
• Ze introduceren nieuwe maatstaven zoals de F1-score (een combinatie van precisie en volledigheid) en ROC-curves. Dit is als kijken naar hoe goed de detective niet alleen de groepen scheidt, maar ook hoeveel mensen hij per ongeluk de verkeerde kant op stuurt.

5. De Energie-uitdaging

De paper testte ook wat er gebeurt als de "gasten" harder of zachter praten (verschillende energie-niveaus).

• Bij hogere energie (harder praten) werken de methoden meestal beter.
• Bij heel lage energie (fluisterend) wordt het lastig, maar de slimme AI-methoden bleken hier toch het meest robuust te zijn.

6. De Grootste Bijdrage: Alles is Openbaar!

Het allerbelangrijkste deel van deze paper is niet alleen wat ze hebben gevonden, maar wat ze delen.

• Ze hebben een gratis toolbox gemaakt (in Python en MATLAB) met al die 60 methoden erin.
• Ze hebben de datasets openbaar gemaakt.
• Dit is alsof ze niet alleen zeggen "Ik heb de beste auto gebouwd", maar ook de blauwdrukken, de motor en de banden gratis online zetten zodat iedereen zelf kan bouwen, testen en verbeteren.

Samenvatting in één zin

Deze paper laat zien dat voor het herkennen van straling, simpel en slim (zoals een goed getrainde MLP) vaak beter werkt dan complex en modieus (zoals Transformers of CNN's), en dat de beste toekomst ligt in het combineren van oude, betrouwbare regels met nieuwe AI, waarbij alles openbaar wordt gedeeld om de wetenschap vooruit te helpen.

Technische samenvatting

Probleemstelling

Pulse Shape Discrimination (PSD) is een kritieke techniek in stralingsdetectie die het mogelijk maakt om verschillende deeltjestypes (zoals neutronen en gammastraling) te onderscheiden binnen een gemengd stralingsveld. Hoewel er decennialang veel algoritmen zijn ontwikkeld, ontbreekt er een gestandaardiseerde, systematische vergelijking. Bestaande literatuur focust vaak op specifieke materialen of hoog-niveau overzichten, maar biedt geen eerlijke, kwantitatieve benchmark van de enorme diversiteit aan methoden. De huidige methoden worden vaak geëvalueerd op verschillende datasets met uiteenlopende metrieken, wat directe vergelijking en de selectie van de optimale methode voor specifieke toepassingen bemoeilijkt.

Methodologie

De auteurs hebben een uitgebreid onderzoek uitgevoerd waarbij bijna zestig verschillende PSD-algoritmen werden geïmplementeerd, geclassificeerd en geëvalueerd.

1. Taxonomie van Algoritmen:
   De methoden zijn onderverdeeld in twee hoofdcategorieën:

   • Statistische discriminatie: Werkt zonder vooraf gelabelde trainingsdata.
     • Tijdsdomein: Ladingsvergelijking (CC), Ladingsintegratie (CI), Gatti-parameter, Log-Likelihood Ratio, etc.
     • Frequenti domein: Discrete Fourier Transformatie (DFT), Wavelet-transformatie, Fractale spectrum.
     • Neurale netwerken (statistisch): Pulse-Coupled Neural Networks (PCNN), Spiking Cortical Models (SCM).
   • Discriminatie op basis van voorafgaande kennis (Prior-knowledge): Vereist gelabelde trainingsdata.
     • Machine Learning (ML): Support Vector Machines (SVM), K-Nearest Neighbors (KNN), Boosted Decision Trees (BDT).
     • Deep Learning (DL): Convolutional Neural Networks (CNN), Multi-Layer Perceptrons (MLP), Recurrent Neural Networks (RNN/LSTM/GRU), Transformers en Mamba.

2. Datasets:
   Twee gestandaardiseerde datasets werden gebruikt om alle algoritmen te testen:

   • Een ongelabelde dataset van een $^{241}\text{Am-9Be}$ bron (plastic scintillator EJ299-33), gebruikt voor het evalueren van statistische methoden via de Figure of Merit (FOM).
   • Een gelabelde Time-of-Flight (TOF) dataset van een $^{238}\text{Pu-9Be}$ bron (YAP:Ce en NE213A detectoren), gebruikt voor het trainen en testen van ML/DL-modellen met klassieke classificatiemetrieken (Accuracy, Precision, Recall, F1-score, ROC-AUC).

3. Evaluatiestrategie:

   • Voor statistische methoden werd de FOM (Figure of Merit) gebruikt om de scheiding tussen neutronen- en gamma-distributies te meten.
   • Voor DL/ML-methoden werden twee benaderingen getest: directe classificatie en regressie waarbij modellen werden getraind om de output van statistische methoden te voorspellen (hybride aanpak).
   • Er werden ook alternatieve metrieken geïntroduceerd, zoals correlatie-analyses tussen methoden en prestaties bij verschillende energie-drempels (2 tot 5 MeV).

Belangrijkste Bijdragen

• Uitgebreide Benchmark: De eerste studie die bijna 60 methoden systematisch vergelijkt op een unificatie platform.
• Open-Source Toolbox: De auteurs hebben een open-source toolbox vrijgegeven (in Python en MATLAB) die implementaties bevat van alle onderzochte algoritmen en de gebruikte datasets. Dit bevordert reproduceerbaarheid.
• Hybride Regressie-analyse: Het tonen aan dat DL-modellen kunnen fungeren als "versterkers" voor statistische methoden, waarbij ze trainen op de output van statistische algoritmen om de prestaties te verbeteren.
• Architecturale Inzichten: Een kritische analyse van waarom bepaalde moderne architecturen (zoals CNNs en Transformers) minder goed presteren dan eenvoudige modellen in de context van PSD.

Resultaten

1. Prestatie van Deep Learning:

   • Deep Learning-modellen, en specifiek Multi-Layer Perceptrons (MLP's), presteren over het algemeen het beste. Ze behalen vaak F1-scores boven de 0,95 en FOM-waarden die aanzienlijk hoger zijn dan traditionele statistische methoden.
   • Hybride modellen (bijv. een MLP die trainen op de output van een PCNN of CI-methode) kunnen de prestaties van de "leraar" (het statistische algoritme) overtreffen. Een GRU-model trainend op CI-data bereikte bijvoorbeeld een FOM van 1,85, wat een record is in deze studie.
   • MLP's vs. Complexere Architecturen: Simpele MLP's bleken superieur aan complexe modellen zoals CNNs, Transformers en Mamba.
     • Reden: PSD-kenmerken bevinden zich op vaste tijdsposities in het signaal. MLP's kunnen deze posities direct leren, terwijl CNN's (ontworpen voor translatie-invariantie) en Transformers (ontworpen voor lange-range afhankelijkheden) overbodige complexiteit introduceren en overfitting riskeren op de relatief korte pulsdata.

2. Evaluatiemetrieken:

   • De traditionele FOM is niet altijd betrouwbaar, vooral bij ongelijkmatige datasets of wanneer histogrammen goed gescheiden zijn maar de classificatiefouten hoog zijn.
   • De F1-score en ROC-AUC blijken robuustere metrieken voor gelabelde data.
   • Correlatie-analyses tussen methoden kunnen helpen bij het beoordelen van de consistentie van methoden zonder grondwaarheid.

3. Invloed van Energie:

   • De prestaties van de meeste methoden verbeteren bij hogere energie-drempels (tot 4 MeV), maar dalen bij 5 MeV door verhoogde ruis en labelingfouten in de TOF-data. Top-methoden (zoals MLP1STFT en CI) tonen echter robuustheid over het hele spectrum.

Betekenis en Conclusie

De studie concludeert dat de keuze voor een PSD-algoritme niet langer hoeft te gaan om een strikte afweging tussen snelheid (statistisch) en nauwkeurigheid (DL). Dankzij GPU-versnelling kunnen geoptimaliseerde DL-modellen (zoals MLP's) in real-time presteren en tegelijkertijd superieure nauwkeurigheid bieden.

De belangrijkste inzichten zijn:

• Hybride aanpakken zijn de toekomst: het combineren van robuuste statistische feature-extractie met ML/DL-regressors levert de beste resultaten.
• Simpelheid wint: Voor PSD-taken zijn complexe architecturen (CNN, Transformer) vaak niet nodig en zelfs contraproductief; eenvoudige MLP's zijn de meest efficiënte en accurate keuze.
• Reproduceerbaarheid: De vrijgegeven toolbox en datasets vormen een cruciale basis voor toekomstig onderzoek in stralingsdetectie, kernfysica en nucleaire beveiliging.

De auteurs pleiten voor een verschuiving in de evaluatie van PSD-methoden, weg van alleen FOM, naar een meer genuanceerde benadering met F1-scores, AUC en correlatiestudies.