Transformer-Based Pulse Shape Discrimination in HPGe Detectors with Masked Autoencoder Pre-training

Dit artikel toont aan dat transformer-modellen, met name wanneer ze vooraf zijn getraind met een masked autoencoder, superieur presteren ten opzichte van traditionele methoden bij pulse-shape discriminatie in HPGe-detectors voor zeldzame gebeurtenissen, doordat ze volledige golfvormen direct verwerken en minder gelabelde data vereisen.

De kern

Titel: De Digitale Fysicus die "Luistert" naar Atomen

Stel je voor dat je in een heel stil, donker kelder zit. Plotseling hoor je een heel zacht geluid: een tik. Is het een muis die over de vloer loopt (een gevaarlijke achtergrondstoring), of is het een mysterieuze, zeldzame stem uit het heelal die ons probeert te vertellen hoe het universum werkt?

Dit is precies wat wetenschappers doen met HPGe-detectoren (grote, superkoude germanium-blokken). Ze zoeken naar een heel zeldzaam fenomeen: de "neutrinoloze dubbel-bèta-verval". Als ze dit vinden, is het een enorme doorbraak in de natuurkunde. Maar het probleem is dat er veel "ruis" is (zoals de muis) die het echte signaal (de stem) kan verstoppen.

Vroeger keken wetenschappers naar de geluidsgolven (de pulsvormen) en probeerden ze een paar simpele getallen te halen, zoals "hoe hoog was de piek?" of "hoe lang duurde het?". Het was alsof je een symfonie probeerde te beschrijven door alleen te zeggen: "Het was luid en duurde 3 seconden." Je miste hierdoor veel details.

In dit nieuwe papier gebruiken de onderzoekers een slimme nieuwe methode, gebaseerd op AI (Kunstmatige Intelligentie), om naar die geluiden te luisteren. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Oude Manier" vs. De "Nieuwe Manier"

• De Oude Manier (GBDT): Stel je voor dat je een detective bent die alleen kijkt naar een lijstje met feiten: "De verdachte was 180 cm, droeg een rode hoed en liep snel." Je vergelijkt dit met een lijstje van bekende misdadigers. Dit werkt goed, maar je ziet de persoon niet echt. Je mist de nuances in zijn gezicht of de manier waarop hij loopt.
• De Nieuwe Manier (Transformers): Nu gebruiken ze een AI die het hele geluid luistert, van begin tot eind. Het is alsof je een detective bent die de volledige video van de verdachte bekijkt. Hij ziet hoe de persoon loopt, hoe hij ademhaalt, en hoe hij reageert op de omgeving. Deze AI (een Transformer) is speciaal ontworpen om patronen te zien in lange reeksen gegevens, net zoals taalmodellen (zoals ChatGPT) zinnen begrijpen.

2. De "Maskerade" (Masked Autoencoder)

Het grootste probleem bij dit soort onderzoek is dat je heel weinig "bevestigde" voorbeelden hebt. Je weet niet altijd zeker of een geluid een muis was of een atoom. Het is alsof je een taal wilt leren, maar je hebt maar 10 zinnen met de juiste vertaling, en 10.000 zinnen zonder vertaling.

De onderzoekers gebruikten een slimme truc die ze "Masked Autoencoder" noemen.

• De Analogie: Stel je voor dat je een kind leert lezen door een boek te geven waarbij 50% van de woorden bedekt zijn met plakband. Het kind moet de ontbrekende woorden raden op basis van de zinnen eromheen.
• Hoe het werkt: De AI krijgt duizenden geluiden van de detector, maar de helft van het geluid wordt "weggeplakt". De AI moet proberen het ontbrekende stukje te reconstrueren. Door dit miljoenen keren te doen, leert de AI vanzelf hoe een "normaal" geluid eruit ziet, hoe het beweegt en wat de structuur is. Het leert de "grammatica" van de atomaire geluiden zonder dat iemand hoeft te zeggen wat wat is.

3. De "Finetuning" (Fijnafstemming)

Nadat de AI door die "maskerade" het basispatroon van de geluiden heeft begrepen, krijgen ze de 10 zinnen met de echte vertaling (de gelabelde data). Omdat de AI al zo veel heeft geleerd over de structuur van de geluiden, heeft hij nu heel weinig voorbeelden nodig om te leren het verschil te maken tussen "muis" en "atoom".

Het resultaat?

• Minder data nodig: De AI kan net zo goed presteren met 100 voorbeelden als de oude methode met 400. Dat is als een student die met 100 woorden een taal spreekt die anderen pas na 400 woorden beheersen.
• Beter onderscheid: De AI is veel beter in het herkennen van de lastige, rare geluiden die de oude methode vaak verkeerd inschatte.

4. Waarom is dit belangrijk?

Deze nieuwe methode helpt de wetenschappers om de "muis" (de achtergrondruis) beter te filteren dan ooit tevoren.

• Voor de LEGEND-experimenten: Dit is cruciaal voor toekomstige experimenten (zoals LEGEND-1000) die tonen van germanium zullen gebruiken. Ze hebben een heel zuivere "luisteromgeving" nodig om het zeldzame signaal te horen.
• Energie-meting: De AI kan ook de energie van het geluid iets nauwkeuriger meten, alsof je niet alleen hoort dat er geklopt is, maar ook precies hoe hard er geklopt is.

Conclusie

Kortom: De onderzoekers hebben een AI gebouwd die eerst "luistert" naar duizenden onbekende geluiden om de structuur te begrijpen (de maskerade), en daarna leert om de zeldzame, belangrijke geluiden te onderscheiden van de ruis. Ze gebruiken geen simpele lijsten meer, maar kijken naar het hele plaatje. Hierdoor kunnen ze met minder data betere resultaten bereiken, wat de kans vergroot dat ze eindelijk die ene, historische ontdekking doen die ons vertelt waar het universum van gemaakt is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Transformer-Based Pulse Shape Discrimination in HPGe Detectors with Masked Autoencoder Pre-training" in het Nederlands.

Probleemstelling

Pulsvormdiscriminatie (PSD) in germaniumdetectors van hoge zuiverheid (HPGe) is cruciaal voor het zoeken naar zeldzame gebeurtenissen, zoals het dubbel-bètaverval zonder neutrino's ($0\nu\beta\beta$). Traditionele methoden comprimeren de volledige gedigitaliseerde golfvormen naar een klein aantal samenvattende parameters (zoals piek-amplitude en tijd). Hoewel deze aanpak robuust is, gaat hierbij waardevolle informatie uit de volledige tijdsreeks verloren die relevant kan zijn voor classificatie.

Daarnaast is het trainen van toezichthoudende (supervised) machine learning-modellen complex vanwege het gebrek aan per-gebeurtenis topologielabels. Trainingsdoelen zijn vaak gebaseerd op simulaties of door analyse gedefinieerde proxy-labels, wat kan leiden tot labelruis. Er is behoefte aan methoden die de volledige golfvorm direct kunnen verwerken en die efficiënter kunnen leren met minder gelabelde data.

Methodologie

De auteurs evalueren transformer-gebaseerde modellen die direct werken op gedigitaliseerde golfvormen van de Majorana Demonstrator (MJD). Ze vergelijken drie benaderingen:

1. Supervised training from scratch: Een transformer die direct wordt getraind op gelabelde data.
2. Masked Autoencoder (MAE) pre-training: Een zelftoezichthoudende (self-supervised) fase op ongelabelde kalibratie-golfvormen, gevolgd door fine-tuning op gelabelde data.
3. Baseline: Een Gradient-Boosted Decision Tree (GBDT) die werkt op handgemaakte, fysiek gemotiveerde kenmerken.

Modelarchitectuur:

• Input: De invoer bestaat uit gedigitaliseerde ladingstraces (3.800 samples) en hun eerste-orde gradiënt (als proxy voor stroom). De data wordt opgedeeld in niet-overlappende vensters van 10 tijdstappen.
• Detector-conditioning: Omdat verschillende detectors verschillende pulsvormkarakteristieken hebben, wordt het model "geconditioneerd" op de detectoridentiteit via Feature-wise Linear Modulation (FiLM). Dit past schaal- en verschuifparameters toe op de embeddings zonder aparte modelparameters per detector te vereisen.
• Encoder: Een transformer-encoder met 6 lagen, 8 attention-heads en een embedding-dimensie van 64. Positie-encoding wordt gebruikt om de tijdsorde te behouden.
• Pre-training (MAE): Tijdens de pre-training worden 50% van de tijdsvensters gemaskeerd. Het model leert de ontbrekende delen van zowel de golfvorm als de gradiënt te reconstrueren. Dit dwingt de encoder om fundamentele structuren (zoals ladingstijdtijden en ruis) te leren.
• Fine-tuning: Na pre-training wordt de decoder verworpen. De encoder wordt verder getraind (fine-tuned) op gelabelde data voor twee taken:
  • PSD-classificatie: Vier binaire accept/reject labels (DCR, hoge/laag AvsE, LQ).
  • Energiereductie: Regressie om de gekalibreerde energie te voorspellen.

Belangrijkste Bijdragen

1. Detector-geconditioneerde Transformer: Ontwikkeling van een architectuur die direct op ruwe ladingstraces werkt, waardoor handgemaakte kenmerkcompressie overbodig wordt en aanpassing aan verschillende detectors mogelijk is.
2. Verbeterde Steekproefefficiëntie: Aantonen dat MAE pre-training op ongelabelde data de hoeveelheid benodigde gelabelde data voor downstream-taken met een factor 2–4 kan verminderen, vooral in regimes met weinig data.
3. Benchmarking: Een uitgebreide vergelijking met een GBDT-baseline, waarbij wordt aangetoond dat end-to-end golfvormmodellering superieur is, met name voor de moeilijkste PSD-doelen.
4. Energiereductie: Onderzoek naar energie-regressie, waarbij fine-tuning leidt tot een iets smallere residu-verdeling vergeleken met training from scratch.

Resultaten

• PSD-classificatie: De transformer-modellen presteren consequent beter dan de GBDT-baseline op alle vier PSD-doelen (gemeten in AUROC en F1-score). De grootste winst wordt geboekt bij de moeilijkste labels (LQ en DCR) en bij de gecombineerde "PSD-pass" definitie.
  • Voorbeeld: Voor de gecombineerde PSD-pass taak steeg de AUROC van 0,9598 (GBDT) naar 0,9918 (fine-tuned transformer).
• Effect van Pre-training: Fine-tuning na MAE pre-training levert consistente verbeteringen op, vooral bij beperkte datasets. Met slechts 65.000 gelabelde golfvormen en 2 trainingsepochs bereikt het fine-tuned model een vergelijkbare prestatie als een model dat from scratch is getraind op 260.000 golfvormen.
• Energiereductie: Beide transformer-varianten vertonen een kleine onderestimatie van de energie (ongeveer 0,8%), maar fine-tuning verkleint de spreiding van de residuen ($\sigma$ daalt van 0,0424 naar 0,0407), wat wijst op een nauwkeurigere energieherconstructie.
• Reconstructie: De MAE-toepassing toont aan dat het model in staat is om gemaskeerde delen van golfvormen (inclusief complexe structuren zoals dubbele pieken bij multi-site gebeurtenissen) met hoge precisie te reconstrueren, wat bevestigt dat het algemene detectorrespons heeft geleerd.

Betekenis en Toekomstperspectief

De resultaten zijn veelbelovend voor de $0\nu\beta\beta$-onderzoeksgemeenschap (zoals het LEGEND-programma). Hoewel de verbeterde classificatie nog niet direct is omgezet in een kwantitatieve verbetering van de halfwaardetijd-sensitiviteit (dit vereist een gedetailleerde studie van signaalefficiëntie en achtergrondacceptatie), biedt de methode een krachtig nieuw instrument.

De belangrijkste implicaties zijn:

• Efficiëntie: Het verminderen van de afhankelijkheid van grote, gelabelde datasets maakt snellere iteraties mogelijk bij nieuwe detectorconfiguraties of analyses.
• Generalisatie: De aanpak is overdraagbaar naar andere HPGe-experimenten en lage-achtergrond zoektochten.
• Volgende stappen: Toekomstig werk moet zich richten op het testen van robuustheid over verschillende detectors en operationele condities, en het evalueren van de prestaties in de specifieke energiezone van $Q_{\beta\beta}$.

Samenvattend bewijst dit paper dat transformer-architectures, ondersteund door zelftoezichthoudende pre-training, een superieur alternatief bieden voor traditionele PSD-methoden in HPGe-detectoren, met name door het efficiënter benutten van beschikbare data.