Weakly supervised machine learning for model-agnostic searches of new phenomena in the $\gamma$-ray sky

Technische Samenvatting: Zwak Gesuperviseerd Machine Learning voor Model-Agnostische Zoektochten in de $\gamma$-straalhemel

Probleemstelling
De $\gamma$-straalhemel, met name zoals waargenomen door de Fermi Large Area Telescope (Fermi-LAT), bevat een significante populatie niet-geassocieerde bronnen die nieuwe astrofysische populaties of exotische fysica kunnen vertegenwoordigen (bijv. donkere materie subhalos, axion-foton oscillaties). Hoewel machine learning (ML) centraal staat bij bronclassificatie en zoektochten naar nieuwe fysica, vertrouwen bestaande benaderingen zwaar op volledig gesuperviseerde training. Dit vereist expliciete, gelabelde signaalmodellen voor elke geteste hypothese. Een kritieke beperking ontstaat wanneer het werkelijke exotische signaal afwijkt van het veronderstelde trainingsmodel, wat leidt tot een significante reductie in de sensitiviteit van de classifier. Bovendien zijn volledig gesuperviseerde methoden minder geschikt voor scenario's waarin labels op event-niveau niet beschikbaar zijn of het signaalmodel slechts gedeeltelijk gespecificeerd is.

Methodologie
Dit werk onderzoekt zwak gesuperviseerde classificatie als een minder modelafhankelijke alternatief. De kernstrategie maakt gebruik van een background-versus-mixture (BvM) opzet:

• Trainingsdata: In plaats van gelabelde signaal- en achtergrondevents, worden classifiers getraind op twee monsters met verschillende proporties van de signaalcomponent maar identieke achtergronddistributies.
  • Monster $B$ (Achtergrond): Zuivere astrofysische achtergrond $p_A(x)$.
  • Monster $M$ (Mengsel): Een mengsel $f p_E(x) + (1-f) p_A(x)$, waarbij $f$ de signaalfractie is en $p_E(x)$ de exotische signaalverdeling is.
• Theoretische Basis: Onder de aanname dat de achtergrondcomponent in beide monsters identiek verdeeld is, leert een classifier die onderscheid maakt tussen $B$ en $M$ een score die monotoon is ten opzichte van de optimale likelihood ratio $p_E(x)/p_A(x)$. Dit maakt de identificatie van signaal-achtige subsets mogelijk zonder individuele event-labels of voorkennis van de signaalfractie te vereisen.
• Classifier Architectuur: De auteurs maken gebruik van Boosted Decision Trees (BDTs) (specifiek GradientBoostingClassifier uit sklearn) als de standaard classifier. BDT's werden gekozen boven neurale netwerken vanwege hun stabiliteit, robuustheid tegen ruisachtige/gecorreleerde inputs en gemakkelijke optimalisatie. De input features zijn low-level spectrale fluxen in standaard energiebanden (7 bins voor pulsar/AGN/DM, 50 bins voor ALP-zoektochten) om een model-agnostische baseline te behouden.
• Data Augmentatie: Om klassenimbalans te behandelen en kleine signaalfracties te verkennen, gebruiken de auteurs normalizing flows om synthetische achtergrondspectra te genereren (specifiek voor AGN) die de statistische eigenschappen van geobserveerde bronnen evenaren.

Belangrijkste Bijdragen en Toepassingen
Dit werk valideert deze benadering over drie verschillende fysieke scenario's, waarbij de zwak gesuperviseerde resultaten worden vergeleken met volledig gesuperviseerde benchmarks:

1. Pulsars versus Actieve Galactische Kernen (AGN) – Gecontroleerde Benchmark:

   • Opzet: Gebruikmakend van de 4FGL-catalogus, worden pulsars behandeld als het signaal en AGN als de achtergrond.
   • Resultaat: De zwak gesuperviseerde benadering identificeert succesvol pulsars. Naarmate de signaalfractie in het mengsel toeneemt, stijgt de True Positive Rate (TPR) en nadert deze de prestaties van de volledig gesuperviseerde benchmark. De False Positive Rate (FPR) blijft stabiel. Dit demonstreert dat zwak toezicht bijna optimale prestaties kan herstellen wanneer het signaal en de achtergrond spectraal verschillend zijn.

2. Donkere Materie Subhalos – Model-Afhankelijke Uitdaging:

   • Opzet: Gesimuleerde subhalo-spectra (WIMP-annihilatie naar $b\bar{b}$) worden geïnjecteerd in een achtergrond van geïdentificeerde astrofysische bronnen.
   • Resultaat: Het probleem is uitdagender vanwege de spectrale overlap tussen subhalos en astrofysische bronnen. Hoewel zwak toezicht in staat is om subhalo-achtige spectra te identificeren zonder expliciete signaal-labels, blijft er een prestatiekloof bestaan vergeleken met de volledig gesuperviseerde baseline. De TPR is lager en de FPR is iets hoger, wat de conservatieve beslissingsgrens weerspiegelt die inherent is aan de BvM-opzet bij lage signaalfracties. Echter, de methode vermijdt de noodzaak om voor elke specifieke donkere materie massa of annihilatiekanaal hypothese opnieuw te trainen.

3. Axion-Like Particle (ALP) Oscillaties – Spectrale Onregelmatigheden:

   • Opzet: De zoektocht richt zich op subtiele, oscillerende spectrale deformaties ("wiggles") in pulsarspectra veroorzaakt door ALP-foton menging in Galactische magnetische velden, in plaats van een nieuwe bronpopulatie.
   • Resultaat: De studie simuleert gemoduleerde spectra met de GammaALPs tool en het Jansson-Farrar Galactische magnetische veldmodel. De auteurs vergelijken gesuperviseerde en zwak gesuperviseerde strategieën voor het detecteren van deze modulaties. De resultaten benadrukken de moeilijkheid van het detecteren van subtiele spectrale kenmerken met een hoge klasse-imbalans (10% signaal), waarbij de TPR laag blijft zelfs in het gesuperviseerde geval. De zwak gesuperviseerde benadering wordt getoond als een levensvatbare strategie om kandidaten te rangschikken op basis van spectrale onregelmatigheden zonder de volledige ALP-parameterruimte ($m_a, g_{a\gamma}$) te hoeven scannen.

Belangrijkste Resultaten

• Prestaties: In de "schone" benchmark (Pulsar vs. AGN) benadert de zwak gesuperviseerde benadering de prestaties van volledig gesuperviseerde classifiers. In complexere, overlappende scenario's (Donkere Materie) biedt het een robuust, zij het iets minder sensitief, alternatief dat de afhankelijkheid van specifieke signaaltemplates vermindert.
• Afhankelijkheid van Signaalfractie: De classificatieprestaties (met name TPR) verbeteren over het algemeen naarmate de signaalfractie in het mengsel toeneemt, omdat het verschil tussen de zuivere achtergrond en de gemengde monsters duidelijker wordt.
• Robuustheid: De methode identificeert succesvol anomale subsets van data terwijl de afhankelijkheid van gedetailleerde signaalmodellering tijdens de trainingsfase wordt verminderd.

Betekenis en Claims
De auteurs positioneren dit werk niet als een vervanging voor toegewijde likelihood-gebaseerde zoektochten of een direct instrument om de ontdekkingssignificantie in tel-experimenten te maximaliseren. In plaats daarvan claimen zij dat zwak gesuperviseerd leren dient als een complementaire kandidaat-selectie en anomalie-rangschikkingsstrategie.

• Model-Agnosticisme: Het maakt analyse mogelijk van $\gamma$-straalgegevens waarbij het signaalmodel onzeker, slechts gedeeltelijk gespecificeerd, of waarbij event-niveau labels niet beschikbaar zijn.
• Prioritering: De methode kan interessante doelwitten in grote $\gamma$-straalcatalogi (zoals niet-geassocieerde bronnen) prioriteren voor daaropvolgende studie via toegewijde model-afhankelijke analyses, multi-wavelength observaties of follow-up metingen.
• Validatie: Door te progresseren van een goed gecontroleerde benchmark naar steeds subtielere scenario's, vestigt het artikel het haalbare gedrag van zwak toezicht onder gecontroleerde omstandigheden, wat de basis legt voor toekomstige studies die rekening houden met realistische selectie-effecten en domeinverschuivingen.

Het artikel concludeert dat zwak gesuperviseerd leren een flexibele toevoeging vormt aan de toolkit voor $\gamma$-straal data-analyse, waarbij ontwikkelingen in machine learning en deeltjesfysica worden overbrugd met astrofysische toepassingen.