Weakly supervised machine learning for model-agnostic searches of new phenomena in the $\gamma$-ray sky

Technisches Resümee: Schwach überwachtes maschinelles Lernen für modellagnostische Suchen im $\gamma$-Strahlungs-Himmel

Problemstellung
Der $\gamma$-Strahlungs-Himmel, insbesondere wie er durch das Fermi Large Area Telescope (Fermi-LAT) beobachtet wird, enthält eine signifikante Population unassoziierter Quellen, die neue astrophysikalische Populationen oder exotische Physik (z. B. Dunkle-Materie-Subhalos, Axion-Photon-Oszillationen) repräsentieren könnten. Während maschinelles Lernen (ML) zentral für die Klassifizierung von Quellen und die Suche nach neuer Physik geworden ist, verlassen sich bestehende Ansätze stark auf die vollständig überwachte Ausbildung (fully supervised training). Dies erfordert explizite, gelabelte Signalmodelle für jede getestete Hypothese. Eine kritische Einschränkung ergibt sich, wenn das wahre exotische Signal vom angenommenen Trainingsmodell abweicht, was zu einer signifikanten Reduktion der Klassifikator-Sensitivität führt. Zudem sind vollständig überwachte Methoden ungeeignet für Szenarien, in denen Labels auf Ereignisebene nicht verfügbar sind oder das Signalmodell nur teilweise spezifiziert ist.

Methodik
Diese Arbeit untersucht die schwach überwachte Klassifizierung (weakly supervised classification) als eine weniger modellabhängige Alternative. Die Kernstrategie nutzt ein Background-versus-Mixture (BvM)-Setup:

• Trainingsdaten: Anstatt gelabelter Signal- und Hintergrundereignisse werden Klassifikatoren auf zwei Stichproben trainiert, die unterschiedliche Anteile der Signal-Komponente aufweisen, aber identische Hintergrundverteilungen besitzen.
  • Probe $B$ (Hintergrund): Reiner astrophysikalischer Hintergrund $p_A(x)$.
  • Probe $M$ (Mischung): Eine Mischung $f p_E(x) + (1-f) p_A(x)$, wobei $f$ der Signalanteil und $p_E(x)$ die Verteilung des exotischen Signals ist.
• Theoretische Grundlage: Unter der Annahme, dass die Hintergrundkomponente in beiden Proben identisch verteilt ist, lernt ein Klassifikator, der zwischen $B$ und $M$ unterscheidet, einen Score, der monoton zum optimalen Likelihood-Verhältnis $p_E(x)/p_A(x)$ ist. Dies ermöglicht die Identifizierung signalähnlicher Teilmengen, ohne dass individuelle Ereignis-Labels oder Vorabwissen über den Signalanteil erforderlich sind.
• Klassifikator-Architektur: Die Autoren verwenden Boosted Decision Trees (BDTs) (speziell den GradientBoostingClassifier aus sklearn) als Standardklassifikator. BDTs wurden gegenüber neuronalen Netzen gewählt, da sie stabiler sind, robuster gegenüber verrauschten/korrelierten Eingaben reagieren und einfacher zu optimieren sind. Die Eingangsmerkmale sind niedrigwertige spektrale Flüsse in Standard-Energiebändern (7 Bins für Pulsar/AGN/DM, 50 Bins für ALP-Suchen), um eine modellagnostische Baseline beizubehalten.
• Datenaugmentation: Um die Klassenimbalance zu handhaben und kleine Signalanteile zu untersuchen, setzen die Autoren Normalizing Flows ein, um synthetische Hintergrundspektren (speziell für AGN) zu generieren, welche die statistischen Eigenschaften beobachteter Quellen widerspiegeln.

Wesentliche Beiträge und Anwendungen
Die Arbeit validiert diesen Ansatz über drei verschiedene physikalische Szenarien hinweg und vergleicht die schwach überwachten Ergebnisse mit vollständig überwachten Benchmarks:

1. Pulsare vs. Aktive Galaktische Kerne (AGN) – Kontrollierter Benchmark:

   • Setup: Verwendung des 4FGL-Katalogs; Pulsare werden als Signal und AGN als Hintergrund behandelt.
   • Ergebnis: Der schwach überwachte Ansatz identifiziert erfolgreich Pulsare. Mit zunehmendem Signalanteil in der Mischung steigt die True Positive Rate (TPR) an und nähert sich der Leistung des vollständig überwachten Benchmarks an. Die False Positive Rate (FPR) bleibt stabil. Dies zeigt, dass schwache Überwachung eine nahezu optimale Leistung wiederherstellen kann, wenn Signal und Hintergrund spektral unterscheidbar sind.

2. Dunkle-Materie-Subhalos – Modellabhängige Herausforderung:

   • Setup: Simulierte Subhalo-Spektren (WIMP-Annihilation in $b\bar{b}$) wurden in einen Hintergrund aus identifizierten astrophysikalischen Quellen injiziert.
   • Ergebnis: Das Problem ist aufgrund der spektralen Überlappung zwischen Subhalos und astrophysikalischen Quellen anspruchsvoller. Obwohl die schwache Überwachung in der Lage ist, subhalo-ähnliche Spektren ohne explizite Signal-Labels zu identifizieren, bleibt eine Performance-Lücke zum vollständig überwachten Baseline-Modell bestehen. Die TPR ist niedriger und die FPR ist etwas höher, was die konservative Entscheidungsgrenze widerspiegelt, die im BvM-Setup bei geringen Signalanteilen inhärent ist. Dennoch vermeidet die Methode die Notwendigkeit, für jede spezifische Dunkle-Materie-Masse oder den Annihilationskanal neu zu trainieren.

3. Axion-ähnliche Teilchen (ALP) Oszillationen – Spektrale Unregelmäßigkeiten:

   • Setup: Die Suche zielt auf subtile, oszillierende spektrale Deformationen („Wiggles“) in Pulsarspektren ab, die durch ALP-Photon-Mischung in galaktischen Magnetfeldern induziert werden, anstatt auf eine neue Quellenpopulation.
   • Ergebnis: Die Autoren simulieren modulierte Spektren mit dem GammaALPs-Tool und dem Jansson-Farrar-Modell des galaktischen Magnetfeldes. Sie vergleichen überwachte und schwach überwachte Strategien zur Detektion dieser Modulationen. Die Ergebnisse verdeutlichen die Schwierigkeit, subtile spektrale Merkmale bei hoher Klassenimbalance (10 % Signal) zu detektieren, wobei die TPR selbst im überwachten Fall niedrig bleibt. Die schwach überwachte Methode erweist sich als praktikable Strategie, um Kandidaten basierend auf spektralen Unregelmäßigkeiten zu ranken, ohne den gesamten ALP-Parameterraum ($m_a, g_{a\gamma}$) scannen zu müssen.

Wesentliche Ergebnisse

• Performance: In dem „sauberen“ Benchmark (Pulsar vs. AGN) nähert sich der schwach überwachte Ansatz der Leistung vollständig überwachter Klassifikatoren an. In komplexeren, überlappenden Szenarien (Dunkle Materie) bietet er eine robuste, wenn auch etwas weniger sensitive Alternative, die die Abhängigkeit von spezifischen Signal-Templates reduziert.
• Abhängigkeit vom Signalanteil: Die Klassifizierungsleistung (speziell die TPR) verbessert sich generell, wenn der Signalanteil in der Mischung steigt, da der Unterschied zwischen der reinen Hintergrundprobe und den gemischten Proben deutlicher wird.
• Robustheit: Die Methode identifiziert erfolgreich anomale Teilmengen von Daten und reduziert gleichzeitig die Abhängigkeit von detaillierter Signalmodellierung während der Trainingsphase.

Bedeutung und Ansprüche
Die Autoren positionieren diese Arbeit nicht als Ersatz für dedizierte Likelihood-basierte Suchen oder als direktes Werkzeug zur Maximierung der Entdeckungssignifikanz in Zählexperimenten. Stattdessen beanspruchen sie, dass das schwach überwachte Lernen als komplementäre Strategie zur Kandidatenselektion und Anomalie-Rangordnung dient.

• Modellagnostik: Es ermöglicht die Analyse von $\gamma$-Strahlungsdaten, bei denen das Signalmodell unsicher oder nur teilweise spezifiziert ist oder bei denen keine Labels auf Ereignisebene verfügbar sind.
• Priorisierung: Die Methode kann interessante Ziele in großen $\gamma$-Strahlungs-Katalogen (wie unassoziierte Quellen) für die anschließende Untersuchung durch dedizierte modellabhängige Analysen, Multiwellenlängen-Beobachtungen oder Folgemessungen priorisieren.
• Validierung: Durch den Übergang von einem gut kontrollierten Benchmark zu zunehmend subtileren Szenarien etabliert die Arbeit das erzielbare Verhalten der schwachen Überwachung unter kontrollierten Bedingungen und legt den Grundstein für zukünftige Studien, die sich mit realistischen Selektionseffekten und Domain Shifts befassen.

Die Arbeit schließt damit ab, dass schwach überwachtes Lernen eine flexible Ergänzung für das Toolkit der $\gamma$-Strahlungs-Datenanalyse darstellt und die Entwicklungen im maschinellen Lernen und der Teilchenphysik mit astrophysikalischen Anwendungen verbindet.