Sensitivity to New Physics Phenomena in Anomaly Detection: A Study of Untunable Hyperparameters

Diese Arbeit evaluiert systematisch die Sensitivität von vier semi-überwachten Anomalieerkennungsmethoden gegenüber nicht abstimmbaren Hyperparametern bei der Suche nach Physik jenseits des Standardmodells und schlägt einen robusten, nicht-parametrischen Permutationstest zur statistischen Bewertung vor.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, einen einzelnen, winzigen, unsichtbaren Dieb in einer riesigen Menge von 10 Millionen unschuldigen Menschen aufzuspüren. Sie wissen nicht, wie der Dieb aussieht, Sie wissen nicht, was er trägt, und Sie wissen nicht einmal, ob er überhaupt da ist. Sie wissen nur, wie die „normalen“ Menschen aussehen.

Genau das ist die Herausforderung, der Teilchenphysiker am Large Hadron Collider (LHC) gegenüberstehen. Sie lassen Protonen miteinander kollidieren, um einen Sturm aus Teilchen zu erzeugen. Meistens verhalten sich diese Teilchen genau so, wie es die „Standardmodelle“ (das Regelwerk der Physik) vorhersagen. Aber manchmal taucht ein neues, unbekanntes Teilchen auf – ein „Neue-Physik“-Signal. Das Ziel ist es, diesen Fremden zu entdecken, ohne im Voraus zu wissen, wie er aussieht.

Diese Arbeit ist eine Studie darüber, wie man die besten „Unterschiede-erkennen“-Werkzeuge (genannt Anomalieerkennungs-Algorithmen) baut, um diese Fremden zu finden, wobei der Fokus speziell auf einem kniffligen Problem liegt: Wie sehr spielt die interne „Regler“-Einstellung des Werkzeugs eine Rolle, wenn man sie nicht abstimmen kann?

Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Die Werkzeuge: Vier verschiedene Wege, den Dieb aufzuspüren

Die Forscher testeten vier verschiedene Computer-Algorithmen, die jeweils eine unterschiedliche Art und Weise haben, über „Normalität“ nachzudenken:

• Auto-Encoder (AE) & Deep-SVDD: Betrachten Sie diese als hochtechnisierte Gedächtniskünstler. Sie werden darauf trainiert, die Gesichter der 10 Millionen unschuldigen Menschen auswendig zu lernen. Wenn eine neue Person hineinkommt, versucht der Künstler, sie aus dem Gedächtnis zu zeichnen. Wenn die Zeichnung überhaupt nicht wie die echte Person aussieht (ein hoher „Rekonstruktionsfehler“), schreit der Künstler: „Anomalie!“
• Isolation Forest (iForest): Stellen Sie sich ein „Kuchenschneide-Spiel“ vor. Sie schneiden die Menge zufällig immer wieder in Stücke. Normale Menschen befinden sich im dichten Kern der Menge, daher braucht es viele Schnitte, um sie zu isolieren. Ein Dieb, der allein am Rand steht, wird mit nur einem oder zwei Schnitten isoliert. Der Algorithmus zählt, wie viele Schnitte nötig waren, um eine Person zu isolieren. Weniger Schnitte = verdächtiger.
• Histogram-based Outlier Score (HBOS): Dies ist wie ein Volkszähler. Er zählt, wie viele Menschen in bestimmte Kategorien fallen (z. B. „trägt einen Hut“, „hält eine Tasche“). Wenn eine Person in eine Kategorie fällt, die fast leer ist, wird sie als Anomalie markiert.

2. Das Problem: Die „nicht abstimmbaren“ Regler

Jedes dieser Werkzeuge hat eine Einstellung, die schwer anzupassen ist, weil man keinen „Lösungsschlüssel für den Test“ hat (da man ja noch nicht weiß, wie die neue Physik aussieht).

• Für die Gedächtniskünstler ist es die Größe ihres „Skizzenbuchs“ (wie viel Detail sie sich merken können).
• Für den Kuchenschneider ist es die Anzahl der Schnitte, die er machen darf.
• Für den Volkszähler ist es die Anzahl der Kategorien, die er erstellt.

Die Forscher fragten sich: „Ändert sich unsere Fähigkeit, den Dieb zu finden, drastisch, wenn wir diese Einstellungen ändern?“

3. Die Ergebnisse: Überraschende Stabilität

Die Studie ergab etwas sehr Beruhigendes: Die Werkzeuge sind überraschend robust.

• Der „Goldlöckchen“-Mythos: Man könnte denken, dass es eine perfekte Einstellung gibt (nicht zu groß, nicht zu klein) für das Skizzenbuch oder die Anzahl der Schnitte. Die Forscher fanden heraus, dass dies für die meisten Signale kaum eine Rolle spielt. Ob das Skizzenbuch klein oder riesig ist, der Künstler entdeckt den Dieb etwa zur gleichen Zeit.
• Flach vs. Tief: Die einfacheren Werkzeuge (iForest und HBOS) und die komplexen Deep-Learning-Werkzeuge (AE und Deep-SVDD) schnitten ähnlich ab. Die komplexen Werkzeuge wurden nicht magisch viel besser, nur weil sie „tiefer“ waren.
• Die „Beste Merkmal“-Regel: Die Studie zeigte, dass diese smarten Algorithmen im Grunde genauso gut sind wie die einzelne beste physikalische Messung, die man vornehmen könnte (wie z. B. „wie schwer ist dieses Teilchen?“). Sie schaffen es, den Dieb zu finden, ohne dass man ihnen sagen muss, welche Messung die beste ist.

4. Der Twist: Wie man „Erfolg“ misst, ist entscheidend

Dies ist der kritischste Teil der Arbeit. Die Forscher testeten zwei verschiedene Wege, um zu beurteilen, ob die Werkzeuge funktionierten:

• Methode A (Der Standardwert): Sie verwendeten einen Standardwert namens ROC AUC. Dies ist wie ein Lehrer, der eine Prüfung bewertet, bei der er die richtigen Antworten kennt.
  • Ergebnis: Die Werkzeuge sahen großartig aus, und die Einstellungen spielten keine große Rolle.
• Methode B (Der Realwelt-Test): Sie verwendeten einen Permutationstest mit einem neuen Statistikum namens Cramér (Cr). Dies ist wie ein Richter, der zwei Beweishaufen betrachtet (einen Haufen bekannter unschuldiger Menschen und einen Haufen gemischter Daten) und fragt: „Sind diese zwei Haufen statistisch unterschiedlich?“
  • Ergebnis: Hier wurde es interessant. Die Deep-Learning-Werkzeuge (die Gedächtniskünstler) sahen plötzlich viel besser aus als die einfachen Werkzeuge.
  • Warum? Die einfachen Werkzeuge liefern Werte, die „gedeckelt“ sind (sie können nicht sehr hoch gehen). Die Deep-Learning-Werkzeuge liefern Werte, die unendlich hoch gehen können, wenn die Anomalie extrem seltsam genug ist. Der neue statistische Test (Cr) ist sehr gut darin, diese extremen „Long-Tail“-Ausreißer zu erfassen, während der alte Standardwert sie übersah.

5. Das Fazget: Setzen Sie nicht alles auf eine Karte

Die Arbeit kommt zu einigen zentralen Erkenntnissen für Physiker:

1. Machen Sie sich nicht zu viele Sorgen um die „Regler“: Da sich die Leistung bei verschiedenen Einstellungen nicht drastisch ändert, müssen Sie nicht Jahre damit verbringen, die perfekte Einstellung für Ihren Anomalie-Detektor zu finden.
2. Nutzen Sie das richtige Lineal: Wenn Sie neue Physik finden wollen, verwenden Sie nicht nur den Standard-Testwert (ROC AUC). Nutzen Sie den neuen statistischen Test (Cramér), denn dieser ist besser darin, die seltsamen, extremen Ausreißer zu finden, die Deep-Learning-Werkzeuge aufspüren.
3. Kombinieren Sie Ihre Werkzeuge: Verschiedene Werkzeuge entdecken unterschiedliche Dinge. Der „Gedächtniskünstler“ (AE) und der „Tiefe Zentrumsfinder“ (Deep-SVDD) entdecken manchmal unterschiedliche Arten von Anomalien. Die Kombination aus beiden ist besser als nur eines zu verwenden.

Kurz gesagt: Die Arbeit zeigt, dass diese Werkzeuge zur Anomalieerkennung stabil und zuverlässig sind. Man muss sie nicht perfekt abstimmen, um zu funktionieren, aber man benötigt das richtige statistische „Lineal“, um ihren Erfolg zu messen, und die Kombination verschiedener Werkzeuge bietet die beste Chance, den unsichtbaren Dieb zu fangen.

Technische Zusammenfassung

Technisches Resümee: Sensitivität gegenüber Phänomenen der Neuen Physik in der Anomalieerkennung

Problemstellung
Die Suche nach Physik jenseits des Standardmodells (BSM) bei Collider-Experimenten stützt sich zunehmend auf modellunabhängige Strategien, um unerwartete Signale nicht zu übersehen. Während Techniken der Anomalieerkennung (Anomaly Detection, AD) zur Identifizierung von Abweichungen von Standardmodell-Verteilungen (SM) intensiv untersucht wurden, wurde die Sensitivität dieser Methoden gegenüber „nicht abstimmbaren“ Hyperparametern bisher nicht systematisch verglichen. In semi-überwachten Szenarien, in denen Modelle ausschließlich auf SM-Hintergrunddaten trainiert werden, ohne Zugriff auf Signal-Labels, können Hyperparameter wie die Dimension des latenten Raums oder die Anzahl der Bins nicht über Standard-Validierungsmetriken optimiert werden. Folglich mangelt es an einem Verständnis darüber, wie diese festen Parameter die Fäh Fähigkeit von AD-Modellen beeinflussen, neue Physik zu detektieren. Darüber hinaus bleibt die statistische Interpretierbarkeit eine Herausforderung, da Anomalie-Scores oft keine wohldefinierten Signifikanzmaße für signal-agnostische Suchen besitzen.

Methodik
Diese Studie untersucht vier semi-überwachte AD-Methoden, die ausschließlich auf simulierten SM-Hintergrundereignissen (Proton-Proton-Kollisionen bei $\sqrt{s}=13$ TeV, mit zwei Leptonen, einem Bottom-Jet und großer $H_T$) trainiert wurden. Die evaluierten Methoden umfassen:

1. Auto-Encoder (AE): Tiefe neuronale Netze, die darauf trainiert sind, den Rekonstruktionsfehler zu minimieren.
2. Deep Support Vector Data Description (Deep-SVDD): Tiefe Netzwerke, die Daten auf eine Hypersphäre abbilden, um den Abstand zu einem Zentrum zu minimieren.
3. Histogram-basierter Outlier-Score (HBOS): Eine flache Methode, die die Wahrscheinlichkeitsdichte mittels Feature-Histogrammen schätzt.
4. Isolation Forest (iForest): Eine baumbasierte Methode, die Anomalien durch zufällige Partitionierung isoliert.

Die Modelle wurden gegen sechs diverse BSM-Benchmark-Signale getestet (Heavy Vector-like Quarks, Flavour Changing Neutral Currents, Randall-Srum-Radion, Two-Higgs-Doublet-Modell und Left-Right-Symmetric-Modell).

Die Analyse erfolgt in zwei Stufen:

1. Hyperparameter-Sensitivität: Die Autoren bewerten die Sensitivität jeder Methode gegenüber spezifischen, nicht abstimmbaren Hyperparametern (z. B. die Dimension des latenten Raums für AE/Deep-SVDD, die Anzahl der Estimators für iForest, die Anzahl der Bins für HBOS) unter Verwendung der Receiver Operating Characteristic Area Under the Curve (ROC AUC) als Diskriminierungsmetrik.
2. Statistische Signifikanz: Um das Fehlen von Signal-Labels in realen Suchen zu adressieren, schlägt das Paper einen nicht-parametrischen Permutationstest unter Verwendung signal-agnostischer Statistiken vor. Zwei Teststatistiken werden eingeführt:
   • $M_\Delta$: Die maximale Differenz zwischen empirischen kumulativen Verteilungsfunktionen (eCDFs), inspiriert vom Kolmogorov-Smirnov-Test.
   • Cramér-Statistik ($Cr$): Das Integral der quadrierten Differenz zwischen eCDFs, bekannt für seine Sensitivität gegenüber Verteilungsschwänzen (Tails).
     Der Permutationstest evaluiert die Nullhypothese ($H_0$), dass die Analyseprobe (Daten) und die Kontrollprobe (SM-Simulation) aus derselben Verteilung stammen.

Wesentliche Beiträge

• Systematische Hyperparameter-Analyse: Die Arbeit liefert eine vergleichende Studie darüber, wie nicht abstimmbare Hyperparameter die Leistung von vier unterschiedlichen AD-Architekturen über mehrere BSM-Szenarien hinweg beeinflussen.
• Entkopplung von Rekonstruktion und Sensitivität: Die Studie zeigt, dass für Auto-Encoder eine verbesserte Qualität der Hintergrund-Rekonstruktion (gemessen durch $R^2$) nicht zwangsläufig mit einer verbesserten Signal-Diskriminierung korreliert. Die Sensitivität hängt von der relativen Differenz des Rekonstruktionsfehlers zwischen Signal und Hintergrund ab und nicht von der absoluten Qualität der Hintergrund-Rekonstruktion.
• Signal-agnostischer statistischer Rahmen: Die Autoren führen einen robusten statistischen Testrahmen unter Verwendung von Permutationstests und der $Cr$-Statistik ein. Dies ermöglicht die Bewertung von Belegen für neue Physik ohne vorherige Kenntnis der Signalhypothese und adressiert die Einschränkungen der ROC AUC in signal-agnostischen Kontexten (z. B. Unempfindlichkeit gegenüber symmetrischen Verteilungen).

Ergebnisse

• Hyperparameter-Stabilität: Über die meisten BSM-Signale und AD-Methoden hinweg führte die Wahl der nicht abstimmbaren Hyperparameter zu einer vernachlässigbaren Variation in der ROC AUC. Die semi-überwachten Methoden schnitten im Allgemeinen so gut ab wie das jeweils diskriminierendste einzelne Feature für jedes Signal, unabhängig von der spezifischen Hyperparameter-Konfiguration.
• Metrik-Divergenz: Während flache Methoden (HBOS, iForest) in Bezug auf die ROC AUC oft Deep-SVDD übertrafen, zeigte der Permutationstest unter Verwendung der $Cr$-Statistik, dass Deep-Learning-Methoden (AE und Deep-SVDD) für viele Signale niedrigere p-Werte (höhere Sensitivität) erreichten. Diese Diskrepanz wird auf die langgestreckten Ausläufer (long-tailed nature) der Deep-Learning-Anomalie-Scores zurückgeführt, welche die $Cr$-Statistik effektiv erfasst, während die begrenzten Scores flacher Methoden und die $M_\Delta$-Statistik dies nicht tun.
• Effektivität der Teststatistik: Die $M_\Delta$-Statistik konnte über alle Signale und Methoden hinweg keine Evidenz für neue Phänomene liefern (mediane p-Werte $> 0,05$). Im Gegensatz dazu identifizierte die $Cr$-Statistik erfolgreich Abweichungen, insbesondere für Deep-Learning-Modelle, was die entscheidende Bedeutung der Wahl einer geeigneten Teststatistik für den Diskriminanten-Bereich hervorhebt.
• Komplementarität: Die Ergebnisse deuten auf eine Sensitivitäts-Komplementarität zwischen AE und Deep-SVDD hin, was darauf schließen lässt, dass verschiedene AD-Methoden unterschiedliche Vorstellungen von Anomalien erfassen.

Bedeutung und Behauptungen
Das Paper behauptet, dass die Wahl der nicht abstimmbaren Hyperparameter in semi-überwachten AD-Modellen die Suchsensitivität signifikant beeinflusst, wenngleich dieser Einfluss nicht immer monoton oder über Standardmetriken wie ROC AUC vorhersagbar ist. Die Autoren argumentieren, dass die Verwendung eines einzelnen Modells oder einer einzelnen Metrik unzureichend ist; stattdessen sollten Strategien erforscht werden, die Ergebnisse aus Modellen mit variierenden Hyperparametern aggregieren.

Entscheidend ist, dass die Arbeit einen Pfad für rein semi-überwachte Suchen ebnet, indem sie einen statistischen Test einführt, der in der Lage ist, die „nur-SM“-Hypothese ohne signalspezifische Annahmen abzulehnen. Die Autoren schließen bescheiden, dass ihr Permutationstest und die $Cr$-Statistik zwar eine robuste Methode zur Quantifizierung von Abweichungen bieten, jedoch das „No-Free-Lunch“-Theorem gilt: Kein einzelnes AD-Modell und keine einzelne Hyperparameter-Konfiguration ist für jede Aufgabe gleichermaßen überlegen, was vielfältige methodische Ansätze für zukünftige Suchen erforderlich macht.