How to pick the best anomaly detector?

Dieses Paper führt die datengesteuerte ARGOS-Metrik ein, ein theoretisch fundiertes und empirisch robustes Werkzeug zur Auswahl der sensitivsten Anomalieerkennungsmodelle auf modellagnostische Weise, welches dessen Überlegenheit gegenüber bestehenden Metriken wie dem Binary Cross-Entropy-Loss in Aufgaben wie der Hyperparameteroptimierung und der Merkmalsauswahl demonstriert.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, einen einzelnen, winzigen, unsichtbaren Dieb zu finden, der sich in einer riesigen Menge von 1.000.000 unschuldigen Menschen versteckt. Dies ist im Wesentlichen das, was Physiker am Large Hadron Collider (LHC) tun, wenn sie nach „neuer Physik“ (wie einem neuen Teilchen) suchen, die in einem Meer aus gewöhnlichen Daten verborgen ist.

Das Problem ist nicht nur, den Dieb zu finden; es ist auch, dass man nicht weiß, wie der Dieb aussieht. Man kann nicht sagen: „Achten Sie auf einen Mann mit einem roten Hut.“ Stattdessen müssen sie Computerprogramme (Anomalie-Detektoren) verwenden, um jeden aufzuspüren, der seltsam oder aus der Reihe tanzend im Vergleich zur Menge erscheint.

Lange Zeit hatten Wissenschaftler ein großes Problem: Wie entscheidet man, welches Computerprogramm der beste Detektiv ist?

Normalerweise würde man, um einen Detektiv zu testen, eine Aufstellung bekannter Krimineller vor ihn legen und sehen, wer sie erwischt. Aber in diesem Fall sind die „Kriminellen“ (die neue Physik) unbekannt. Wenn Sie Ihren Detektiv an einem gefälschten Kriminellen testen, wählen Sie vielleicht einen Detektiven aus, der großartig darin ist, diesen spezifischen gefälschten Kriminellen zu fangen, aber schrecklich darin, den echten Dieb zu finden.

Dieses Paper stellt einen neuen, cleveren Weg vor, den besten Detektiv auszuwählen, ohne jemals den Kriminellen gesehen zu haben. Sie nennen dieses Werkzeug ARGOS.

Die Kernidee: Das „Hintergrund-Template“

Um ARGOS zu verstehen, stellen Sie sich vor, Sie haben eine riesige Menge unschuldiger Menschen (den „Hintergrund“). Sie haben auch einen spezifischen Bereich, in dem der Dieb wahrscheinlich versteckt ist (die „Signalregion“).

• Der alte Weg (BCE Loss): Traditionell trainierten Wissenschaftler ihre Computer mit der Frage: „Kannst du zwischen diesem gefälschten Kriminellen und der unschuldigen Menge unterscheiden?“ Sie verwendeten einen Score namens „Binary Cross-Entropy“ (BCE). Das Problem war, dass dieser Score wie ein Lehrer ist, der einen Schüler in einem Test bewertet, dessen Antworten er bereits kennt. Der Computer wird sehr gut darin, winzige, zufällige Unterschiede zwischen der Menge und dem gefälschten Kriminellen zu erkennen, aber er scheitert daran, die echte Seltsamkeit des tatsächlichen Diebes zu erkennen. Es ist wie ein Schüler, der die Testantworten auswendig lernt, aber bei der echten Prüfung versagt.

• Der neue Weg (ARGOS): ARGOS ändert das Spiel. Anstatt den Computer zu fragen, ob er zwischen zwei Gruppen unterscheiden kann, fragt er: „Wenn du die obersten 10 % der seltsamsten Menschen aus der Menge auswählst, wie viele von ihnen sind tatsächlich in der ‚Diebeszone‘ im Vergleich zu dem, was man durch reines Glück erwarten würde?“

Denken Sie es sich so vor:

1. Sie haben eine Karte, wo der Dieb sollte sein (die Signalregion).
2. Sie haben ein „Hintergrund-Template“, eine perfekte Karte davon, wie die unschuldige Menge in genau diesem Bereich aussieht.
3. ARGOS prüft: „Wenn ich die verdächtigsten Menschen auswähle, steigt die Anzahl der Menschen, die ich in der ‚Diebeszone‘ finde, signifikant stärker an, als ich es von der unschuldigen Menge erwarten würde?“

Wenn die Antwort „Ja, viel mehr als erwartet“ lautet, gibt ARGOS diesem Detektiven eine hohe Punktzahl. Wenn die Antwort „Nein, es ist nur zufälliges Rauschen“ lautet, ist die Punktzahl niedrig.

Warum ist ARGOS besser?

Die Autoren haben dieses neue Metrik-Verfahren gegen den alten Standard (BCE) mit drei verschiedenen Arten von „Detektiven“ (Machine-Learning-Modellen) und drei verschiedenen Arten, die „unschuldige Menge“-Karte zu erstellen, getestet.

Hier ist, was sie herausgefunden haben, unter Verwendung einfacher Analogien:

1. Den besten „Trainingstag“ auswählen (Epoch Selection)
Stellen Sie sich vor, Sie trainieren einen Detektiven für 100 Tage. An Tag 10 ist er vielleicht okay. An Tag 50 ist er großartig. An Tag 90 wird er vielleicht verwirrt und beginnt, Geister zu sehen (Overfitting).

• Der alte Weg: Der BCE-Score sagte ihnen, sie sollten das Training an Tag 20 stoppen, weil das „Testergebnis“ gut aussah. Aber der Detektiv hatte eigentlich nur den Test auswendig gelernt, anstatt zu lernen, den Dieb zu entdecken.
• Der neue Weg (ARGOS): ARGOS wartete bis Tag 50. Es ignorierte die kleinen, verwirrenden Details und konzentrierte sich auf das große Ganze: „Finden wir tatsächlich mehr Menschen in der Diebeszone?“ Es wählte erfolgreich die Tage aus, an denen der Detektiv wirklich scharf war.

2. Die Einstellungen des Detektivs abstimmen (Hyperparameter)
Detektive haben Einstellungen (wie etwa die Sensibilität ihrer Augen).

• Der alte Weg: Das Anpassen der Einstellungen, um den „Test-Score“ zu minimenieren, führte oft dazu, dass der Detektiv zu empfindlich für Rauschen wurde. Er markierte unschuldige Menschen als Verdächtige, nur weil sie anders blinzelten.
• Der neue Weg (ARGOS): Das Anpassen der Einstellungen, um ARGOS zu maximieren, machte den Detektiven besser darin, das Rauschen zu ignorieren und sich auf die echten Anomalien zu konzentrieren. Es war viel stabiler, besonders wenn der „Dieb“ sehr schwer zu finden war (niedriges Signal).

3. Den richtigen Detektiven auswählen (Architecture Selection)
Manchmal muss man sich zwischen einem menschlichen Detektiv, einem Roboter oder einem Hund entscheiden.

• Der alte Weg: Der BCE-Score wählte oft den „falschen“ Typ von Detektiv aus, was zu inkonsistenten Ergebnissen führte. Manchmal wählte er einen Roboter, der großartig im Test war, aber im Feld nutzlos war.
• Der neue Weg (ARGOS): Es wählte konsistent die Architektur aus, die im realen Szenario am besten abschnitt, selbst wenn die „unschuldige Menge“-Karte nicht perfekt war.

Der „Real-World“-Test

Die Autoren haben dies nicht nur an perfekten, künstlich erzeugten Daten durchgeführt. Sie verwendeten einen realistischen Datensatz namens „LHC Olympics“, der die chaotischen, verrauschten Bedingungen eines echten Physik-Experiments simuliert.

Sie fanden heraus, dass ARGOS auch dann noch funktionierte, wenn das „Hintergrund-Template“ (die Karte der unschuldigen Menge) nicht perfekt war. Es war robust. Es ließ sich nicht vom Rauschen verwirren.

Das Fazit

Das Paper behauptet, dass ARGOS das derzeit beste Werkzeug ist, um den besten Anomalie-Detektor für die Suche nach neuer Physik auszuwählen.

• Es ist „Modell-agnostisch“: Es ist egal, welche Art von neuer Physik Sie suchen. Es sucht einfach nach jeder Art von Seltsamkeit.
• Es ist „datengesteuert“: Sie müssen nicht wissen, wie das Signal aussieht, um es zu verwenden. Sie benötigen nur eine gute Karte des Hintergrunds.
• Es schlägt den alten Standard: In jedem Test, den sie durchgeführt haben (Auswahl der Trainingstage, Abstimmung der Einstellungen, Auswahl der Modelle), führte ARGOS zu besseren Ergebnissen als der traditionelle „Binary Cross-Entropy“-Score.

Kurz gesagt: Wenn Sie versuchen, eine Nadel im Heuhaufen zu finden, ohne zu wissen, wie die Nadel aussieht, ist ARGOS der neue, intelligentere Weg, um den Magneten auszuwählen, der sie finden wird.

Technische Zusammenfassung

Technische Zusammenfassung: Auswahl des besten Anomalie-Detektors mittels der ARGOS-Metrik

Problemstellung
Die rasante Zunahme modellunabhängiger Methoden des maschinellen Lernens (ML) zur Anomalieerkennung am Large Hadron Collider (LHC) – wie etwa Autoencoder und schwach überwachte Klassifikatoren – hat eine erhebliche Herausforderung geschaffen: die objektive Auswahl des „besten“ Anomalie-Detektors für einen gegebenen Datensatz, ohne sich auf spezifische Signalmodelle verlassen zu müssen. Derzeit fehlt dem Fachgebiet ein systematischer Ansatz zur Modelloptimierung. Forscher verlassen sich typischerweise auf Metriken wie den Binary Cross-Entropy (BCE)-Verlust oder die Area Under the Curve (AUC), welche Wahrheitsetiketten (Truth Labels) und Benchmark-Signale erfordern. In einem echten Szenario der Anomalieerkennung ist das Signal jedoch unbekannt; die Verwendung spezifischer Benchmark-Signale zur Abstimmung von Modellen birgt das Risiko, die Suche gegenüber den tatsächlich im Datensatz vorhandenen Signalen zu verzerren. Folglich mangelt es bestehenden experimentellen Analysen oft an einer systematischen Modelloptimierung, wobei man entweder auf Parameter aus den Originalpublikationen der Methoden zurückgreift oder kleine Mengen von Benchmark-Signalen zur Neustimmung verwendet.

Methodik: Die ARGOS-Metrik
Um dies zu adressieren, führen die Autoren ARGOS (Above Random Gain Of SIC) ein, eine vollständig datengesteuerte Metrik, die darauf ausgelegt ist, den sensitivsten Anomalie-Detektor auszuwählen. Die Metrik benötigt lediglich die ungelabelten Daten und ein Hintergrund-Template (Background Template, BT) – eine Stichprobe von Ereignissen, die der Verteilung des Standardmodell-Hintergrunds (SM) im Signalregion (Signal Region, SR) folgt.

ARGOS ist definiert als:
$$\text{ARGOS} = \frac{\epsilon_{SR}}{\sqrt{\epsilon_{BT}}} - \sqrt{\epsilon_{BT}}$$
wobei $\epsilon_{SR}$ und $\epsilon_{BT}$ die Effizienzen zur Auswahl von Ereignissen in der Signalregion bzw. im Hintergrund-Template für einen gegebenen Anomalie-Score-Schwellenwert sind.

Eine theoretische Analyse zeigt, dass ARGOS für ein ideales Hintergrund-Template monoton mit der Significance Improvement Characteristic (SIC) verläuft, definiert als $\text{SIC} = \epsilon_S / \sqrt{\epsilon_B}$. Im Gegensatz zur SIC kann ARGOS unter Verwendung realer ungelabelter Daten berechnet werden, während die SIC dies nicht kann. Die Autoren argumentieren, dass die Maximierung von ARGOS effektiv die Sensitivität gegenüber unbekannten Signalen maximiert und gleichzeitig die Optimierung des Arbeitspunktes (Working Point) des Anomalie-Detektors ermöglicht.

Experimenteller Aufbau
Die Autoren evaluierten ARGOS anhand des LHC Olympics 2020 (LHCO) R&D-Datensatzes, der $10^6$ QCD-Dijet-Hintergrundereignisse und injizierte $W'$-Resonanzsignale ($m_{W'} = 3,5$ TeV) umfasst. Sie testeten drei verschiedene Methoden zur Konstruktion des Hintergrund-Templates:

1. Idealized Anomaly Detector (IAD): Verwendet simulierte Hintergrundereignisse (perfektes BT).
2. CWoLa Hunting: Verwendet Daten aus kurzen Sidebands, die an die Signalregion angrenzen.
3. CATHODE: Verwendet bedingte Dichteschätzung, um die Verteilungen der Sidebands in die Signalregion zu interpolieren.

Es wurden drei Klassifikator-Architekturen eingesetzt: Multi-Layer Perceptrons (MLP), HistGradientBoosting (HGB) und AdaBoost. Die Studie konzentrierte sich auf die schwach überwachte resonante Anomalieerkennung, bei der ein Klassifikator zwischen gemischten Label-Datensätzen unterscheidet.

Kernergebnisse
Die Arbeit vergleicht ARGOS mit dem Standard-BCE-Verlust und der überwachten „max SIC“-Metrik über vier Optimierungsaufgaben hinweg:

1. Epochen-Selektion: Bei der Auswahl der besten Trainingsepochen zum Ensembling übertrafen Modelle, die via ARGOS optimiert wurden, jene, die via BCE optimiert wurden, konsistent. BCE versagte oft dabei, die optimalen Epochen zu identifizieren, insbesondere bei geringen Signal-Injektionen, da sie vom Mehrheits-Hintergrund-Klasse dominiert wird und anfällig für das Overtraining auf statistische Fluktuationen ist. ARGOS, das sich auf Ereignisse mit hohem Anomalie-Score konzentriert, folgte der wahren Signal-Sensitivität (max SIC) wesentlich genauer.
2. Hyperparameter-Optimierung: In Random-Searches über Hyperparameter-Räume zeigte ARGOS eine starke Korrelation mit der wahren max SIC und übertraf BCE signifikant. Eine BCE-basierte Optimierung führte oft zu suboptimalen Konfigurationen, die zwar die Differenzen im Hintergrund minimierten, aber nicht die Signal-Sensitivität verbesserten.
3. Architektur-Selektion: Bei der Wahl zwischen verschiedenen Klassifikator-Architekturen (NN vs. HGB vs. AdaBoost) wählte ARGOS Architekturen aus, die eine nahezu identische Performance wie der überwachte max SIC-Benchmark lieferten. Im Gegensatz dazu führte die BCE-basierte Selektion zu einer größeren Performance-Varianz und wählte in einigen Fällen (z. B. CWoLa Hunting) unterlegene Architekturen aus.
4. Merkmalsselektion (Feature Selection): Eine Proof-of-Concept-Studie demonstrierte, dass ARGOS erfolgreich die sensitivsten Merkmals-Sets (z. B. erweiterte Subjettiness-Ratios) identifizieren konnte, ohne Vorwissen über das Signal zu besitzen, und zuverlässig das „Extended 3“-Set bei hohen Signal-Injektionen auswählte.

Bedeutung und Ansprüche
Die Autoren behaupten, dass ARGOS eine solide theoretische Grundlage für die Modellselektion in der Anomalieerkennung bietet und eine robuste, datengesteuerte Alternative zu Metriken darstellt, die auf Wahrheitsetiketten basieren. Die primäre Bedeutung dieser Arbeit liegt in dem Nachweis, dass ARGOS robust den sensitivsten Anomalie-Detektions-Modell auswählen, Hyperparameter abstimmen und Architekturen wählen kann, ohne einen Signal-Bias einzuführen.

Das Paper betont, dass ARGOS nicht auf den spezifisch getesteten schwach überwachten Kontext beschränkt ist, sondern auf jede Methode der Anomalieerkennung (einschließlich Autoencoder und Dichteschätzer) anwendbar ist, sofern ein Hintergrund-Template verfügbar ist. Die Autoren kommen zu dem Schluss, dass ARGOS zwar derzeit am effektivsten mit präzisen Hintergrund-Templates ist, aber einen entscheidenden Schritt hin zu einer systematischen, modellunabhängigen Optimierung in der Hochenergiephysik-Suche darstellt. Sie merken an, dass zukünftige Arbeiten erforderlich sind, um potenzielle Verzerrungen zu untersuchen, die durch unvollkommene Hintergrund-Templates bei Merkmalsselektions-Aufgaben entstehen könnten.