Conformal calibration and look-elsewhere effect in anomaly detection for new-physics searches

Dieses Papier schlägt eine auf Conformal Prediction basierende Kalibrierungsschicht vor, die unkalibrierte Anomaliewerte des maschinellen Lernens in statistisch rigorose, distributionsfreie lokale und globale p-Werte transformiert und dadurch effektiv Hintergrund-Fehlmodellierungen sowie den Look-Elsewhere-Effekt korrigiert, um falsche Entdeckungen bei der Suche nach neuer Physik zu verhindern.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, eine bestimmte Art von gefälschter Münze zu finden, die in einem riesigen Beutel mit echten Münzen versteckt ist. Sie haben einen neuen, hochmodernen „Anomalie-Detektor“ (ein maschinelles Lernmodell), der jeder Münze einen „Seltsamkeitswert“ zuweist. Je höher dieser Wert ist, desto wahrscheinlicher ist es, dass sie eine Fälschung ist.

Das Problem ist, dass dieser Detektor wie ein Ratgeber ist, der nur rät. Er gibt Ihnen einen Wert wie „17,5“ an, aber diese Zahl bedeutet für sich genommen nichts. Ist 17,5 selten? Ist es häufig? Ohne ein Lineal, um zu messen, können Sie nicht sagen, ob Sie eine Fälschung gefunden haben oder nur eine normale Münze, die zufällig etwas seltsam aussah.

Da der Detektor tausende von Münzen scannt, wird er rein durch Glück auch ein paar finden, die „seltsam“ aussehen. Wenn Sie nicht berücksichtigen, wie oft Sie nachgesehen haben, könnten Sie denken, Sie hätten eine Fälschung gefunden, obwohl Sie eigentlich nur Glück hatten.

Dieses Paper schlägt eine neue „Kalibrierungsschicht“ vor, um diese Probleme zu lösen. So funktioniert sie, erklärt anhand einfacher Analogien:

1. Das kaputte Lineal (Das Kalibrierungsproblem)

Stellen Sie sich vor, Ihr Detektor ist eine Waage, die Ihnen sagt, wie schwer eine Münze ist, aber die Waage ist kaputt. Sie sagt, eine normale Münze wiegt 17,5 Gramm. Sie wissen nicht, ob das schwer oder leicht ist, weil Sie nicht zuerst eine Menge bekannter normaler Münzen gewogen haben, um die Basis festzulegen.

Die Autoren verwenden ein statistisches Werkzeug namens Conformal Prediction, um ein neues Lineal zu bauen. Sie nehmen einen Stapel Münzen, von denen sie wissen, dass sie normal sind (den „Kalibrierungssatz“), und schauen sich an, wie der Detektor diese bewertet. Dann bilden sie die Rohwerte des Detektors auf einen p-Wert ab.

• Die Analogie: Anstatt zu sagen „Diese Münze ist 17,5 seltsam“, sagt das neue Lineal: „Nur 1 % der normalen Münzen sehen so seltsam aus.“ Jetzt haben Sie eine klare, ehrliche Zahl.

2. Die „Look-Elsewhere“-Falle

Wenn Sie einen ganzen Beutel voller Münzen scannen, werden Sie zwangsläufig eine finden, die rein zufällig etwas ungewöhnlich aussieht. Wenn Sie 1.000 Münzen scannen, ist es keine große Sache, eine „seltsame“ zu finden. Aber wenn Sie nur eine einzige Münze betrachtet hätten, wäre es eine riesige Neuigkeit.

Das Paper kombiniert ihr neues Lineal mit einer Methode namens Gross–Vitells-Korrektur.

• Die Analogie: Dies ist wie ein Richter, der weiß, dass Sie 1.000 Mal eine Münze geworfen haben. Wenn Sie sagen: „Ich habe 10 Mal hintereinander Kopf bekommen!“, dann betrachtet der Richter nicht nur diese eine Serie; er betrachtet die gesamten 1.000 Würfe. Er berechnet die Wahrscheinlichkeit, dass Sie diese Serie irgendwo im Beutel erhalten haben. Dies verhindert, dass Sie „Gefälschte Münze!“ schreien, nur weil Sie Glück hatten.

3. Der „Sculpting“-Betrug (Das Versagen der Austauschbarkeit)

Dies ist die wichtigste Entdeckung des Papers. In der Teilchenphysik verwenden Wissenschaftler oft „Sidebands“ (Bereiche neben dem Zielbereich), um zu erraten, wie der Hintergrund aussieht. Sie gehen davon aus, dass der Hintergrund in den Sidebands derselbe ist wie der Hintergrund im Zielbereich.

Die Autoren fanden heraus, dass diese Annahme in vielen Modellen des maschinellen Lernens falsch ist. Das Modell lernt, Merkmale zu nutzen, die geheim mit dem Standort verknüpft sind.

• Die Analogie: Stellen Sie sich vor, Sie suchen eine gefälschte Münze in einem bestimmten Glas. Um Ihren Detektor zu kalibrieren, schauen Sie sich die Münzen in einem Glas daneben an. Aber Ihr Detektor hat gelernt, dass „Münzen im linken Glas meist schwerer sind“ und „Münzen im rechten Glas meist leichter sind“. Selbst wenn alle Münzen echt sind, wird Ihr Detektor die Münzen im rechten Glas als „seltsam“ einstufen, nur weil sie im rechten Glas sind.
• Das Ergebnis: Ohne diese Korrektur erzeugt der Detektor ein „Geister-Signal“. In den Tests des Papers sah dieses „Geister-Signal“ aus wie eine 46-Sigma-Entdeckung (was astronomisch groß ist, wie das Finden einer Nadel in einer Galaxie). Es war eine komplette Illusion, verursacht durch die Voreingenommenheit des Detektors.

4. Die Lösung: Die „gewichtete“ Korrektur

Die Autoren beheben dies, indem sie ein Gewicht auf die Kalibrierung anwenden.

• Die Analogie: Sie erkennen, dass die Münzen im „linken Glas“ und im „rechten Glas“ leicht unterschiedlich sind. Also geben sie den Münzen aus dem linken Glas beim Gebrauch zur Kalibrierung des rechten Glases einen „Rabatt“ oder eine „Anpassung“, damit sie dem Profil des rechten Glases entsprechen.
• Das Ergebnis: Wenn sie dieses Gewicht anwenden, verschwindet das gefälschte 46-Sigma-Signal vollständig. Es sinkt auf 0,2 Sigma, was einfach normales Hintergrundrauschen ist. Der Detektor hört auf zu lügen.

5. Das „Fail-Safe“-Merkmal

Eines der besten Dinge an dieser Methode ist, dass sie ehrlich bleibt, selbst wenn etwas schiefgeht.

• Die Analogie: Wenn Ihre Kalibrierungsmünzen heimlich mit ein paar Fälschungen kontaminiert sind, würde ein Standard-Detektor vielleicht lautlos anfangen, „Fälschung!“ zu schreien, und Sie würden es nie merken. Aber diese neue Methode hat eine Selbstkontrolle. Wenn die Kalibrierung schlecht ist, wird das „Lineal“ verzerrt aussehen (die p-Werte werden nicht gleichmäßig verteilt sein). Es wird sagen: „Hey, mein Lineal ist kaputt“, anstatt Ihnen eine falsche Entdeckung vorzugaukeln.

Zusammenfassung der Ergebnisse

Die Autoren testeten dies mit öffentlichen Daten aus dem LHC (Large Hadron Collider):

1. Standardmethoden: Wenn sie diese Standardtechniken auf diese Daten angewendet haben, erfand der Detektor gefälschte Signale von 10-Sigma oder 5-Sigma in Bereichen, in denen kein Signal existierte. Er halluzinierte Entdeckungen.
2. Die neue Methode: Als sie diese Kalibrierungsschicht hinzufügten, verschwanden diese gefälschten Signale. Der Detektor berichtete korrekt „Kein Signal gefunden“ (ein Nullresultat).
3. Reale Signale: Wenn sie tatsächlich ein echtes Signal hineinlegten, konnte die Methode dieses immer noch finden (sofern das Signal stark genug war), was beweist, dass sie nicht einfach nur den Detektor „abgeschaltet“ haben; sie haben ihn nur aufgehört, zu lügen.

Das Kernfazit:
Dieses Paper erfindet keinen neuen Teilchendetektor. Stattdessen erfindet es eine Wahrheits-Schicht, die über jedem Detektor liegt. Sie stellt sicher, dass wenn ein Detektor sagt: „Wir haben etwas gefunden“, er damit wirklich meint: „Wir haben etwas gefunden“, und nicht bloß: „Wir hatten Glück“ oder „Unsere Mathematik war voreingenommen“. Sie verwandelt einen rohen, verwirrenden Wert in eine verteidigbare, prüfbare wissenschaftliche Aussage.

Technische Zusammenfassung

Technisches Resümee: Konforme Kalibrierung und Look-Elsewhere-Effekt in der Anomalieerkennung für die Suche nach neuer Physik

Problemstellung
Maschinengelerntes Anomaliendetektions-Verfahren (Anomaly Detection, AD) ist zu einer primären Strategie bei der Suche nach Physik jenseits des Standardmodells geworden. Die statistische Interpretation von AD-Scores hinkt deren Entwicklung jedoch hinterher. Ein roher Anomalie-Score besitzt keine kalibrierte Bedeutung; ein Wert vermittelt nicht inhärent die Wahrscheinlichkeit einer Hintergrundfluktuation. Flexible Modelle, die über mehrere Regionen, Observablen und latente Richtungen hinweg scannen, leiden unter einem akuten „Look-Elsewhere-Effekt“ (Multiplizität), der die Falscherkennungsraten aufbläht. Bestehende experimentelle Workflows verlassen sich auf asymptotische Profil-Likelihood-Formeln und Trials-Faktoren (z. B. Gross–Vitells-Theorie), die eine korrekt modellierte Hintergrundverteilung voraussetzen. Diese Methoden sind blind gegenüber einer Fehlmodellierung des Hintergrunds – ein Versagensmodus, dem AD besonders anfällig ist. Wenn Trainings- und Evaluierungsdaten geteilt werden oder wenn Merkmale mit der resonanten Variablen (z. B. der invarianten Masse) korrelieren, erzeugen Standard-Pipelines miskalibrierte $p$-Werte, was potenziell falsche Entdeckungen vortäuscht.

Methodik
Die Autoren schlagen eine Kalibrierungsschicht vor, die auf konformer Prädiktion (Conformal Prediction) basiert und jeden Anomalie-Score in eine verteidigungsfähige Signifikanz transformiert, die über verteilungsfreie Garantien mit endlichen Stichproben verfügt. Die Methodik durchläuft mehrere Schlüsselstadien:

1. Split-Konforme Kalibrierung: Die Autoren definieren einen einseitigen konformen $p$-Wert, $\hat{p}(s)$, für einen Test-Score $s$ basierend auf einem Kalibrierungsdatensatz von $n$ Hintergrund-Scores. Dies bildet rohe Scores auf $p$-Werte ab, sodass die $p$-Werte unter der Annahme der Austauschbarkeit super-uniform sind ($P(\hat{p} \le \alpha) \le \alpha$). Dies liefert eine Garantie für endliche Stichproben, die unabhängig von der Form der Score-Verteilung ist.
2. Adressierung von Austauschbarkeitsfehlern: Resonante Suchen verletzen oft die Annahme der Austauschbarkeit, da sich die Hintergrund-Score-Verteilung in der Signalregion (SR) von der in den Sidebands (SB) unterscheidet, bedingt durch Korrelationen zwischen Jet-Substruktur-Merkmalen und der resonanten Variable (Masse).
   • Gewichtete konforme Prädiktion: Um diesen Kovariaten-Shift zu korrigieren, verwenden die Autoren einen gewichteten konformen $p$-Wert unter Verwendung eines Likelihood-Verhältnisses $w(x) = dQ/dP$ (wobei $Q$ die SR-Verteilung und $P$ die SB-Verteilung ist). Dieses Gewicht wird label-frei aus den Daten geschätzt.
   • Mondrian-Kalibrierung: Für Heterogenität, bei der sich der Hintergrund über Bins der resonanten Variable hinweg verändert, schlagen die Autoren eine Mondrian- (gruppenbedingte) Kalibrierung vor, welche die lokale Gültigkeit durch separate Kalibrierung innerhalb jedes Bins sicherstellt.
3. Robustheit gegenüber Kontamination: Das Framework adressiert das Eindringen von Signalen in Kontrollregionen (Signal Leakage). Theorem 5 stellt fest, dass das Verfahren valide bleibt und konservativ wird – also im Sinne eines „Safe Failure“ agiert, statt Fehlalarme zu produzieren –, sofern die Kontamination im Kalibrierungsdatensatz stochastisch ist (Signalereignisse weisen höhere Scores auf als Hintergrundereignisse).
4. Look-Elsewhere-Korrektur: Die lokalen konformen $p$-Werte werden zu einem Zählfeld $Z(m)$ über Scanning-Fenster hinweg aggregiert. Die Autoren wenden die Gross–Vitells Up-Crossing-Theorie auf dieses Feld an, um eine globale Signifikanz zu berechnen. Während die lokalen $p$-Werte Garantien für endliche Stichproben besitzen, wird der globale Schritt als asymptotische Schranke behandelt, die gegen hintergrund-nur Pseudoexperimente validiert wurde.
5. Kontrolle der False Discovery Rate (FDR): Für Multi-Region-Shortlists wird das Benjamini–Hochberg-Verfahren integriert, um die FDR zu kontrollieren, wobei die positive Abhängigkeit der aus einem gemeinsamen Kalibrierungsdatensatz abgeleiteten konformen $p$-Werte genutzt wird.

Wesentliche Beiträge

• Eine Kalibrierungsschicht: Die Arbeit führt eine modulare Schicht ein, die auf jeden bestehenden Anomalie-Detektor angewendet werden kann, ohne den Detektor selbst neu trainieren zu müssen. Sie konvertiert unkalibrierte Scores in valide lokale $p$-Werte.
• Diagnose und Korrektur der Austauschbarkeit: Die Methode bietet ein Diagnosewerkzeug (Prüfung der Uniformität der Hintergrund-$p$-Werte), um Austauschbarkeitsfehler durch Feature-Masse-Korrelationen zu erkennen. Sie bietet eine label-freie gewichtete Korrektur zur Wiederherstellung der Validität.
• Garantien für endliche Stichproben: Im Gegensatz zu asymptotischen Methoden bietet die konforme Schicht eine rigorose Validität für endliche Stichproben, die robust gegenüber einer Fehlmodellierung des Hintergrunds ist, sofern die Annahmen (Austauschbarkeit oder korrigierbarer Kovariaten-Shift) erfüllt sind.
• Integration mit Trials-Faktoren: Die Arbeit schließt die Lücke zwischen konformer Prädiktion und der Entdeckungsstatistik der Hochenergiephysik (HEP), indem sie lokale Kalibrierung mit endlichen Stichproben mit dem globalen Gross–Vitells-Signifikanz-Framework kombiniert.

Ergebnisse
Die Methodik wurde am LHC Olympics 2020 R&D Datensatz (QCD-Dijet-Hintergrund mit einem injizierten $Z' \to XX$ Resonanz) getestet.

• Detektion von Fehlkalibrierung: Auf realen Daten zeigte ein standardmäßiger, Sideband-kalibrierter Klassifikator einen signifikanten Austauschbarkeitsfehler. Die Hintergrund-$p$-Werte waren anti-konservativ, mit $P(\hat{p} \le 0.05) \approx 0.087$ statt der nominalen 0.05.
• Korrektur falscher Exzesse:
  • Ein naives Zählen von Ereignissen mit $p \le 0.05$ in der Signalregion ergab einen scheinbaren $\sim 46\sigma$ Exzess.
  • Die Anwendung der label-freien gewichteten Korrektur stellte die Hintergrundrate auf das Nominalniveau wieder her und reduzierte die Signifikanz auf ein ehrliches Null-Niveau ($Z \approx 0.2$).
  • In einem blinden Wide-Mass-Scan (bei dem der Detektor in jedem Fenster neu trainiert wurde) fabrizierten standardmäßige asymptotische und ungewichtete konforme Verfahren $\gtrsim 10\sigma$ Exzesse in signalfreien Fenstern. Die gewichtete konforme Schicht produzierte keine Fehlalarme, wobei die globalen Signifikanzen konsistent mit der Null waren.
• Validierung der globalen Signifikanz: Die globale Falsch-Positiv-Rate des gewichteten konformen Verfahrens wurde anhand von Hintergrund-nur Pseudoexperimenten verifiziert und zeigte eine empirische Kontrolle nahe dem nominalen Niveau.
• Signal-Rekonstruktion: In einer positiven Kontrollstudie mit stärkeren Signal-Injektionen ($S/B \approx 1.3\%$) und minimaler Sideband-Kontamination konnte die gewichtete Kette erfolgreich eine $\sim 7.4\sigma$ globale Signifikanz rekonstruieren, was zeigt, dass die Methode keine echten Signale unterdrückt, sondern lediglich systematische Bias korrigiert.

Bedeutung und Ansprüche
Das Paper beansprucht, einen auditierbaren, detektor-agnostischen Pfad von einem unkalibrierten Anomalie-Score zu einer Trials-Faktor-bewussten globalen Signifikanz bereitzustellen.

• Der primäre Wert liegt nicht in einem neuen Detektor, sondern in einer Kalibrierungs- und Signifikanzschicht, die Annahmen explizit macht und überprüfbar macht.
• Sie legt „stille“ Ausfälle offen (wie Background Sculpting), die standardmäßige asymptotische Pipelines übersehen würden, und wandelt diese in sichtbare Nicht-Uniformitäten um oder korrigiert sie mittels Gewichtung.
• Die Autoren betonen, dass während die lokalen $p$-Werte Garantien für endliche Stichproben bieten, die globale Signifikanz auf asymptotischen Annahmen (Gross–Vitells) beruht, welche in ihrer Studie empirisch validiert wurden.
• Die Arbeit hebt hervor, dass der „Look-Elsewhere-Effekt“ in der AD durch die Multiplizität von Regionen und die Korrelation zwischen Merkmalen und der resonanten Variable verstärkt wird und dass die konforme Prädiktion einen rigorosen Rahmen bietet, um diese spezifischen Versagensmodi zu adressieren.

Das Paper schließt mit der Feststellung, dass die Methode zwar nicht alle Hintergrund-Systematiken löst (z. B. unbekannte unparametrisierte Fehlmodellierung), aber die Zuverlässigkeit von AD-Suchen signifikant verbessert, indem sie sicherstellt, dass berichtete Signifikanzen keine Artefakte von Kalibrierungsfehlern sind. Als zukünftige Arbeit wird die Integration von Störparametern (Detektor-Systematiken) in das konforme Framework sowie der direkte Vergleich dieses Ansatzes mit massen-dekorellierten Detektoren identifiziert.