📊 statistics

Collective Outlier Detection and Enumeration with Conformalized Closed Testing

Dieser Beitrag stellt ein flexibles, verteilungsfreies Framework zur Erkennung und Aufzählung kollektiver Ausreißer vor, das konforme Inferenz mit multiplen Tests und adaptiven Rangtests integriert und über einen prinzipiellen Mechanismus verfügt, um automatisch den optimalen Machine-Learning-Klassifikator und das Zwei-Stichproben-Testverfahren für einen gegebenen Datensatz auszuwählen.

Ursprüngliche Autoren: Chiara G. Magnani, Matteo Sesia, Aldo Solari

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chiara G. Magnani, Matteo Sesia, Aldo Solari

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein paar faule Äpfel in einer riesigen Kiste mit Tausenden guten Äpfeln zu finden. Normalerweise würden Sie jeden Apfel einzeln betrachten und auf Druckstellen oder Fäulnis prüfen. Wenn ein Apfel perfekt aussieht, lassen Sie ihn durch. Aber was, wenn die „faulen" Äpfel außen nicht faul sind? Was, wenn sie genau wie die guten aussehen, aber wenn Sie die gesamte Gruppe der faulen Äpfel zusammen betrachten, sie sich seltsam verhalten? Vielleicht sind sie alle ein wenig zu grün, oder sie wiegen alle ein winziges bisschen weniger als der Durchschnitt, aber einzeln sind diese Unterschiede zu gering, um sie zu bemerken.

Dies ist das Problem, das ACODE (Automatic Conformal Outlier Detection and Enumeration) löst.

Hier ist eine einfache Aufschlüsselung dessen, was die Arbeit leistet, unter Verwendung alltäglicher Analogien:

1. Das Problem: Die „Nadel im Heuhaufen", die sich in einem Haufen versteckt

In der Vergangenheit versuchten statistische Methoden, „Ausreißer" (die faulen Äpfel) zu finden, indem sie sie einzeln prüften.

Der Fehler: Wenn die faulen Äpfel sehr selten oder sehr subtil sind, scheitert die individuelle Prüfung oft. Sie könnten sagen: „Dieser Apfel sieht gut aus" und ihn übersehen.
Die neue Idee: Anstatt die Äpfel einzeln zu betrachten, betrachtet ACODE die gesamte Gruppe verdächtiger Äpfel, um zu sehen, ob sie als Haufen anders handeln. Es fragt: „Gibt es hier eine versteckte Gruppe fauler Äpfel, auch wenn wir nicht genau sagen können, welche sie sind?"

2. Die Lösung: Ein schlauer, anpassungsfähiger Detektiv

Die Arbeit stellt eine Methode namens ACODE vor. Stellen Sie sich ACODE als einen superklugen Detektiv vor, der nicht nur ein Werkzeug benutzt; er hat eine ganze Werkzeugkiste und weiß genau, welches Werkzeug er für den Job auswählen muss.

Der „Black-Box"-Klassifikator: Zuerst verwendet die Methode leistungsfähige Computerprogramme (Machine Learning), um jedem Apfel einen „Verdachts-Score" zu geben. Ein hoher Score bedeutet, dass der Apfel ein wenig seltsam aussieht; ein niedriger Score bedeutet, dass er normal aussieht.
Die „Werkzeugkiste" mit Tests: Sobald die Äpfel Scores haben, muss der Detektiv entscheiden: „Ist diese Gruppe von Äpfeln mit hohem Score tatsächlich eine Gruppe fauler Äpfel?"
- Manchmal sind die faulen Äpfel selten, aber sehr offensichtlich (wie ein roter Apfel in einem Haufen grüner Äpfel).
- Manchmal sind die faulen Äpfel häufig, aber sehr subtil (wie etwas kleinere Äpfel).
- Unterschiedliche mathematische Tests funktionieren für verschiedene Situationen am besten.
Der Zaubertrick (Automatische Auswahl): Die Genialität von ACODE besteht darin, dass es nicht errät, welchen mathematischen Test es verwenden soll. Es probiert mehrere verschiedene Tests auf den Daten aus und wählt automatisch denjenigen aus, der für diesen spezifischen Datensatz am besten funktioniert. Es ist wie ein Koch, der die Suppe probiert und sofort weiß, ob er Salz, Pfeffer oder Zitronensaft hinzufügen muss, um sie perfekt zu machen.

3. Das Sicherheitsnetz: Kein Schummeln erlaubt

Sie könnten denken: „Wenn der Detektiv zehn verschiedene Werkzeuge probiert und das beste auswählt, schummelt er dann nicht gerade? Vielleicht hatte er einfach nur Glück."

Die Arbeit verwendet einen cleveren statistischen Trick namens Closed Testing, um dies zu verhindern.

Die Analogie: Stellen Sie sich ein Spiel vor, bei dem Sie eine Zahl erraten müssen. Wenn Sie eine Million Versuche machen und den richtigen auswählen, haben Sie geschummelt. Aber wenn Sie eine Regel haben, die besagt: „Sie müssen Ihre Strategie vorher aufschreiben, bevor Sie die Zahlen sehen", dann können Sie nicht schummeln.
Wie ACODE es macht: ACODE teilt die Daten in verschiedene Gruppen auf (wie das Aufteilen eines Kartendecks). Es verwendet eine Gruppe, um zu entscheiden, welches Werkzeug zu verwenden ist, und eine andere Gruppe, um den Test tatsächlich durchzuführen. Dies stellt sicher, dass das Endergebnis statistisch gültig ist und nicht nur ein glücklicher Zufall ist. Es garantiert, dass, wenn sie sagen: „Es gibt mindestens 50 faule Äpfel", sie in 90 % der Fälle recht haben.

4. Was kann es zählen? (Enumeration)

Die meisten Methoden sagen nur: „Ja, es gibt faule Äpfel!" oder „Nein, es gibt keine."
ACODE geht weiter. Es gibt Ihnen eine Untergrenze.

Die Analogie: Stellen Sie sich vor, Sie zählen Münzen in einem Glas. Sie können sie nicht alle klar sehen, aber Sie sind zu 90 % sicher, dass es mindestens 50 Münzen sind. Sie wissen vielleicht nicht, ob es 50 oder 100 sind, aber Sie wissen mit Sicherheit, dass es nicht 10 sind.
ACODE sagt Ihnen: „Wir sind zu 90 % zuversichtlich, dass sich in dieser Gruppe mindestens X faule Äpfel befinden." Dies nennt man Enumeration.

5. Reale Beispiele aus der Arbeit

Die Autoren testeten diese Methode an zwei Haupttypen von Daten:

Synthetische Daten: Sie erstellten gefälschte Daten, bei denen sie genau wussten, wie viele „schlechte" Elemente versteckt waren. ACODE fand die Gruppen schlechter Elemente erfolgreich, selbst wenn die individuelle Erkennung versagte.
Teilchenphysik (die LHCO-Daten): Sie verwendeten Daten vom Large Hadron Collider (wo Wissenschaftler Teilchen zusammenstoßen lassen, um neue zu finden).
- Die Herausforderung: Neue Teilchen sind wie „faule Äpfel", die in einem Meer von Milliarden normaler Kollisionen versteckt sind. Sie sind so selten und schwach, dass das Betrachten einer einzelnen Kollision sie normalerweise übersehen lässt.
- Das Ergebnis: ACODE identifizierte erfolgreich Gruppen von Kollisionen, die wahrscheinlich neue Teilchen enthielten, und lieferte eine zuverlässige Zählung, wie viele „interessante" Ereignisse sich in den Daten versteckten.

Zusammenfassung

ACODE ist eine neue Art, verborgene Muster in Daten zu finden. Anstatt zu versuchen, jeden einzelnen faulen Apfel zu finden, sucht es nach der Gruppe der faulen Äpfel. Es wählt automatisch die beste mathematische Methode aus, um sie zu finden, verwendet eine strenge Sicherheitsregel, um sicherzustellen, dass nicht geschummelt wird, und liefert Ihnen eine zuverlässige Schätzung, wie viele faule Äpfel sich im Haufen verstecken.

Es funktioniert am besten, wenn die „schlechten" Dinge zu schwach sind, um allein gesehen zu werden, aber stark genug, um gesehen zu werden, wenn sie zusammen agieren.

Technische Zusammenfassung: Kollektive Ausreißererkennung und -zählung mit konformalisierter geschlossener Prüfung

1. Problemstellung

Der Beitrag adressiert die Herausforderung der kollektiven Ausreißererkennung und -zählung in Szenarien, in denen einzelne Ausreißer aufgrund von Spärlichkeit, schwachen Signalen oder Unauffälligkeit schwer zu identifizieren sind. Während sich die traditionelle konformale Inferenz auf die Identifizierung von Ausreißern auf individueller Ebene konzentriert hat (Kontrolle der False-Discovery-Rate für spezifische Datenpunkte), fehlt dieser Ansatz oft an Aussagekraft, wenn Ausreißer isoliert keine signifikanten Abweichungen aufweisen.

Die Autoren definieren zwei Hauptaufgaben für einen Testdatensatz $Z_{m+1}, \dots, Z_{m+n}$ gegenüber einem Referenzdatensatz aus Nicht-Ausreißern $Z_1, \dots, Z_m$ :

Ausreißererkennung: Prüfung der globalen Nullhypothese, dass eine Teilmenge der Testdaten keine Ausreißer enthält.
Ausreißerzählung: Schätzung der Anzahl von Ausreißern innerhalb einer Teilmenge durch Bereitstellung einer simultanen unteren Konfidenzgrenze, ohne zwingend die genaue Identität jedes Ausreißers zu bestimmen.

Die Kernschwierigkeit besteht darin, dass Standardtests auf individueller Ebene (z. B. Benjamini-Hochberg angewendet auf konformale p-Werte) versagen können, die globale Nullhypothese abzulehnen oder informative Grenzen zu liefern, wenn die Signale schwach oder spärlich sind. Darüber hinaus ist die a priori-Auswahl des optimalen Machine-Learning-Klassifikators und des statistischen Testverfahrens schwierig, und ein „Cherry-Picking" basierend auf den Daten führt zu Selektionsverzerrung und ungültiger Inferenz.

2. Methodik: ACODE

Die Autoren schlagen ACODE (Automatic Conformal Outlier Detection and Enumeration) vor, ein flexibles, verteilungsfreies Framework, das konformale Inferenz, geschlossene Prüfung und adaptive Rangtests integriert.

2.1 Konformale Bewertung und Aufteilung

Die Methode beginnt mit der Generierung von Konformitätsbewertungen mittels Machine-Learning-Klassifikatoren, die trainiert wurden, um Ausreißer von Nicht-Ausreißern zu unterscheiden.

Klassifikatoren: Das Framework unterstützt sowohl One-Class-Klassifikatoren (nur auf Nicht-Ausreißern trainiert) als auch binäre Klassifikatoren (trainiert via Positive-Unlabeled-Learning).
Bewertungsgenerierung: Eine Funktion $\hat{s}$ bildet Datenpunkte auf skalare Bewertungen ab. Um die Validität sicherzustellen, setzt die Methode Stichprobenaufteilung ein. Ein Tuning-Datensatz dient zur Auswahl des besten Klassifikators und des Testverfahrens, während ein separater Kalibrierungsdatensatz zur Generierung konformaler p-Werte für den Testdatensatz verwendet wird. Diese Trennung bewahrt die Austauschbarkeit der Bewertungen der Nicht-Ausreißer unter der Bedingung des ausgewählten Verfahrens und verhindert Selektionsverzerrung.

2.2 Lokale Testverfahren

ACODE aggregiert Konformitätsbewertungen, um lokale Hypothesen $H_S$ zu testen (dass eine Teilmenge $S$ keine Ausreißer enthält). Der Beitrag evaluiert ein „Werkzeugkasten" lokaler Tests, die jeweils für unterschiedliche Signalstrukturen geeignet sind:

Simes-Test: Wirksam für seltene, starke Signale.
Fisher-Kombination: Wirksam für dichte, schwache Signale.
Wilcoxon-Mann-Whitney (WMW): Ein Rangtest, der sich unter spezifischen Lehmann-Alternativen (wo Ausreißer der Verteilung des Maximums zweier Nicht-Ausreißer folgen) als lokal am mächtigster Rangtest (LMPR) erwiesen hat.
Shiraishi LMPR-Test: Eine Verallgemeinerung von WMW für beliebige Ausreißerverteilungen.
Adaptiver Rangtest: Eine datengesteuerte Erweiterung des Shiraishi-Tests, die die unbekannte Ausreißerdichte $g$ nicht-parametrisch schätzt. Theoretische Ergebnisse (Satz 2) zeigen, dass dieser adaptive Test die gleiche lokale asymptotische Macht erreicht wie ein Orakel-Test mit bekanntem $g$ .

2.3 Geschlossene Prüfung zur Zählung

Um von lokalen Tests zur globalen Zählung zu gelangen, wendet ACODE das Prinzip der geschlossenen Prüfung (Marcus et al., 1976) an.

Mechanismus: Die Methode testet alle möglichen Schnittmengen-Hypothesen $H_J$ für Teilmengen $J \subseteq [n]$ . Eine untere Konfidenzgrenze $d(S)$ für die Anzahl der Ausreißer in einer beliebigen Teilmenge $S$ wird ermittelt, indem die größte Teilmenge $K \subseteq S$ gefunden wird, für die die Nullhypothese nach Multiplizitätskorrektur nicht abgelehnt werden kann.
Validität: Proposition 1 garantiert, dass, wenn die lokalen Tests gültig sind, die resultierenden unteren Grenzen eine simultane Abdeckung erfüllen: $P(d(S) \le |I_1 \cap S| \text{ für alle } S) \ge 1-\alpha$ .
Rechenleistung: Obwohl geschlossene Prüfung im Allgemeinen exponentiell ist, nutzt der Beitrag polynomialzeitliche Abkürzungen (Goeman et al., 2019; Tian et al., 2023) für Simes-, WMW- und Fisher-Tests, was die Methode auf große Datensätze skalierbar macht.

2.4 Datengesteuerte Adaptivität

Eine Schlüsselinnovation ist Algorithmus 3, der die Auswahl des Klassifikators und des lokalen Tests automatisiert.

Prozess: Der Algorithmus bewertet mehrere Kombinationen von Klassifikatoren und Tests auf einem Tuning-Datensatz, um die untere Grenze (für die Zählung) zu maximieren oder den p-Wert (für die Erkennung) zu minimieren.
Bias-Kontrolle: Durch die Verwendung eines separaten Tuning-Datensatzes und die anschließende Neubewertung der ausgewählten Kombination auf dem vollständigen Kalibrierungs-/Test-Split vermeidet die Methode die aufgeblähten Type-I-Fehlerraten, die mit naivem „Cherry-Picking" verbunden sind.

3. Hauptbeiträge

Der Beitrag leistet drei primäre methodische Beiträge:

ACODE-Framework: Einführung einer prinzipiellen, datengesteuerten Methode zur Ausreißerzählung, die automatisch den optimalen Machine-Learning-Klassifikator und das Zwei-Stichproben-Testverfahren auswählt. Es integriert geschlossene Prüfung mit konformaler Inferenz, um rigorose, simultane untere Grenzen für die Anzahl der Ausreißer bereitzustellen.
Theoretische Erweiterungen: Bereitstellung asymptotischer Approximationen für die Nullverteilungen des lokal am mächtigsten Rangtests von Shiraishi und seiner adaptiven Version unter austauschbaren (anstatt streng i.i.d.) Konformitätsbewertungen. Diese Erweiterung ist für die Validität im geteilten-konformen Setting entscheidend.
Adaptiver Rangtest: Nachweis, dass ein adaptiver Rangtest, der die Ausreißerverteilung nicht-parametrisch schätzt, die gleiche lokale asymptotische Macht erreicht wie ein Orakel-Test mit vollständiger Kenntnis der Ausreißerverteilung (Satz 2).

4. Empirische Ergebnisse

Die Methode wurde auf synthetischen Daten und realen Hochenergiephysik-Daten (LHCO 2020) evaluiert.

Synthetische Daten:
- ACODE übertraf Methoden zur Identifizierung auf individueller Ebene (wie Benjamini-Hochberg angewendet auf konformale p-Werte) konsistent in Bezug auf die Macht zur Erkennung der globalen Nullhypothese und zur Bereitstellung informativer unterer Grenzen.
- Der adaptive Auswahlmechanismus identifizierte erfolgreich den besten Klassifikator (One-Class vs. binär) und Test (WMW vs. Fisher vs. Simes) für spezifische Datenregime und näherte sich der Leistung eines Orakels an, das die optimale Kombination kennt.
- In Szenarien mit „adversarialen" Ausreißern (bei denen einzelne Bewertungen unterdispersiert und schwer zu erkennen sind) schnitt die datengesteuerte Approximation des Shiraishi-Tests deutlich besser ab als Standardmethoden.
LHCO Hochenergiephysik-Daten:
- Angewendet auf 1,1 Millionen Teilchenkollisionsereignisse, gelang es ACODE erfolgreich, „Signal"-Ereignisse (Ausreißer) gegenüber einem Hintergrund simulierter Ereignisse zu erkennen und zu zählen.
- Die Methode lieferte enge 90%-untere Konfidenzgrenzen für die Anzahl der Ausreißer und übertraf das BH-Verfahren in Bezug auf die Informativität erheblich.
- Entscheidend erreichte die adaptive Version von ACODE eine nahezu orakelähnliche Leistung, ohne Selektionsverzerrung zu verursachen, während ein naiver „Cherry-Picking"-Ansatz zu aufgeblähten Type-I-Fehlern führte.

5. Bedeutung und Behauptungen

Der Beitrag behauptet, dass ACODE eine robuste Lösung für die kollektive Anomalieerkennung bietet, wo die individuelle Erkennung versagt. Seine Bedeutung liegt in:

Überbrückung der Lücke: Es verbindet konformale Inferenz mit klassischer Mehrfachtestung und Rangtesttheorie, um schwache und spärliche Signale zu behandeln.
Prinzipielle Adaptivität: Es löst das Problem der „Selektionsverzerrung", das inhärent bei der Auswahl von Machine-Learning-Modellen und statistischen Tests ist, und liefert gültige Inferenz, selbst wenn das beste Verfahren basierend auf den Daten gewählt wird.
Informativität: Im Gegensatz zu Methoden, die nur spezifische Ausreißer identifizieren, liefert ACODE eine statistisch garantierte untere Grenze für die Anzahl der Ausreißer und bietet so einen umfassenderen Blick auf die Anomaliestruktur der Daten.

Die Autoren stellen fest, dass die Methode zwar leistungsfähig ist, aber auf die Verfügbarkeit eines sauberen Referenzdatensatzes von Nicht-Ausreißern angewiesen ist und Austauschbarkeit voraussetzt. Zukünftige Arbeiten könnten Cross-Validation-Frameworks, den Umgang mit kontaminierten Kalibrierungsdaten und die Entwicklung schnellerer rechnerischer Abkürzungen für den adaptiven Shiraishi-Test untersuchen.