🤖 machine learning

Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection

Diese Arbeit zeigt auf, dass die innerhalb eines Datensatzes durchgeführte Klassensplit-Evaluierung für die Anomalieerkennung unter einem schlecht gestellten Problem werden und instabile oder invertierte Scores produzieren kann, wenn sich die zurückgehaltenen Anomalieklassen im Repräsentationsraum mit normalen Daten überschneiden, und schlägt eine trainingsfreie Diagnose namens „Neighborhood Class Leakage“ vor, um solche Fehler über verschiedene Datensätze und Merkmalsräume hinweg vorherzusagen.

Ursprüngliche Autoren: Alejandro Ascarate, Leo Lebrat, Rodrigo Santa Cruz, Clinton Fookes, Olivier Salvado

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alejandro Ascarate, Leo Lebrat, Rodrigo Santa Cruz, Clinton Fookes, Olivier Salvado

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: „Den Test testen“

Stellen Sie sich vor, Sie sind ein Lehrer, der testen möchte, wie gut ein Schüler eine „falsche“ Frucht erkennen kann. Sie haben einen Korb mit 10 Arten von echten Äpfeln (Red Delicious, Granny Smith, Gala, etc.).

Der Standardtest (Klassen-Splittung):
Um den Test zu erstellen, entscheiden Sie, dass 9 Apfelsorten „normal“ sind und die 10. Sorte die „Anomalie“ (das falsche Objekt) darstellt. Sie trainieren den Schüler nur auf den 9 normalen Sorten. Dann zeigen Sie ihm eine Mischung aus den 9 normalen Sorten und der 10. Sorte und bitten ihn, die Fälschungen zu identifizieren.

Das Papier argumentiert, dass dieser Test in vielen Fällen fehlerhaft ist. Manchmal sieht der „falsche“ Apfel (die 10. Sorte) den echten Äpfeln so ähnlich, dass der Schüler verwirrt wird. Schlimmer noch: Je nachdem, welchen Apfel Sie als „falsch“ auswählen, kann es passieren, dass der Schüler anfängt, die echten Äpfel als die falschen zu bezeichnen, oder dass er einfach nur raten muss.

Das Kernproblem: Die „überlappende Menge“

Die Autoren haben entdeckt, dass in vielen Bilddatensätzen (wie CIFAR-10 oder Imagenette) die „Anomalie“-Klasse im Kopf des Computers gar nicht weit von den „normalen“ Klassen entfernt ist.

Die Metapher: Stellen Sie sich eine belebte Party vor.
- Normale Gruppe: Eine Mischung aus Menschen in roten, blauen und grünen T-Shirts.
- Anomalie-Gruppe: Menschen in gelben T-Shirts.
- Das Problem: Bei dieser speziellen Party stehen die Menschen in gelben T-Shirts direkt mitten unter den Menschen in blauen und grünen T-Shirts. Sie sind so stark vermischt, dass man sie nicht unterscheiden kann, nur indem man schaut, wer neben wem steht.

Wenn der Computer versucht, den „Ausreißer“ zu finden, gerät er in Verwirrung.

Der Kollaps: Der Score des Computers für die Frage „Wie seltsam ist das?“ sinkt auf das Niveau des bloßen Ratens (50/50-Chance).
Die Inversion: Manchmal stellt der Computer es genau umgekehrt fest. Er denkt, dass die „seltsamen“ gelben T-Shirts eigentlich die „normalen“ sind und die „normalen“ blauen T-Shirts die seltsamen.

Die „Richtungs“-Verwirrung

Der gefährlichste Teil dieses Problems ist die Richtungsinstabilität.

Szenario A: Wenn Sie „Gelb“ als Anomalie wählen, lernt der Computer: „Hoher Score = Seltsam.“
Szenario B: Wenn Sie „Lila“ als Anomalie wählen, lernt der Computer: „Niedriger Score = Seltsam.“

Wenn man nicht im Voraus weiß, welche Klasse die Anomalie ist (was in der Realität der Fall ist), hat der Computer keine konsistente Regel. Es ist wie ein Kompass, der in New York nach Norden zeigt, aber in London nach Süden zeigt. Man kann ihm nicht vertrauen, um einen Weg zu weisen.

Das neue Werkzeug: „Nachbarschafts-Leckage“ (Neighborhood Leakage)

Die Autoren haben einen einfachen, kostenlosen Weg erfunden, um zu prüfen, ob ein Test fehlerhaft ist, bevor man den Anomalie-Detektor überhaupt ausführt. Sie nennen dies Neighborhood Leakage.

Die Analogie: Stellen Sie sich vor, Sie betrachten eine Person in einer Menge. Sie schauen sich die 10 nächsten Nachbarn dieser Person an.
- Geringe Leckage: Alle 10 Nachbarn tragen die gleiche Farbe wie die Person. Die Gruppen sind sauber und getrennt. Der Test ist wahrscheinlich valide.
- Hohe Leckage: Die Person trägt ein rotes T-Shirt, aber 8 ihrer 10 nächsten Nachbarn tragen blaue, grüne oder gelbe T-Shirts. Die Gruppen sind vermischt.

Das Papier zeigt, dass, wenn Sie eine hohe Leckage haben, Ihre Testergebnisse instabil, invertiert oder zufällig sein werden. Es ist eine „rote Flagge“, die sagt: „Stopp! Die Geometrie dieser Daten ist zu chaotisch für diesen spezifischen Test, um zu funktionieren.“

Was sie herausgefunden haben

Sie haben dies an drei berühmten Bilddatensätzen getestet:

Fashion-MNIST (Einfach): Die Kleidung ist unterscheidbar. Die Leckage ist gering. Der Test funktioniert ganz gut.
CIFAR-10 & Imagenette (Komplex): Diese enthalten Autos, Tiere und Vögel. Die „Anomalie“-Klassen überlappen oft stark mit den „normalen“ Klassen.
- Ergebnis: Hohe Leckage.
- Konsequenz: Die Tests zeigten massive Instabilität. Manchmal wurde die „Anomalie“ als das normalste Ding im Raum eingestuft.

Das Fazit

Das Papier kommt zu dem Schluss, dass wir „Class-Split“-Tests (bei denen man eine Kategorie versteckt, um sie als Anomalie zu nutzen) nicht blind als Beweis dafür vertrauen sollten, dass eine KI gut darin ist, Anomalien zu finden.

Alte Sichtweise: „Wenn die KI einen hohen Score erzielt, ist sie intelligent darin, Anomalien zu finden.“
Neue Sichtweise: „Wenn die KI einen hohen Score erzielt, könnte sie einfach nur gut darin sein, eine spezifische Besonderheit dieses einen Tests auszunutzen. Wir müssen zuerst die ‚Leckage‘ prüfen. Wenn die Gruppen vermischt sind, ist der Test ein ‚Stresstest‘ der Form der Daten, kein Beweis für die Fähigkeit der KI.“

Kurz gesagt: Bevor Sie einem Test vertrauen, der behauptet: „Diese KI kann den Ausreißer finden“, prüfen Sie, ob der „Ausreißer“ tatsächlich direkt vor den Augen der anderen steht. Wenn ja, sind die Testergebnisse bedeutungslos.

Technisches Resümee: Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection

1. Problemstellung

Die innerhalb eines Datensatzes durchgeführte Class-Split-Evaluierung ist ein Standardprotokoll in der Anomalieerkennung (AD), bei dem spezifische semantische Klassen als „normal“ und andere als „anomal“ definiert werden, um Out-of-Distribution (OOD)-Detektion zu simulieren. Während dieser Ansatz attraktiv ist, da er keine externen Datenquellen benötigt, argumentiert dieses Paper, dass das Protokoll in einem präzisen operativen Sinne schlecht gestellt (ill-posed) werden kann, wenn die gewählte „Anomalie“-Klasse im Repräsentationsraum signifikant mit der „Normalen“-Mischung überlappt.

Der identifizierte Kern-Fehlermodus ist die klassengestützte Score-Richtungs-Instabilität (class-dependent score-direction instability). Wenn die zurückgehaltene Anomalie-Klasse in den hochdichten Regionen der Normalen-Mischung liegt oder sich in deren Nähe befindet, können Anomalie-Scores entweder gegen den Zufall kollabieren (AUROC $\approx$ 0,5) oder, was kritischer ist, invertieren (AUROC < 0,5). In solchen Regimen hängt die Richtung der „Anomalie“ (ob ein hoher oder niedriger Score eine Anomalie anzeigt) von der spezifischen, unbekannten Anomalie-Klasse ab. Folglich werden Benchmark-Schlussfolgerungen fragil und belohnen potenziell Methoden, die Datensatz-spezifische Eigenheiten ausnutzen, anstatt robuste, bedingungslose OOD-Detektionsfähigkeiten zu demonstrieren.

2. Methodik

Die Autoren schlagen ein Framework vor, um diese Instabilität zu diagnostizieren und zu quantifizieren, ohne zusätzliches Training zu erfordern.

Diagnose: Neighborhood Class Leakage
Das Paper führt eine einfache, trainingsfreie Metrik namens Neighborhood Class Leakage ( $L_k$ ) ein, um die Überlappung zwischen klassenbedingten Mannigfaltigkeiten in einem festen Repräsentationsraum $r(x)$ zu quantifizieren.

Definition: Für eine Stichprobe $x_i$ ist der Leakage $\ell_k(i)$ der Anteil ihrer $k$ -nächsten Nachbarn (im Repräsentationsraum), die zu einer anderen semantischen Klasse gehören.
Aggregation: Der Datensatz-Index $L_k$ ist der durchschnittliche Leakage über alle Stichproben.
Rationale: Ein hoher Leakage deutet darauf hin, dass die lokale Geometrie nicht mit der semantischen Klassenstruktur übereinstimmt. Wenn eine Anomalie-Klasse Regionen besetzt, die dicht von normalen Stichproben bevölkert sind, werden Standard-AD-Scores (basierend auf Distanz zur Normalität oder lokaler Dichte) diese nicht konsistent trennen können.

Instabilitätsmetriken
Um die Zuverlässigkeit des Benchmarks zu charakterisieren, definieren die Autoren mehrere Statistiken basierend auf dem „K-1 vs. 1“-Protokoll (Iterieren durch jede Klasse als zurückgehaltene Anomalie):

AUROC-Dispersion: Varianz der AUROC-Scores über verschiedene zurückgehaltene Klassen hinweg.
Near-Random Rate ( $\rho_{rnd}$ ): Häufigkeit von AUROC-Scores nahe 0,5.
Inversion Rate ( $\rho_{inv}$ ): Häufigkeit von AUROC-Scores unter 0,5.
Direction Instability Rate ( $\rho_{dir}$ ): Ein Maß dafür, wie oft die bevorzugte Score-Richtung (positive oder negative Abweichung vom Zufall) sich je nach Anomalie-Klasse umkehrt.

Experimenteller Aufbau
Die Studie evaluiert drei Datensätze zunehmender Komplexität:

Fashion-MNIST: Dient als Negativkontrolle (geringer Überlapp).
CIFAR-10: Mittlere Komplexität.
Imagenette: Hohe Komplexität.

Diese werden in zwei Repräsentationsräumen getestet:

Pixel-Raum: Vektorisierte Rohdaten.
VAE-Latent-Raum: Kodierte Merkmale eines Variational Autoencoders, der nur auf dem normalen Pool trainiert wurde.

Drei Standard-unbedingte AD-Scorer werden angewendet: k-Nearest Neighbors (kNN), Isolation Forest und Local Outlier Factor (LOF).

3. Kernergebnisse

Die empirischen Ergebnisse zeigen eine starke Korrelation zwischen hohem Neighborhood Leakage und Benchmark-Instabilität:

Fashion-MNIST: Weist einen geringen Leakage ( $L_k \approx 0,24$ ) und ein stabiles Verhalten auf, mit niedrigen Inversions- und Richtungsinstabilitätsraten.
CIFAR-10 und Imagenette: Weisen sowohl im Pixel- als auch im Latent-Raum einen hohen Leakage ( $L_k > 0,76$ ) auf. Diese Datensätze zeigen substanzielle Inversionsraten (bis zu 50 %) und Richtungsinstabilitätsraten (bis zu 63 %).
Konsistenz: Die Instabilität bleibt über verschiedene Scoring-Familien (kNN, Isolation Forest, LOF) und Repräsentationsräume hinweg bestehen, was darauf hindeutet, dass der Fehler inhärent in der geometrischen Überlappung der Daten liegt und nicht an einem spezifischen Detektor-Fehler.
Pro-Klasse-Varianz: Im CIFAR-10 Pixel-Raum liefern spezifische Anomalie-Klassen AUROC-Scores signifikant unter dem Zufallsniveau, während andere Scores weit über dem Zufallsniveau liegen, obwohl dieselbe Scoring-Konvention verwendet wird.

4. Beiträge

Das Paper leistet drei primäre Beiträge:

Formalisierung eines Fehlermodus: Es identifiziert und formalisiert die klassengestützte Score-Richtungs-Instabilität als praktischen Fehlermodus der Class-Split-Evaluierung innerhalb von Datensätzen, getrieben durch die Überlappung von Normal/Anomalie.
Trainingsfreier Diagnostik-Ansatz: Es schlägt den Neighborhood Leakage Index ( $L_k$ ) als einfachen, prä-evaluativen Check vor, um vorherzusagen, wann ein Class-Split-Benchmark wahrscheinlich unzuverlässige oder invertierte Rankings liefern wird.
Empirische Validierung: Es validiert das Phänomen über eine kontrollierte Matrix aus Datensätzen, Repräsentationen und Scorern hinweg und zeigt, dass hoher Leakage unabhängig von der spezifischen AD-Methode die Instabilität vorhersagt.

5. Bedeutung und Ansprüche

Das Paper argumentt, dass Class-Split-Benchmarks nicht als bedingungsloser Beweis für die Fähigkeit zur Anomalieerkennung betrachtet werden sollten. Stattdessen sollten sie als geometrieabhängige Stresstests betrachtet werden.

Ablehnung von „Re-Inversion“: Die Autoren widerlegen die Vorstellung, dass eine „bessere“ AD-Methode Rankings einfach „re-invertieren“ kann, um niedrige AUROC-Werte zu korrigieren. Wenn die Richtung der Anomalie-Eigenschaft vom unbekannten Anomalie-Typ abhängt, dann nutzt eine Methode, die eine hohe AUROC in einem spezifischen Split erreicht, möglicherweise idiosynkratische Korrelationen zwischen Klassenlabels und Geometrie aus, anstatt eine klassenagnostische Vorstellung von Untypizität zu lernen.
Interpretation von Benchmarks: Der Leakage-Index dient als Voraussetzungsprüfung. Ein geringer Leakage stützt die Interpretation, dass die AUROC die Trennung von der normalen Mischung misst. Ein hoher Leakage, gekoppelt mit hohen Inversions- oder Richtungsinstabilitätsraten, deutet darauf hin, dass der Benchmark überlappende Geometrien prüft, anstatt eine konsistente semantische Anomalie.
Empfehlung: Die Autoren schlagen vor, dass zukünftige Class-Split-Benchmarks Leakage- und Richtungsinstabilitäts-Diagnosen melden sollten, bevor ihre Ergebnisse zur Behauptung bedingungsloser OOD-Detektionsfähigkeiten herangezogen werden.