🤖 machine learning

Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection

Dit artikel toont aan dat binnen-dataset klasse-splits evaluatie voor anomaliedetectie problematisch kan worden en instabiele of geïnverteerde scores kan produceren wanneer uitgesloten anomalieklassen overlappen met normale data in de representatieruimte, waarbij een trainingsvrije diagnose genaamd "neighborhood class leakage" wordt voorgesteld om dergelijke fouten over diverse datasets en feature-ruimtes te voorspellen.

Oorspronkelijke auteurs: Alejandro Ascarate, Leo Lebrat, Rodrigo Santa Cruz, Clinton Fookes, Olivier Salvado

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alejandro Ascarate, Leo Lebrat, Rodrigo Santa Cruz, Clinton Fookes, Olivier Salvado

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: "De Test Testen"

Stel je voor dat je een leraar bent die probeert te testen hoe goed een leerling een "nep" appel kan herkennen. Je hebt een mand met 10 soorten echte appels (Red Delicious, Granny Smith, Gala, etc.).

De Standaardtest (Class-Split):
Om de test te maken, besluit je dat 9 soorten appels "Normaal" zijn en de 10e soort de "Anomalie" (de neppe een). Je traint de leerling alleen op de 9 normale soorten. Daarna laat je de leerling een mix zien van de 9 normale soorten en de 10e soort, waarbij je vraagt om de neppe aan te wijzen.

Het paper betoogt dat deze test in veel gevallen kapot is. Soms lijkt de "neppe" appel (de 10e soort) zo erg op de echte appels dat de leerling in de war raakt. Erger nog, afhankelijk van welke appel je als "nep" kiest, kan de leerling zelfs de echte appels gaan aanwijzen als de neppe, of ze gokken gewoon willekeurig.

Het Kernprobleem: De "Overlappende Menigte"

De auteurs ontdekten dat in veel beelddatasets (zoals CIFAR-10 of Imagenette) de "anomalie"-klasse in de geest van de computer niet echt ver weg is van de "normale" klassen.

De Metafoor: Stel je een drukke feestavond voor.
- Normale Groep: Een mix van mensen met rode, blauwe en groene shirts.
- Anomalie Groep: Mensen met gele shirts.
- Het Probleem: Bij dit specifieke feest staan de mensen in de gele shirts recht in het midden van de mensen in de blauwe en groene shirts. Ze zijn zo goed gemengd dat je ze niet uit elkaar kunt houden door alleen te kijken naar wie er naast iemand staat.

Wanneer de computer probeert te vinden wat de "vreemde eend in de bijt" is, raakt hij in de war.

De Ineenstorting (The Collapse): De score van de computer voor "hoe vreemd dit is" daalt naar het niveau van toeval (5agevoel van 50/50 gokken).
De Inversie (The Inversion): Soms krijgt de computer het precies andersom. De computer denkt dat de "vreemde" gele shirts eigenlijk de "normale" zijn, en de "normale" blauwe shirts de vreemde.

De Verwarring van de "Richting"

Het gevaarlijkste deel van dit probleem is Richting-instabiliteit (Direction Instability).

Scenario A: Als je "Geel" als de anomalie kiest, leert de computer: "Hoge score = Vreemd."
Scenario B: Als je "Paars" als de anomalie kiest, leert de computer: "Lage score = Vreemd."

Als je van tevoren niet weet welke klasse de anomalie is (wat in de echte wereld het geval is), heeft de computer geen consistente regel. Het is als een kompas dat naar het Noorden wijst als je in New York bent, maar naar het Zuiden wijst wanneer je in Londen bent. Je kunt het niet vertrouwen om je ergens heen te gidsen.

Het Nieuwe Gereedschap: "Neighborhood Leakage"

De auteurs hebben een eenvoudige, gratis manier uitgevonden om te controleren of een test kapot is voordat je de anomalie-detector überhaupt draait. Ze noemen dit Neighborhood Leakage (Buurt-lekkage).

De Analogie: Stel je voor dat je naar een persoon in een menigte kijt. Je kijkt naar de 10 dichtstbijzijnde buren van die persoon.
- Lage Lekkage: Alle 10 de buren dragen hetzelfde kleur shirt als de persoon. De groepen zijn schoon en gescheiden. De test is waarschijnlijk geldig.
- Hoge Lekkage: De persoon draagt een rood shirt, maar 8 van hun 10 dichtstbijzijnde buren dragen blauwe, groene of gele shirts. De groepen zijn door elkaar gemengd.

Het paper laat zien dat als je Hoge Lekkage hebt, je testresultaten instabiel, geïnverteerd of willekeurig zullen zijn. Het is een "rood vlaggetje" dat zegt: "Stop! De geometrie van deze data is te rommelig voor deze specifieke test om te werken."

Wat Ze Hebben Gevonden

Ze hebben dit getest op drie beroemde beelddatasets:

Fashion-MNIST (Simpel): De kledingstukken zijn duidelijk van elkaar te onderscheiden. De lekkage is laag. De test werkt prima.
CIFAR-10 & Imagenette (Complex): Deze bevatten auto's, dieren en vogels. De "anomalie"-klassen overlappen vaak sterk met de "normale" klassen.
- Resultaat: Hoge lekkage.
- Gevolg: De tests vertoonden enorme instabiliteit. Soms werd de "anomalie" gerangschikt als het meest normale ding in de kamer.

De Belangrijkste Conclusie

Het paper concludeert dat we niet blindelings moeten vertrouwen op "Class-Split" tests (waarbij je één categorie verbergt om als anomalie te fungeren) als bewijs dat een AI goed is in het vinden van anomalieën.

Oude Visie: "Als de AI een hoge score haalt, is hij slim in het vinden van anomalieën."
Nieuwe Visie: "Als de AI een hoge score haalt, kan het zijn dat hij gewoon goed is in het uitbuiten van een specifiek trekje van die ene test. We moeten eerst de 'Lekkage' controleren. Als de groepen door elkaar lopen, is de test een 'stress-test' van de vorm van de data, en geen bewijs van de vaardigheid van de AI."

Kortom: Voordat je een test vertrouwt die zegt: "Deze AI kan de vreemde eend in de bijt vinden," controleer dan eerst of de "vreemde eend" niet gewoon in het volle zicht tussen de anderen staat te verbergen. Als dat het geval is, zijn de testresultaten betekenisloos.

Technische Samenvatting: Het testen van de test: Score-richting-instabiliteit bij Class-Split Anomaly Detection

1. Probleemstelling

Binnen-dataset class-split evaluatie is een standaardprotocol in anomaliedetectie (AD), waarbij specifieke semantische klassen worden aangewezen als "normaal" en andere als "anomaal" om out-of-distribution (OOD) detectie te simuleren. Hoewel dit aantrekkelijk is omdat het externe databronnen vermijdt, betoogt dit artikel dat het protocol op een precieze operationele manier ill-posed (onwelgesteld) kan worden wanneer de gekozen "anomale" klasse aanzienlijk overlapt met de "normale" mix in de representatieruimte.

De kern van de geïdentificeerde foutmodus is klasse-afhankelijke score-richting-instabiliteit. Wanneer de uitgespaarde anomale klasse zich binnen of nabij de gebieden met een hoge dichtheid van de normale mix bevindt, kunnen anomaliescores instorten naar toeval (AUROC $\approx$ 0,5) of, nog kritischer, inverteren (AUROC < 0,5). In dergelijke regimes hangt de richting van "anomaliteit" (of een hoge of lage score een anomalie aangeeft) af van de specifieke, onbekende anomale klasse. Bijgevolg worden benchmark-conclusies fragiel, wat potentieel methoden beloont die dataset-specifieke eigenaardigheden exploiteren in plaats van robuuste, onvoorwaardelijke OOD-detectiecapaciteiten te demonstreren.

2. Methodologie

De auteurs stellen een raamwerk voor om deze instabiliteit te diagnosticeren en te kwantificeren zonder aanvullende training te vereisen.

Diagnostiek: Neighborhood Class Leakage
Het artikel introduceert een eenvoudige, training-vrije metriek genaamd neighborhood class leakage ( $L_k$ ) om de overlap tussen klasse-conditionele manifolds in een vaste representatieruimte $r(x)$ te kwantificeren.

Definitie: Voor een monster $x_i$ is de lekkage $\ell_k(i)$ het fractie van zijn $k$ -dichtstbijzijnde buren (in de representatieruimte) die tot een andere semantische klasse behoren.
Aggregatie: De dataset-niveau index $L_k$ is de gemiddelde lekkage over alle monsters.
Ratio: Hoge lekkage geeft aan dat de lokale geometrie niet overeenkomt met de semantische klassestructuur. Als een anomale klasse gebieden bezet die dichtbevolkt zijn door normale monsters, zullen standaard AD-scores (gebaseerd op afstand tot normaliteit of lokale dichtheid) deze niet consistent kunnen scheiden.

Instabiliteitsmetrieken
Om de betrouwbaarheid van de benchmark te karakteriseren, definiëren de auteurs verschillende statistieken gebaseerd op het "K-1 vs. 1" protocol (waarbij door elke klasse wordt geïtegreerd als de uitgespaarde anomalie):

AUROC Dispersie: Variantie van de AUROC-scores over verschillende uitgespaarde klassen.
Near-Random Rate ( $\rho_{rnd}$ ): De frequentie van AUROC-scores die nabij 0,5 liggen.
Inversion Rate ( $\rho_{inv}$ ): De frequentie van AUROC-scores die onder 0,5 vallen.
Direction Instability Rate ( $\rho_{dir}$ ): Een maatstaf voor hoe vaak de voorkeursscore-richting (positieve of negatieve afwijking van toeval) verandert afhankelijk van de anomale klasse.

Experimentele Opzet
De studie evalueert drie datasets van toenemende complexiteit:

Fashion-MNIST: Gebruikt als negatieve controle (lage overlap).
CIFAR-10: Intermediaire complexiteit.
Imagenette: Hoge complexiteit.

Deze worden getest in twee representatieruimtes:

Pixel Space: Gevectoriseerde ruwe inputs.
VAE Latent Space: Gecodeerde kenmerken van een Variational Autoencoder die alleen op de normale pool is getraind.

Drie standaard onvoorwaardelijke AD-scorers worden toegepast: k-Nearest Neighbors (kNN), Isolation Forest en Local Outlier Factor (LOF).

3. Belangrijkste Resultaten

De empirische resultaten demonstreren een sterke correlatie tussen hoge neighborhood leakage en benchmark-instabiliteit:

Fashion-MNIST: Vertoont lage lekkage ( $L_k \approx 0,24$ ) en stabiel gedrag, met lage inversie- en richting-instabiliteitsrates.
CIFAR-10 en Imagenette: Vertoont hoge lekkage ( $L_k > 0,76$ ) in zowel pixel- als latent spaces. Deze datasets vertonen substantiële inversierates (tot 50%) en richting-instabiliteitsrates (tot 63%).
Consistentie: De instabiliteit houdt stand over verschillende scoring-families (kNN, Isolation Forest, LOF) en representatieruimtes, wat suggereert dat de fout inherent is aan de geometrische overlap van de data in plaats van een specifiek detector-defect.
Per-Klasse Variantie: In de CIFAR-10 pixel space leveren specifieke anomale klassen AUROC-scores op die significant onder toeval liggen, terwijl andere scores ver boven toeval liggen, ondanks het gebruik van dezelfde scoring-conventie.

4. Bijdragen

Het artikel levert drie primaire bijdragen:

Formalisering van een Foutmodus: Het identificeert en formaliseert klasse-afhankelijke score-richting-instabiliteit als een praktische foutmodus van binnen-dataset class-split evaluatie, gedreven door de overlap tussen normaal en anomaal.
Training-Vrije Diagnostiek: Het stelt de neighborhood leakage index ( $L_k$ ) voor als een eenvoudige, pre-evaluatie controle om te voorspellen wanneer een class-split benchmark waarschijnlijk onbetrouwbare of geïnverteerde rangschikkingen zal opleveren.
Empirische Validatie: Het valideert het fenomeen over een gecontroleerde matrix van datasets, representaties en scorers, waarbij wordt aangetoond dat hoge lekkage onafhankelijk van de specifieke AD-methode instabiliteit voorspelt.

5. Betekenis en Claims

Het artikel betoogt dat class-split benchmarks niet moeten worden beschouwd als onvoorwaardelijk bewijs van anomaliedetectie-vaardigheid. In plaats daarvan moeten ze worden beschouwd als geometrie-afhankelijke stress-tests.

Verwerping van "Re-inversion": De auteurs verwerpen het idee dat een "betere" AD-methode simpelweg rangschikkingen kan "re-inverteren" om lage AUROC te herstellen. Als de richting van anomaliteit afhangt van het onbekende anomalie-type, dan is een methode die een hoge AUROC bereikt op een specifieke split, mogelijk bezig met het exploiteren van idiosyncratische correlaties tussen klasse-labels en geometrie in plaats van het leren van een klasse-agnostisch begrip van atypiciteit.
Interpretatie van Benchmarks: De leakage index dient als een precondition check. Lage lekkage ondersteunt de interpretatie dat AUROC de scheiding van de normale mix meet. Hoge lekkage, gekoppeld aan hoge inversie- of richting-instabiliteitsrates, geeft aan dat de benchmark overlappende geometrie probeert te onderzoeken in plaats van een consistente semantische anomalie.
Aanbeveling: De auteurs suggereren dat toekomstige class-split benchmarks leakage en richting-instabiliteitsdiagnostiek moeten rapporteren voordat hun resultaten kunnen worden gebruikt om claims te maken over onvoorwaardelijke OOD-detectiecapaciteiten.