An Insight on Evaluation Metrics Under the Imbalanced Case of Anomaly Detection

Titel: Een Inzicht in Evaluatiemetrieken onder de Imbalanssituatie van Anomaliedetectie

Probleemstelling
Anomaliedetectie wordt inherent gekenmerkt door een ernstige klassenimbalans, waarbij anomalieën zeldzaam zijn in vergelijking met normale data. Deze imbalans bemoeilijkt de interpretatie van standaard evaluatiemetrieken. Hoewel metrieken zoals AUROC, AUPR, F1-score en de Matthews Correlation Coefficient (MCC) breed worden gebruikt, geven hun numerieke waarden verschillende betekenissen afhankelijk van de anomalieratio. Een enkele scalaire score verwerpt vaak informatie over het gedrag van het model, en identieke scores kunnen corresponderen met fundamenteel verschillende classifier-gedragingen onder variërende graden van imbalans. Bov�of bovendien, in ongesuperviseerde settings waar training plaatsvindt op enkel normale data, vindt evaluatie plaats onder sterk scheve testdistributies, wat de prestatiebeoordeling delicaat maakt. Hoewel gewogen varianten van standaardmaten bestaan, worden deze vaak vermeden bij anomaliedetectie om te voorkomen dat de evaluatie ontkoppeld raakt van de operationele klassenverdeling. Bijgevolg is er een gebrek aan consensus over hoe deze standaardmetrieken te interpreteren in verschillende imbalansregimes.

Methodologie
De auteurs stellen een systematische analyse voor van vier veelvoorkomende anomaliedetectiemetrieken (AUROC, AUPR, F1 en MCC) over een breed scala aan klassenimbalansratio's. De kern van de methodologische bijdrage is de introductie van metriek-landschappen (metric landscapes), een visualisatiekader dat metriekscores in kaart brengt over de ruimte van de True Positive Rate (TPR/Recall) en de True Negative Rate (TNR/Specificiteit).

De studie maakt gebruik van:

1. Datasets: Een diverse set benchmarks die Time-Series Anomaly Detection (TSAD), One-Class Classification (OCC) en Image Anomaly Detection (IAD) vertegenwoordigen. Dit omvat UCR, WaDi, PUMP, SWaT, PSM, CIFAR-10, ViSA en MVTec, diekkende anomalieratio's van 0,19% tot 90%.
2. Null-analyse: Het vaststellen van baselines door metrieken te berekenen over 100 runs van willekeurige voorspellingen over imbalansratio's (van 99:1 tot 1:99) om gemiddelde, standaarddeviatie en gemiddelde positieve afwijking te bepalen.
3. Landschapsevolutie: Het visualiseren van het verschil tussen metriek-landschappen in gebalanceerde (50:50) en ongebalanceerde (bijv. 5:95) settings om te observeren hoe metriek-voorkeuren verschuiven.
4. Factoranalyse: Het onderzoeken van latente relaties tussen metrieken met behulp van Tuckers congruentiecoëfficiënten en Pearson-correlaties over drie imbalansgroepen (Laag, Medium, Hoog).

Belangrijkste Resultaten

• Metriekstabiliteit en Baselines:
  • AUROC en MCC blijven gecentreerd rond de 0,5 over alle imbalansratio's onder willekeurige voorspellingen, hoewel AUROC een hogere variabiliteit vertoont (gemiddelde positieve afwijking tot ~0,25).
  • F1 en MCC vertonen een lage variantie onder willekeurig gedrag, waardoor ze minder vatbaar zijn voor spookachtige hoge scores.
  • AUPR-baseline varieert lineair met de proportie van de anomalie, waardoor afwijkingen van willekeurige prestaties gemakkelijk te kwantificeren zijn, hoewel het niet-verwaarloosbare opwaartse afwijkingen vertoont in specifieke regimes.
• Landschapsgedrag:
  • AUROC is invariant voor klassenimbalans; de structuur van het landschap blijft ongewijzigd, ongeacht de ratio.
  • AUPR en F1 zijn zeer gevoelig voor imbalans. Naarmate de negatieve klasse domineert, nemen AUPR-landschappen significant af (met 0,2–0,4 in veel regio's), wat de verminderde invloed van de negatieve-klasse prestatie reflecteert. F1 vereist een steeds hogere TNR om dezelfde score te behalen naarmate de anomalieratio afneemt.
  • MCC vertoont een complex patroon waarbij extreme TNR-waarden stabiel blijven, maar de distributie comprimeert rond middenbereik-waarden, waardoor de interpretatie van de gemiddelde score minder direct is onder ernstige imbalans.
• Minimale Detectievereisten:
  • Voor AUROC hoeven er geen positieve samples gedetecteerd te worden om een score van 0,5 te behalen.
  • Voor AUPR vereist het behalen van hoge scores in gebalanceerde datasets een 100% correcte classificatie van negatieven, zelfs met minimale positieve detectie.
  • Voor F1 vereist het verhogen van de score altijd meer correct geclassificeerde positieven, maar de vereiste voor correct geclassificeerde negatieven groeit naarmate de anomalieratio afneemt.
  • Voor MCC is het behalen van een score van ~0,4 op sterk ongebalanceerde datasets (bijv. UCR) mogelijk zonder enige positieven te detecteren en met slechts ~10% van de correct geclassificeerde negatieven, hoewel dit nog steeds onder de willekeurige baseline ligt.
• Relaties tussen Metrieken:
  • In Medium imbalansregimes vertonen alle metrieken vergelijkbare loading-profielen en hoge correlaties, wat suggereert dat ze gerelateerde structuren vastleggen.
  • In Lage (sterk ongebalanceerde) regimes worden metrieken complementairder. AUROC en MCC blijven nauw verwant, terwijl F1 en AUROC de zwakste overeenkomst vertonen.
  • In Hoge imbalansregimes (positieve klasse dominant) decorreleren de metrieken verder. Opvallend genoeg behouden AUROC en MCC een totale gelijkenis (Tuckers congruentie van 0,997), terwijl AUPR en AUROC een verminderde congruentie vertonen.

Betekenis en Bijdragen
Het artikel betoogt dat bestaande metrieken bruikbaar blijven, mits hun interpretatie expliciet rekening houdt met de afhankelijkheid tussen metriekwaarden, voorspellingskwaliteit en klassenimbalans. De primaire bijdrage is de introductie van metriek-landschappen als een intuïtief kader om te visualiseren hoe verschillende metrieken verschillende trade-offs tussen sensitiviteit en specificiteit benadrukken en hoe deze voorkeuren verschuiven bij toenemende imbalans.

Het werk biedt praktische richtlijnen voor het interpreteren en vergelijken van anomaliedetectieresultaten over datasets met verschillende imbalansratio's. Het stelt niet één "beste" metriek voor voor alle scenario's, maar biedt eerder een referentiepunt voor het begrijpen van metriekgedrag onder realistische omstandigheden. De auteurs merken op dat identieke scores kunnen corresponderen met verschillende classifier-gedragingen, en hun analyse helpt deze onderscheidende punten te verhelderen. Toekomstig werk wordt geïdentificeerd als het uitbreiden van deze analyse naar andere domeinen zoals industriële monitoring, IoT, cybersecurity en autonoom rijden.