An Insight on Evaluation Metrics Under the Imbalanced Case of Anomaly Detection

Titel: Ein Einblick in Evaluationsmetriken unter dem Fall der Imbalanz bei der Anomalieerkennung

Problemstellung
Die Anomalieerkennung ist inhärent durch eine schwere Klassenimbalanz charakterisiert, bei der Anomalien im Vergleich zu normalen Daten selten sind. Diese Imbalanz erschwert die Interpretation standardmäßiger Evaluationsmetriken. Während Metriken wie AUROC, AUPR, F1-Score und der Matthews-Korrelationskoeffizient (MCC) weit verbreitet sind, vermitteln ihre numerischen Werte je nach Anomalieverhältnis unterschiedliche Bedeutungen. Ein einzelner Skalarwert verwirft oft Informationen über das Modellverhalten, und identische Scores können mit sehr unterschiedlichen Klassifikator-Verhaltensweisen unter variierenden Graden der Imbalanz einhergehen. Darüber hinaus ist in unüberwachten Szenarien, in denen das Training nur auf normalen Daten erfolgt, die Evaluation unter hochgradig schiefen Testverteilungen durchgeführt, was die Leistungsbewertung schwierig macht. Obwohl gewichtete Varianten standardmäßiger Maße existieren, werden diese in der Anomalieerkennung oft vermieden, um eine Entkopplung der Evaluation von der operativen Klassenverteilung zu verhindern. Folglich mangelt es an einem Konsens darüber, wie diese Standardmetriken über verschiedene Imbalanz-Regime hinweg zu interpretieren sind.

Methodik
Die Autoren schlagen eine systematische Analyse von vier gängigen Metriken der Anomalieerkennung (AUROC, AUPR, F1 und MCC) über ein breites Spektrum von Klassenimbalanz-Verhältnissen vor. Der kernmethodische Beitrag ist die Einführung von Metrik-Landschaften (metric landscapes), einem Visualisierungsrahmen, der die Metrikwerte über dem Raum der Richtig-Positiv-Rate (TPR/Recall) und der Richtig-Negativ-Rate (TNR/Spezifität) abbildet.

Die Studie nutzt:

1. Datensätze: Einen vielfältigen Satz von Benchmarks, die Zeitreihen-Anomalieerkennung (TSAD), One-Class-Klassifikation (OCC) und Bild-Anomalieerkennung (IAD) repräsentieren. Dies umfasst UCR, WaDi, PUMP, SWaT, PSM, CIFAR-10, ViSA und MVTec, die Anomalieverhältnisse von 0,19 % bis 90 % abdecken.
2. Null-Analyse: Etablierung von Baselines durch die Berechnung von Metriken über 100 Durchläufe von Zufallsvorhersagen über verschiedene Imbalanz-Verhältnisse hinweg (von 99:1 bis 1:99), um Mittelwert, Standardabweichung und mittlere positive Abweichung zu bestimmen.
3. Landschaftsevolution: Visualisierung des Unterschieds zwischen Metrik-Landschaften in balancierten (50:50) und imbalanten (z. B. 5:95) Settings, um zu beobachten, wie sich die Präferenzen der Metriken verschieben.
4. Faktorenanalyse: Untersuchung latenter Beziehungen zwischen Metriken unter Verwendung von Tuckers Kongruenzkoeffizienten und Pearson-Korrelationen über drei Imbalanz-Gruppen (Niedrig, Mittel, Hoch).

Kernergebnisse

• Metrikstabilität und Baselines:
  • AUROC und MCC bleiben unter Zufallsvorhersagen über alle Imbalanz-Verhältnisse hinweg um 0,5 zentriert, wobei AUROC eine höhere Variabilität aufweist (mittlere positive Abweichung bis zu ~0,25).
  • F1 und MCC zeigen eine geringe Varianz unter Zufallsverhalten, was sie weniger anfällig für spurenechte hohe Scores macht.
  • AUPR-Baseline variiert linear mit dem Anteil der Anomalien, wodurch Abweichungen von der Zufallsleistung leicht quantifizierbar sind, zeigt jedoch in spezifischen Regimen nicht vernachlässigbare Aufwärtsabweichungen.
• Landschaftsverhalten:
  • AUROC ist invariant gegenüber Klassenimbalanz; seine Landschaftsstruktur bleibt unabhängig vom Verhältnis unverändert.
  • AUPR und F1 reagieren hochsensibel auf Imbalanz. Wenn die negative Klasse dominiert, sinken die AUPR-Landschaften signifikant (um 0,2–0,4 in vielen Regionen), was den reduzierten Einfluss der Negativklasse widerspiegelt. F1 erfordert zunehmend hohe TNR-Werte, um denselben Score wie bei sinkendem Anomalieverhältnis zu erreichen.
  • MCC zeigt ein komplexes Muster, bei dem extreme TNR-Werte stabil bleiben, aber die Verteilung um Mittelbereichswerte komprimiert wird, was die Interpretation des Durchschnittswerts unter schwerer Imbalanz weniger direkt macht.
• Minimale Detektionsanforderungen:
  • Für AUROC müssen keine positiven Proben detektiert werden, um einen Score von 0,5 zu erreichen.
  • Für AUPR erfordert das Erreichen hoher Scores in balancierten Datensätzen eine 100%ige korrekte Klassifizierung der Negativen, selbst bei minimaler positiver Detektion.
  • Für F1 erfordert eine Erhöhung des Scores immer mehr korrekt klassifizierte Positive, aber die Anforderung an korrekt klassifizierte Negative wächst, wenn das Anomalieverhältnis abnimmt.
  • Für MCC ist es möglich, auf hochgradig imbalanten Datensätzen (z. B. UCR) einen Score von ~0,4 zu erreichen, ohne überhaupt positive Proben zu detektieren und mit nur ~10 % korrekt klassifizierten Negativen, wenngleich dies unter der Zufallsbaseline bleibt.
• Metrik-Beziehungen:
  • In mittleren Imbalanz-Regimen weisen alle Metriken ähnliche Lade-Profile und hohe Korrelationen auf, was darauf hindeutet, dass sie verwandte Strukturen erfassen.
  • In niedrigen (hochgradig imbalanten) Regimen werden die Metriken komplementärer. AUROC und MCC bleiben eng verwandt, während F1 und AUROC die schwächste Übereinstimmung zeigen.
  • In hohen Imbalanz-Regimen (positive Klasse dominant) dekorellieren die Metriken weiter. Bemerkenswerterweise halten AUROC und MCC eine totale Ähnlichkeit (Tucker-Kongruenz von 0,997), während AUPR und AUROC eine reduzierte Kongruenz zeigen.

Bedeutung und Beiträge
Die Arbeit argumenttiert, dass bestehende Metriken nützlich bleiben, sofern ihre Interpretation die Abhängigkeit zwischen Metrikwerten, Vorhersagequalität und Klassenimbalanz explizit berücksichtigt. Der primäre Beitrag ist die Einführung von Metrik-Landschaften als intuitiver Rahmen, um zu visualisieren, wie unterschiedliche Metriken verschiedene Trade-offs zwischen Sensitivität und Spezifität betonen und wie sich diese Präferenzen unter zunehmender Imbalanz verschieben.

Die Arbeit bietet praktische Orientierungshilfe für die Interpretation und den Vergleich von Ergebnissen der Anomalieerkennung über Datensätze mit unterschiedlichen Imbalanz-Verhältnissen hinweg. Sie schlägt keinen einzelnen „besten“ Metrik für alle Szenarien vor, sondern bietet einen Referenzpunkt für das Verständnis des Metrikverhaltens unter realistischen Bedingungen. Die Autoren stellen fest, dass identische Scores unterschiedlichen Klassifikator-Verhaltensweisen entsprechen können, und ihre Analyse hilft, diese Unterscheidungen zu klären. Als zukünftige Arbeit wird die Ausweitung dieser Analyse auf andere Bereiche wie industrielle Überwachung, IoT, Cybersicherheit und autonomes Fahren identifiziert.