💻 computer science

What the Detector Can See: Evaluating CPS Anomaly Detectors Independently of the Decision Rule

Dieses Paper schlägt ein entscheidungsregelfreies Evaluierungsframework vor, das die Fähigkeit eines Detektors zur Repräsentation physikalischer Prozesse von seiner Schwellenwertkalibrierung isoliert und aufzeigt, dass traditionelle Metriken wie die ROC-AUC signifikante Leistungsunterschiede sowie variierende Ausfallmodi über verschiedene Cyber-Physische-System-Benchmarks und Anomalie-Detektoren hinweg maskieren können.

Ursprüngliche Autoren: Peiran Shi, Jian Xiang, Xiang Zhang, Chenglong Fu

Veröffentlicht 2026-08-05

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Peiran Shi, Jian Xiang, Xiang Zhang, Chenglong Fu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Sicherheitswachmann in einer riesigen, hochtechnologischen Fabrik, in der Roboter Autos bauen und Chemikalien mischen. Ihr Job ist es, etwas Merkwürdiges auf dem Fließband zu entdecken. Wenn ein Roboterarm zu schnell startet oder ein Ventil öffnet, wenn es nicht sollte, müssen Sie das sofort wissen. In der Welt der Wissenschaft nennt man das ein cyber-physisches System (CPS). Es ist der Ort, an dem Computercode auf die reale, physische Welt trifft. Aber hier liegt der Knackpunkt: Manchmal hat die Fabrik einfach einen „schlechten Tag“. Maschinen vibrieren, Temperaturen schwanken und Sensoren werden etwas zittrig. Wie unterscheidet man zwischen einem harmlosen Schluckauf und einem hinterlistigen Hacker, der versucht, etwas in die Luft zu jagen?

Lange Zeit haben Wissenschaftler versucht, dies zu lösen, indem sie „Anomalie-Detektoren“ bauten. Stellen Sie sich diese wie superintelligente Kameras vor, die die Fabrik beobachten. Sie lernen, was „normal“ aussieht, und dann schreien sie „ALARM!“, wenn etwas anders aussieht. Aber es gibt ein Problem damit, wie wir diese Kameras testen. Normalerweise schauen wir nur auf das Endergebnis: Ist der Alarm ausgelöst worden? Wurde etwas übersehen? Das ist so, als würde man einen Schüler nur danach bewerten, ob er die Hand gehoben hat, ohne zu prüfen, ob er die Frage tatsächlich verstanden hat. Dieses Paper argumentiert, dass wir in die Kamera schauen müssen, bevor sie entscheidet zu schreien. Wir müssen sehen, was die Kamera eigentlich „gesehen“ hat, bevor sie durch die Regeln, die sie nutzt, um zu entscheiden, wann sie schreien soll, verwirrt wird.

Der zweistufige Detektiv

Die Autoren dieses Papers, ein Team von der University of North Carolina at Charlotte, haben beschlossen, Detektoren nicht mehr nur nach ihren finalen „Schreien“ (Alarmen) zu bewerten. Stattdessen behandelten sie jeden Detektor wie einen zweistufigen Prozess, vergleichbar mit einem Detektiv, der einen Verbrechenfall löst.

Stufe 1: Der Beweissammler.
Stellen Sie sich einen Detektiv vor, der einen Tatort untersucht. Er ruft nicht sofort „Verbrecher!“. Zuerst sammelt er Hinweise. Er misst den Schlamm an den Schuhen, die Temperatur im Raum und die Uhrzeit. In der Sprache des Papers ist dies die Residuen-Repräsentation. Der Detektor nimmt die Daten der Fabrik und berechnet die „Lücke“ zwischen dem, was passiert ist, und dem, was passieren sollte. Wenn der Roboterarm 5 Zoll bewegt ist, der Computer aber 4 Zoll erwartet hat, ist das „Residuum“ (die Lücke) 1 Zoll. Bei dieser Stufe geht es rein um das Sammeln der Rohbeweise.

Stufe 2: Der Entscheidungsträger.
Sobald der Detektiv die Hinweise hat, muss er entscheiden: Ist das ein Verbrechen? Vielleicht hat er eine Regel wie: „Wenn der Schlamm mehr als 2 Zoll tief ist, ruf die Polizei.“ Dies ist die Alarmregel. Es ist ein Schwellenwert. Wenn die Lücke groß genug ist, schreist du; wenn sie klein ist, ignorierst du sie.

Das große Problem, das das Paper aufzeigt, ist, dass die meisten Wissenschaftler nur das Endergebnis von Stufe 2 betrachten. Sie sagen: „Oh, Detektor A hatte eine Erfolgsquote von 90 % und Detektor B von 80 %.“ Aber das ist so, als würde man zwei Detektive gleichermaßen gut finden, nur weil beide die gleiche Anzahl an Verbrechern gefasst haben, ohne zu fragen, wie sie sie gefunden haben. Vielleicht hatte Detektor A fantastische Hinweise, aber eine schreckliche Regel dafür, die Polizei zu rufen. Vielleicht hatte Detektor B schreckliche Hinweise, hatte aber Glück mit einer niedrigen Schwelle zum Schreien.

Die neue Sichtweise: Der „Energie“-Messwert

Um dies zu beheben, erfanden die Autoren einen neuen Weg, die Detektoren zu messen. Sie entwickelten ein Werkzeug namens Normalisierte Residuenenergie.

Denken Sie an dies wie ein „Merkwürdigkeits-Meter“. Anstatt nur zu fragen „Hast du geschrien?“, fragen sie: „Wie merkwürdig sahen die Beweise aus, bevor du entschieden hast zu schreien?“ Sie messen die „Energie“ der Lücke zwischen der realen Welt und der erwarteten Welt. Wenn die Fabrik normal arbeitet, ist die Energie niedrig. Wenn ein Hacker die Ventile manipuliert, steigt die Energie sprunghaft an.

Das Coole an diesem Meter ist, dass es ihn nicht interessiert, was die „Schrei-Regel“ ist. Er misst nur die rohen Beweise. Die Autoren fanden heraus, dass dieser Energiemeter eine besondere Verbindung zu einem mathematischen Konzept namens Kullback–Leibler (KL)-Divergenz hat. Vereinfacht gesagt ist dies eine Methode, um zu messen, wie unterschiedlich zwei Dinge sind. Es ist, als würde man messen, wie sehr ein „normaler“ Fabriktag von einem „gehackten“ Fabriktag klingt. Durch die Verwendung dieses Energiemeters konnten die Autoren die „Wahrheit“ der Beweise sehen, ohne das Rauschen der Entscheidungsregeln.

Was sie fanden: Der große Detektiv-Austausch

Das Team testete fünf verschiedene Arten von Detektoren (wie GD&N, FuSAGNet, TranAD und andere) auf drei berühmten Testbeds für Fabriken (SWaT, WADI und HAI). Dies sind wie verschiedene „Level“ in einem Videospiel, jedes mit seinem eigenen Layout und verschiedenen Arten von Angriffen.

Hier ist, was sie entdeckten, und es ist ziemlich überraschend:

Die Lüge des „Scores“: Zwei Detektoren können fast das gleiche Endergebnis haben (wie einen F1-Score oder ROC-AUC), aber wenn man sich die Rohbeweise ansieht, sind sie völlig unterschiedlich. Einer könnte großartige Beweise haben, aber eine schreckliche Alarmregel, während der andere schwache Beweise hat, aber eine glückliche Regel besitzt. Das Paper zeigte, dass auf dem SWaT-Testbed Detektoren mit ähnlichen Gesamtranglisten eine Alarm-Erfolgsrate aufweisen konnten, die sich um mehr als das Zehnfache (eine Größenordnung) unterschied, wenn man eine Standardregel verwendet!
Der „Einheitsmaß“-Mythos: Man könnte denken, dass ein Detektor, der gut in Level 1 (SWaT) ist, auch gut in Level 2 (WADI) sein wird. Die Autoren fanden heraus, dass dies nicht wahr ist. Ein Detektor namens TranAD war der Top-Performer auf dem HAI-Testbed, kam aber auf SWaT auf den letzten Platz. Währenddessen war NSIBF der König von WADI, aber der Verlierer auf HAI. Es stellt sich heraus, dass verschiedene Fabriken unterschiedliche Arten von Augen brauchen.
Das „Verwässerungs“-Problem: Einige Detektoren betrachten die ganze Fabrik auf einmal und führen alle Daten zusammen. Die Autoren fanden heraus, dass dies auf dem WADI-Testbed eine schlechte Idee war. Wenn ein Hacker nur ein kleines Ventil in einer riesigen Anlage manipuliert, wird dieses kleine Signal durch die Menge der normalen, langweiligen Daten aus dem Rest der Fabrik „verwässert“. Das Signal geht im Rauschen verloren. Aber Detektoren, die auf kleinere, spezifische Teile der Fabrik blickten (wie nur die Sensoren), konnten den Angriff klar erkennen.
Die „Drift“-Falle: Manchmal übersehen Detektoren einen Angriff nicht, weil sie schlecht sind, sondern weil sich die Fabrik verändert hat. Wenn die Fabrik während des Tests etwas anders läuft als während des Trainings (z. B. wenn eine Maschine warm wird), verschiebt sich die „normale“ Basislinie. Die Autoren fanden heraus, dass einige Detektoren deshalb versagten, weil ihr „normaler“ Referenzpunkt von der Realität wegdriftete, wodurch die Angriffe wie normales Rauschen wirkten.

Warum das wichtig ist

Das Paper sagt nicht einfach nur „Detektor X ist besser“. Es fungiert wie ein diagnostisches Werkzeug für Ärzte. Wenn ein Patient (der Detektor) krank ist, sagt man nicht nur „er ist krank“. Man muss wissen, warum. Liegt das Problem daran, dass die Augen (Stufe 1) die Krankheit nicht sehen können? Liegt das Problem daran, dass das Gehirn (Stufe 2) zu langsam reagiert? Oder liegt das Problem daran, dass sich der Körper des Patienten so sehr verändert hat, dass die alten Krankenakten nicht mehr funktionieren?

Durch die Trennung von „Beweiserhebung“ und „Entscheidungsfindung“ zeigten die Autoren, dass ein fehlgeschlagener Alarm aus vielen verschiedenen Quellen kommen kann:

Schwache Beweise: Der Detektor konnte den Angriff schlichtweg nicht sehen.
Schlechter Schwellenwert: Der Detetor sah den Angriff, setzte aber die Alarm-Hürde zu hoch an.
Drift: Die Fabrik hat sich verändert, und die Erinnerung des Detektors an das „Normale“ war veraltet.
Verwässerung: Der Angriff war zu klein und ging im großen Gesamtbild unter.

Das Faz-it

Dieses Paper legt nahe, dass wir aufhören sollten, Cyber-Sicherheits-Detektoren nur nach ihren finalen Alarmglocken zu beurteilen. Stattdessen sollten wir auf die „Residuenenergie“ schauen – die rohen, ungefilterten Beweise, die sie sammeln. Die Autoren zeigten, dass sich die Ranglisten der Detektoren komplett ändern, wenn man dies tut, und dass man endlich verstehen kann, warum ein Detektor versagt hat. Es ist ein Wechsel vom bloßen Zählen der „Alarme“ hin zum Verständnis der „Vision“ der Maschine.

Die Studie hat nicht einen neuen Detektor erfunden, um einen Preis zu gewinnen; sie hat eine neue Art erfunden, die bereits vorhandenen Detektoren zu bewerten. Und die Note, die sie gaben, ist eindeutig: Wenn man wissen will, ob ein Detektor wirklich gut ist, muss man sich ansehen, was er sieht, bevor er sich entscheidet zu schreien.

Technisches Resümee: Evaluierung von CPS-Anomalieerkennungen unabhängig von der Entscheidungsregel

1. Problemstellung

Cyber-physische Systeme (CPS) verlassen sich auf Anomalieerkennung als letzte Verteidigungslinie gegen die gezielte Manipulation von Sensor- und Aktuator-Telemetrie. Die Standardbewertung dieser Detektoren ist jedoch fehlerhaft, da sie zwei unterschiedliche Komponenten vermischt:

Stufe 1 (Repräsentation): Die Abbildung von Beobachtungen auf ein Residuen-Signal (z. B. Vorhersagefehler, Rekonstruktionsfehler oder Invarianzverletzungen), welches die Lücke zwischen beobachtetem Verhalten und erwartetem Normalverhalten darstellt.
Stufe 2 (Entscheidungsregel): Die Abbildung von Residuen auf binäre Alarme mittels Schwellenwerten, Glättung oder sequenzieller Tests (z. B. CUSUM).

Aktuelle Benchmarks berichten typischerweise Precision, Recall und F1-Scores an einem einzelnen Betriebspunkt. Diese Metriken vermischen die Qualität der Residuen-Repräsentation mit der Kalibrierung der Entscheidungsregel. Folglich kann ein niedriger F1-Score nicht unterscheiden, ob ein verpasster Angriff das Resultat war aus:

Schwacher Residuen-Evidenz (der Angriff ist für das Modell unsichtbar).
Trainings-Test-Drift (die Normalverteilung hat sich zwischen Training und Test verschoben).
Dimensionaler Verdünnung (lokalisierte Angriffe werden maskiert, wenn Evidenz über alle Kanäle hinweg zusammengeführt wird).
Schlechter Schwellenwert-Kalibrierung (die Evidenz ist vorhanden, aber die Alarmregel kann sie nicht extrahieren).

Dieses Problem wird durch den Vergleich heterogener Detektoren (z. B. Graph-Prädiktoren vs. Invarianz-Prüfer) verschärft, deren Residuen in unterschiedlichen Räumen existieren und mit unabhängig abgestimmten Entscheidungsregeln gekoppelt sind.

2. Methodik

Die Autoren schlagen ein entscheidungsregelfreies Evaluierungsframework vor, das einen CPS-Anomalie-Detektor als zweistufige Pipeline betrachtet und Stufe 1 direkt evaluiert.

Die Zwei-Stufen-Zerlegung

Stufe 1 ( $\phi$ ): Bildet ein Zeitfenster von Beobachtungen auf einen Residuen-Vektor $r_t$ ab.
Stufe 2 ( $\pi$ ): Bildet Residuen auf Alarme $a_t$ ab.
Das Framework isoliert $\phi$ für die Evaluierung, bevor eine Alarmregel angewendet wird.

Das Residuen-Informations-Energie-Framework

Die Kernmetrik ist die Normalisierte Residuen-Energie ( $e_t$ ), definiert als der halbe quadratische Mahalanobis-Abstand eines Residuen-Vektors von der trainierten Normal-Referenz:
$e_t = \frac{1}{2} (r_t - \mu_0)^\top S_0^{-1} (r_t - \mu_0)$
wobei $\mu_0$ und $S_0$ den Mittelwert und die Kovarianz der Residuen-Verteilung sind, die aus angriffsfreien Trainingsdaten geschätzt wurden.

Theoretische Grundlage:
Unter einer momentengematchten Gaußschen Sichtweise hat der Erwartungswert dieser Energie eine exakte Verbindung zur Kullback–Leibler-Divergenz (KL-Divergenz) zwischen der Testverteilung und der Trainings-Normal-Referenz. Speziell gilt:
$E[e_t | P] - \frac{p}{2} = D_{KL}(P_G || P_0) + \frac{1}{2} \log \frac{\det S_P}{\det S_0}$
Diese Identität ermöglicht es der Energieskala, gleichzeitig zu messen:

Angriffstrennung: Wie gut die Angriffsverteilung von der Normalverteilung separiert ist.
Train-Test-Drift: Wie stark sich die Normalverteilung verschoben hat.
Struktur des Residuenraums: Die Kompaktheit der Repräsentation.

Evaluierungsmetriken

Das Framework leitet verschiedene Diagnosemetriken aus dem Energiestrom ab:

Rang-Metriken: ROC-AUC und pAUC@1% (mit Fokus auf niedrige Fehlalarmraten), um die punktuelle Trennung zu messen.
Angriffs-Fenster-Energie: Integrierte KL-Schätzungen ( $D_{FULL}$ ) und die Wahrscheinlichkeit ( $P_{FULL}$ ), dass ein Angriffsfenster ein zeitlich gleich langer Normal-Fenster-Abschnitt dominiert.
Drift-Diagnostik: Train-Test-Drift ( $D_{drift}$ ) und drift-korrigierte Evidenz ( $D_{eff}$ ), um Angriffs-Signale von Verschiebungen der Normalverteilung zu unterscheiden.
Kompaktheit: Das Verhältnis der effektiven Dimension ( $p_{eff}$ ) zur nominalen Dimension ( $p$ ), welches angibt, wie viel des Residuenraums genutzt wird.
Kontrollierte Stage-2-Sonde: Ein fester Schwellenwert am 99. Perzentil der Trainings-Normal-Energie ( $F1@p99$ ) wird nur als Sonde verwendet, um zu sehen, wie viel Evidenz eine gemeinsame Regel extrahieren kann, nicht als primäre Rangfolge-Metrik.

3. Experimentelles Setup

Das Framework wurde einheitlich auf fünf Detektoren über drei CPS-Benchmarks angewendet, ohne pro Detektor eine Abstimmung vorzunehmen:

Detektoren: GDN, FuSAGNet, TranAD (Graph-/Transformer-Prädiktoren), NSIBF (beobachterbasierter Ansatz) und GeCo (algebraische Invarianten).
Benchmarks: SWaT (Wasseraufbereitung), WADI (größere Wasserverteilung) und HAI (Energie/Kessel).
Protokoll: Die Detektoren wurden auf angriffsfreien Daten trainiert und auf gelabelten Angriffspfaden evaluiert. Die Evaluierung nutzte ein festes Protokoll zur Schätzung der Normal-Referenz (Ledoit–Wolf Shrinkage-Kovarianz) und zur Berechnung der Energiemetriken.

4. Zentrale Ergebnisse und Erkenntnisse

Die Studie beantwortet vier diagnostische Forschungsfragen (RQs) bezüglich der Natur von Detektionsfehlern:

RQ1: Ist die Angriffs-Evidenz vor der Alarmregel vorhanden?

Ergebnis: Ähnliche ROC-AUC-Werte können Größenordnungen Unterschied in der Alarmleistung verbergen. Beispielsweise hatte TranAD auf SWaT einen ROC-AUC von 0,750, aber ein $F1@p99$ von nur 0,025, während andere Detektoren mit ähnlichem ROC-AUC deutlich höhere F1-Werte erzielten. Dies deutet darauf hin, dass die Residuen-Repräsentation zwar Ranking-Informationen enthielt, die Trennung jedoch im Bereich niedriger Fehlalarmraten schwach war.

RQ2: Ist die Residuen-Normal-Referenz stabil?

Ergebnis: Der Train-Test-Drift ist eine wesentliche Fehlerquelle. Detektoren mit ähnlichen Angriffs-Rankings zeigten sehr unterschiedliche Drift-Werte. So zeigte GDN auf SWaT einen massiven Drift ( $1,9 \times 10^5$ ), während NSIBF einen minimalen Drift ( $6,2 \times 10^2$ ) aufwies. Hoher Drift reduziert die verfügbare Marge für feste Schwellenwerte, was verpasste Alarme erklärt, selbst wenn das Modell "korrekt" arbeitet.

RQ3: Wird die Evidenz im Residuenraum ausgedrückt oder verdünnt?

Ergebnis: Die Wahl des Residuenraums bestimmt, welche Angriffe sichtbar sind. Lokalisierte Angriffe wurden von NSIBF (das einen Sensor-Innovations-Subraum bewertet) erfolgreich erkannt, aber von Detektoren mit voller Beobachtung verpasst. Die Zusammenführung der Evidenz über alle Kanäle hinweg verdünnte das lokalisierte Signal. Dies erklärt, warum Rankings über Testbeds hinweg variieren: NSIBF rangierte auf WADI an erster Stelle, aber zuletzt auf HAI, während TranAD auf HAI an erster Stelle und auf SWaT zuletzt rangierte.

RQ4: Extrahiert die Stage-2-Regel die verfügbare Evidenz?

Ergebnis: Eine kontrollierte Stage-2-Sonde ergab, dass ähnliche verpasste Alarme auf unterschiedliche Ursachen zurückzuführen sein können. Einige Fehler resultierten aus schwacher Residuen-Evidenz (der Angriff bewegt das Residuum kaum), andere aus drift-dominierten Evidenzen (Angriffsenergie < Drift) und wieder andere aus Fehlern bei der Schwellenwert-Extraktion (Evidenz ist vorhanden, aber die feste Schwelle übersieht sie).

5. Bedeutung und Beiträge

Das Paper beansprucht vier Hauptbeiträge:

Entscheidungsregeln-unabhängiges Evaluierungsobjekt: Es formalisiert die Evaluierung der Stage-1 Residuen-Repräsentation getrennt von der Alarmregel, was es ermöglicht, die Frage zu klären, ob Angriffs-Evidenz vor jeglicher Schwellenwertbildung oder Glättung vorhanden ist.
Residuen-Informations-Energie-Skala: Es führt eine normalisierte Residuen-Energie-Metrik mit exakter KL-Divergenz-Interpretation ein, die eine gemeinsame Skala bietet, um heterogene Detektoren (Graph, Transformer, Beobachter, Invarianz) über verschiedene Residuenräume hinweg zu vergleichen.
Fehler-Attribuierungs-Diagnostik: Es bietet eine Suite von Metriken zur Unterscheidung spezifischer Fehlermodi: schwache Evidenz, Instabilität der Referenz, dimensionale Verdünnung und Stage-2-Kalibrierungsfehler. Dies führt die Evaluierung über einen einzelnen Leaderboard-Wert hinaus zu einem Diagnosewerkzeug.
Einheitliche Cross-Detektor-Studie: Es demonstriert, dass Detektor-Rankings nicht zuverlässig über Testbeds hinweg transferierbar sind und dass ähnliche Alarms-Ebene-Fehler oft unterschiedliche zugrunde liegende Ursachen haben (z. B. Repräsentations-Redesign vs. Referenz-Stabilisierung).

Fazit:
Die Autoren argumentieren, dass Detektionsfehler in CPS vielfältig sind. Durch die Trennung der Residuen-Repräsentation von der Entscheidungsregel zeigt das vorgeschlagene Framework, dass "Detektionsfehler" kein monolithisches Konzept ist. Er kann aus der Unfähigkeit des Detektors resultieren, den Angriff zu sehen, aus der Instabilität der Normal-Baseline, aus der Verdünnung von Signalen in hochdimensionalen Räumen oder aus der suboptimalen Extraktion von Evidenz durch die Alarm-Policy. Dieser Ansatz ermöglicht gezieltere Verbesserungen, wie etwa das Redesign von Repräsentationen für lokalisierte Angriffe oder die Stabilisierung von Referenzen gegen Drift, anstatt lediglich Schwellenwerte zu optimieren.