Technische Samenvatting: Evaluatie van CPS Anomaliedetectoren Onafhankelijk van de Beslissingsregel

1. Probleemstelling

Cyber-fysieke systemen (CPS) vertrouwen op anomaliedetectoren als een laatste verdedigingslinie tegen kwaadwillige manipulatie van sensor- en actuatortelemetrie. De standaard evaluatie van deze detectoren is echter gebrekkig omdat het twee verschillende componenten samenvoegt:

1. Fase 1 (Representatie): De mapping van observaties naar een residu-signaal (bijv. voorspellingsfouten, reconstructiefouten of invariantie-schendingen) dat de kloof vertegenwoordigt tussen het geobserveerde gedrag en het verwachte normale gedrag.
2. Fase 2 (Beslissingsregel): De mapping van residuen naar binaire alarmen via drempelwaarden, smoothing of sequentiële tests (bijv. CUSUM).

Huidige benchmarks rapporteren doorgaans precisie, recall en F1-scores op één enkel werkpunt. Deze metrieken mengen de kwaliteit van de residu-representatie met de kalibratie van de beslissingsregel. Bijgevolg kan een lage F1-score niet onderscheiden of een gemiste aanval het gevolg was van:

• Zwak residu-bewijs (de aanval is onzichtbaar voor het model).
• Train-test drift (de normale distributie is verschoven tussen training en testen).
• Dimensionale verdunning (gelokaliseerde aanvallen worden gemaskeerd bij het poolen van bewijs over alle kanalen).
• Slechte drempelkalibratie (het bewijs is aanwezig, maar de alarmregel slaagt er niet in dit te extraheren).

Dit probleem wordt verergerd door de vergelijking van heterogene detectoren (bijv. grafiekvoorspellers versus invariantie-checkers) wier residuen in verschillende ruimtes leven en gekoppeld zijn aan onafhankelijk afgestelde beslissingsregels.

2. Methodologie

De auteurs stellen een beslissingsregel-vrije evaluatiekader voor dat een CPS anomaliedetector behandelt als een tweefasige pijplijn en Fase 1 direct evalueert.

De Tweefasige Decompositie

• Fase 1 ($\phi$): Map een venster van observaties naar een residu-vector $r_t$.
• Fase 2 ($\pi$): Map residuen naar alarmen $a_t$.
  Het kader isoleert $\phi$ voor evaluatie voordat er een alarmregel wordt toegepast.

Het Residuele Informatie-Energie Kader

De kernmetriek is de Genormaliseerde Residuele Energie ($e_t$), gedefinieerd als de gekwadrateerde Mahalanobis-afstand van een residu tot de getrainde-normale referentie, geschaald door één-halve:
$$e_t = \frac{1}{2} (r_t - \mu_0)^\top S_0^{-1} (r_t - \mu_0)$$
waarbij $\mu_0$ en $S_0$ het gemiddelde en de covariantie van de residu-distributie zijn, geschat uit de aanvalsvrije trainingsdata.

Theoretische Fundering:
Onder een moment-gematchte Gaussische visie heeft de verwachting van deze energie een exacte verbinding met de Kullback–Leibler (KL) divergentie tussen de testdistributie en de training-normale referentie. Specifiek:
$$E[e_t | P] - \frac{p}{2} = D_{KL}(P_G || P_0) + \frac{1}{2} \log \frac{\det S_P}{\det S_0}$$
Deze identiteit stelt de energie-schaal in staat om gelijktijdig te meten:

1. Aanvalsscheiding: Hoe goed de aanval-distributie scheidt van normaal.
2. Train-Test Drift: Hoeveel de normale distributie is verschoven.
3. Structuur van de Residuele Ruimte: De compactheid van de representatie.

Evaluatiemetrieken

Het kader afgeleide verschillende diagnostische metrieken uit de energiestroom:

• Rang-metrieken: ROC-AUC en pAUC@1% (gericht op lage vals-alarm-percentages) om punt-niveau scheiding te meten.
• Aanvalsvenster-energie: Geïntegreerde KL-schattingen ($D_{FULL}$) en de waarschijnlijkheid ($P_{FULL}$) dat een aanvalsvenster een even lange normale venster domineert.
• Drift-diagnostiek: Train-test drift ($D_{drift}$) en drift-gecorrigeerd bewijs ($D_{eff}$) om aanvals-signalen te onderscheiden van verschuivingen in de normale distributie.
• Compactheid: De ratio van effectieve dimensie ($p_{eff}$) tot nominale dimensie ($p$), wat aangeeft hoeveel van de residuele ruimte wordt benut.
• Gecontroleerde Fase-2 Probe: Een vaste drempelwaarde op het 99e percentiel van de training-normale energie ($F1@p99$) wordt gebruikt alleen als probe om te zien hoeveel bewijs een gedeelde regel kan extraheren, niet als primaire rangschikkingsmetriek.

3. Experimentele Opzet

Het kader werd uniform toegepast op vijf detectoren over drie CPS-benchmarks zonder per-detector afstemming:

• Detectoren: GDN, FuSAGNet, TranAD (grafiek/transformer voorspellers), NSIBF (observer-gebaseerd), en GeCo (algebraïsche invarianten).
• Benchmarks: SWaT (waterzuivering), WADI (grotere waterdistributie), en HAI (energie/ketel).
• Protocol: Detectoren werden getraind op aanvalsvrije data en geëvalueerd op gelabelde aanvalstraces. De evaluatie gebrude een vast protocol voor het schatten van de normale referentie (Ledoit–Wolf shrinkage covariantie) en het berekenen van de energiemetrieken.

4. Belangrijkste Resultaten en Bevindingen

De studie beantwoordt vier diagnostische onderzoeksvragen (RQ's) met betrekking tot de aard van detectiefouten:

RQ1: Is er aanvalsbewijs aanwezig vóór de alarmregel?

• Bevinding: Vergelijkbare ROC-AUC waarden kunnen orde van grootte verschillen in alarmprestaties verbergen. Bijvoorbeeld, op SWaT had TranAD een ROC-AUC van 0.750 maar een $F1@p99$ van slechts 0.025, terwijl andere detectoren met een vergelijkbare ROC-AUC veel hogere F1-scores behaalden. Dit geeft aan dat de residu-representatie weliswaar rangschikkingsinformatie bevatte, maar dat de scheiding zwak was in de regio met lage vals-alarm-percentages.

RQ2: Is de normale residu-referentie stabiel?

• Bevinding: Train-test drift is een belangrijke bron van falen. Detectoren met vergelijkbare aanvals-rangschikkingen vertoonden zeer verschillende drift-waarden. Bijvoorbeeld, op SWaT vertoonde GDN een enorme drift ($1.9 \times 10^5$), terwijl NSIBF minimale drift vertoonde ($6.2 \times 10^2$). Hoge drift vermindert de marge beschikbaar voor vaste drempelwaarden, wat gemiste alarmen verklaart, zelfs wanneer het model "correct" is.

RQ3: Wordt het bewijs uitgedrukt in de residu-ruimte of is het verdund?

• Bevinding: De keuze van de residu-ruimte bepaalt welke aanvallen zichtbaar zijn. Gelokaliseerde aanvallen werden op WADI succesvol gedetecteerd door NSIBF (die een sensor-innovatiesubruimte scoort) maar gemist door volledige observatie-detectoren. Het poolen van bewijs over alle kanalen verdunde het gelokaliseerde signaal. Dit verklaart waarom rangschikkingen veranderen per testbed: NSIBF rangschikte als eerste op WADI maar als laatste op HAI, terwijl TranAD als eerste rangschikte op HAI maar als laatste op SWaT.

RQ4: Extraheert de Fase-2 regel het beschikbare bewijs?

• Bevinding: Een gecontroleerde Fase-2 probe onthulde dat vergelijkbare gemiste alarmen uit verschillende oorzaken kunnen voortkomen. Sommige fouten kwamen door zwak residu-bewijs (aanval beweegt het residu nauwelijks), andere door drift-gedomineerd bewijs (aanval-energie < drift), en andere door falende drempel-extractie (bewijs is aanwezig maar de vaste drempel mist het).

5. Betekenis en Bijdragen

Het artikel claimt vier hoofdbijdragen:

1. Beslissingsregel-onafhankelijk Evaluatieobject: Het formaliseert de evaluatie van de Fase-1 residu-representatie apart van de alarmregel, waardoor onderzoekers kunnen vragen of er aanvalsbewijs aanwezig is vóór enige drempelwaarde of smoothing wordt toegepast.
2. Residu Informatie-Energie Schaal: Het introduceert een genormaliseerde residuele energie-metriek met een exacte KL-divergentie interpretatie, wat een gemeenschappelijke schaal biedt om heterogene detectoren (grafiek, transformer, observer, invariantie) over verschillende residu-ruimtes te vergelijken.
3. Fout-attributie Diagnostiek: Het biedt een suite aan metrieken om onderscheid te maken tussen specifieke foutmodi: zwak bewijs, referentie-instabiliteit, dimensionale verdunning en Fase-2 kalibratiefalen. Dit brengt evaluatie verder dan een enkel leaderboard-getal naar een diagnostisch instrument.
4. Uniform Cross-Detector Studie: Het demonstreert dat de rangschikking van detectoren niet betrouwbaar overdraagt tussen testbedden en dat vergelijkbare alarm-niveau fouten vaak andere onderliggende oorzaken hebben (bijv. herontwerp van representatie versus stabilisatie van de referentie).

Conclusie:
De auteurs stellen dat detectiefalen in CPS veelzijdig is. Door de scheiding van de residu-representatie en de beslissingsregel, onthult het voorgestelde kader dat "detectiefalen" geen monolithisch concept is. Het kan voortkomen uit het onvermogen van de detector om de aanval te zien, de instabiliteit van de normale baseline, de verdunning van signalen in hoog-dimensionale ruimtes, of de suboptimale extractie van bewijs door het alarmbeleid. Deze aanpak maakt gerichtere verbeteringen mogelijk, zoals het herontwerpen van representaties voor gelokaliseerde aanvallen of het stabiliseren van referenties tegen drift, in plaats van simpelweg drempelwaarden af te stemmen.