💻 computer science

What the Detector Can See: Evaluating CPS Anomaly Detectors Independently of the Decision Rule

Cet article propose un cadre d'évaluation sans règle de décision qui isole la capacité d'un détecteur à représenter les processus physiques de son étalonnage de seuil, révélant que les métriques traditionnelles telles que l'AUC-ROC peuvent masquer des disparités de performance significatives et des modes de défaillance variés à travers différents bancs d'essai de systèmes cyber-physiques et détecteurs d'anomalies.

Auteurs originaux : Peiran Shi, Jian Xiang, Xiang Zhang, Chenglong Fu

Publié 2026-08-05

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Peiran Shi, Jian Xiang, Xiang Zhang, Chenglong Fu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un agent de sécurité dans une usine massive et de haute technologie où des robots construisent des voitures et mélangent des produits chimiques. Votre travail est de repérer tout ce qui se passe de bizarre sur la ligne d'assemblage. Si un bras robotisé commence à bouger trop vite ou si une valve s'ouvre alors qu'elle ne le devrait pas, vous devez le savoir immédiatement. Dans le monde de la science, on appelle cela un Système Cyber-Physique (SCP). C'est l'endroit où le code informatique rencontre le monde physique réel. Mais voici le problème : parfois, l'usine passe simplement une « mauvaise journée ». Les machines vibrent, les températures oscillent et les capteurs deviennent un peu nerveux. Comment faire la différence entre un simple bug sans conséquence et un pirate informatique sournois qui essaie de tout faire exploser ?

Pendant longtemps, les scientifiques ont essayé de résoudre cela en construisant des « détecteurs d'anomalies ». Imaginez ces détecteurs comme des caméras ultra-intelligentes qui surveillent l'usine. Elles apprennent à quoi ressemble la situation « normale », et elles hurlent « ALERTE ! » si quelque chose semble différent. Mais il y a un problème avec la façon dont nous testons ces caméras. Habituellement, nous regardons simplement le résultat final : l'alarme s'est-elle déclenchée ? Quelque chose a-t-il été manqué ? C'est comme noter un élève uniquement sur le fait qu'il a levé la main, sans vérifier s'il a réellement compris la question. Cet article soutient que nous devons regarder à l'intérieur de la caméra avant qu'elle ne décide de hurler. Nous devons voir ce que la caméra a réellement « vu » en premier lieu, avant qu'elle ne soit confuse par les règles qu'elle utilise pour décider de crier.

Le Détective en Deux Étapes

Les auteurs de cet article, une équipe de l'Université de Caroline du Nord à Charlotte, ont décidé de ne plus évaluer les détecteurs uniquement sur leurs « cris » finaux (les alarmes). Au lieu de cela, ils ont traité chaque détecteur comme un processus en deux étapes, comme un détective résolvant un crime.

Étape 1 : Le Collecteur de Preuves.
Imaginez un détective examinant une scène de crime. Il ne se contente pas de crier « Coupable ! » immédiatement. D'abord, il rassemble des indices. Il mesure la boue sur les chaussures, la température de la pièce et l'heure sur l'horloge. Dans le langage de l'article, il s'agit de la représentation résiduelle. Le détecteur prend les données de l'usine et calcule l'« écart » entre ce qui s'est passé et ce qui aurait dû se passer. Si le bras du robot a bougé de 5 pouces mais que l'ordinateur attendait 4, le « résidu » (l'écart) est de 1 pouce. Cette étape consiste entièrement à rassembler les preuves brutes.

Étape 2 : Le Preneur de Décision.
Une fois que le détective a les indices, il doit décider : Est-ce un crime ? Peut-être a-t-il une règle du type : « Si la boue dépasse 2 pouces, appelez la police. » C'est la règle d'alarme. C'est un seuil. Si l'écart est assez grand, vous hurlez ; s'il est petit, vous ignorez.

Le gros problème que l'article souligne est que la plupart des scientifiques ne regardent que le résultat final de l'Étape 2. Ils disent : « Oh, le Détecteur A avait un taux de réussite de 90 % et le Détecteur B de 80 %. » Mais c'est comme dire que deux détectives sont également bons simplement parce qu'ils ont tous deux arrêté le même nombre de criminels, sans demander comment ils les ont trouvés. Peut-être que le Détecteur A avait des indices incroyables mais une règle terrible pour appeler la police. Peut-être que le Détecteur B avait de terribles indices mais a eu de la chance avec un seuil de cri très bas.

La Nouvelle Façon de Regarder : Le Compteur d'« Énergie »

Pour corriger cela, les auteurs ont inventé une nouvelle façon de mesurer les détecteurs. Ils ont créé un outil appelé Énergie Résiduelle Normalisée.

Voyez cela comme un « compteur de bizarrerie ». Au lieu de simplement demander « As-tu crié ? », ils demandent : « À quel point les preuves étaient-elles bizarres avant que tu ne décides de hurler ? » Ils mesurent l'« énergie » de l'écart entre le monde réel et le monde attendu. Si l'usine fonctionne normalement, l'énergie est basse. Si un pirate manipule les valves, l'énergie grimpe en flèche.

La chose cool avec ce compteur est qu'il ne se soucie pas de la « règle du cri ». Il mesure simplement les preuves brutes. Les auteurs ont découvert que ce compteur d'énergie possède un lien spécial avec un concept mathématique appelé divergence de Kullback–Leibler (KL). En langage clair, c'est une façon de mesurer à quel point deux choses sont différentes. C'est comme mesurer à quel point une journée de travail « normale » à l'usine sonne différemment d'une journée d'usine « piratée ». En utilisant ce compteur d'énergie, les auteurs ont pu voir la « vérité » des preuves sans le bruit des règles de décision.

Ce Qu'Ils Ont Découvert : Le Grand Échange de Détectives

L'équipe a testé cinq types différents de détecteurs (comme GDN, FuSAGNet, TranAD et d'autres) sur trois bancs d'essai d'usine célèbres (SWaT, WADI et HAI). Ce sont comme différents « niveaux » dans un jeu vidéo, chacun ayant sa propre configuration et ses propres types d'attaques.

Voici ce qu'ils ont découvert, et c'est assez surprenant :

Le Mensonge du « Score » : Deux détecteurs peuvent avoir presque le même score final (comme un score F1 ou une courbe ROC-AUC), mais quand on regarde les preuves brutes, ils sont totalement différents. L'un peut avoir de superbes preuves mais une règle d'alarme terrible, tandis que l'autre a des preuves faibles mais une règle chanceuse. L'article a montré que sur le banc d'essai SWaT, des détecteurs ayant des classements globaux similaires pouvaient présenter des taux de réussite d'alarme différant de plus de dix fois (un ordre de grandeur) lorsqu'on utilisait une règle standard !
Le Mythe du « Taille Unique » : On pourrait penser qu'un détecteur qui est excellent au Niveau 1 (SWaT) sera excellent au Niveau 2 (WADI). Les auteurs ont découvert que ce n'est pas vrai. Un détecteur nommé TranAD était le meilleur performeur sur le banc d'essai HAI mais arrivait en dernière position sur SWaT. Pendant ce temps, NSIBF était le roi de WADI mais le perdant sur HAI. Il s'avère que différentes usines nécessitent différents types d'yeux.
Le Problème de la « Dilution » : Certains détecteurs regardent l'ensemble de l'usine à la fois, en regroupant toutes les données. Les auteurs ont découvert que, sur le banc d'essai WADI, c'était une mauvaise idée. Si un pirate ne manipule qu'une petite valve dans une immense usine, et que le détecteur regarde toute l'usine, ce petit signal est « dilué » (noyé) par toutes les données normales et ennuyeuses du reste de l'usine. Le signal se perd dans le bruit. Mais les détecteurs qui regardaient des parties plus petites et spécifiques de l'usine (comme juste les capteurs) pouvaient voir l'attaque clairement.
Le Piège de la « Dérive » : Parfois, un détecteur manque une attaque non pas parce qu'il est mauvais, mais parce que l'usine a changé. Si l'usine fonctionne légèrement différemment pendant le test qu'elle ne le faisait pendant l'entraînement (comme une machine qui chauffe), la référence de « normalité » se déplace. Les auteurs ont découvert que certains détecteurs échouaient parce que leur référence de « normalité » dérivait, faisant passer les attaques pour du bruit normal.

Pourquoi Cela Importe

Cet article ne se contente pas de dire « Le Détecteur X est meilleur ». Il agit comme un outil de diagnostic pour les médecins. Si un patient (le détecteur) est malade, on ne dit pas seulement « il est malade ». On doit savoir pourquoi. Est-ce que le problème vient des yeux (Étape 1) qui ne voient pas la maladie ? Est-ce que le problème vient du cerveau (Étape 2) qui est trop lent à réagir ? Ou est-ce que le corps du patient a tellement changé que les anciens dossiers médicaux ne fonctionnent plus ?

En séparant la « collecte de preuves » de la « prise de décision », les auteurs ont montré qu'une alarme ratée peut provenir de sources très diverses :

Preuves Faibles : Le détecteur n'a tout simplement pas pu voir l'attaque.
Mauvais Seuil : Le détecteur a vu l'attaque mais a fixé la barre de l'alarme trop haut.
Dérive : L'usine a changé, et la mémoire de « normalité » du détecteur est obsolète.
Dilution : L'attaque était trop petite et s'est perdue dans le panorama global.

L'Essentiel à Retenir

Cet article suggère que nous devons arrêter de juger les détecteurs de cybersécurité uniquement par leurs alarmes finales. Au lieu de cela, nous devrions regarder l'« énergie résiduelle » — les preuves brutes et non filtrées qu'ils collectent. Les auteurs ont montré que lorsque vous faites cela, les classements des détecteurs changent complètement, et vous pouvez enfin comprendre pourquoi un détecteur a échoué. C'est un passage de la simple comptabilité des « alarmes » à la compréhension de la « vision » de la machine.

L'étude n'a pas inventé un nouveau détecteur pour gagner un prix ; elle a inventé une nouvelle façon de noter les détecteurs que nous possédons déjà. Et la note qu'ils ont donnée est claire : si vous voulez savoir si un détecteur est réellement bon, vous devez regarder ce qu'il voit avant qu'il ne décide de hurler.

Résumé Technique : Évaluation des détecteurs d'anomalies pour les CPS indépendamment de la règle de décision

1. Énoncé du problème

Les systèmes cyber-physiques (CPS) s'appuient sur des détecteurs d'anomalies comme dernière ligne de défense contre la manipulation malveillante des données de télémétrie des capteurs et des actionneurs. Cependant, l'évaluation standard de ces détecteurs est biaisée car elle confond deux composantes distinctes :

Étape 1 (Représentation) : La mise en correspondance des observations vers un signal de résidu (par exemple, erreurs de prédiction, erreurs de reconstruction ou violations d'invariants) qui représente l'écart entre le comportement observé et le comportement normal attendu.
Étape 2 (Règle de décision) : La mise en correspondance des résidus vers des alarmes binaires via des seuils, des lissages ou des tests séquentiels (par exemple, CUSUM).

Les benchmarks actuels rapportent typiquement la précision, le rappel et le score F1 à un point de fonctionnement unique. Ces métriques mélangent la qualité de la représentation du résidu avec le calibrage de la règle de décision. Par conséquent, un score F1 faible ne permet pas de distinguer si une attaque manquée est due à :

Une faiblesse de l'évidence du résidu (l'attaque est invisible pour le modèle).
Une dérive entraînement-test (la distribution normale a glissé entre l'entraînement et le test).
Une dilution dimensionnelle (les attaques localisées sont masquées lors de la fusion des évidences de tous les canaux).
Un mauvais calibrage du seuil (l'évidence existe mais la règle d'alarme ne parvient pas à l'extraire).

Ce problème est exacerbé lors de la comparaison de détecteurs hétérogènes (par exemple, prédicteurs de graphes vs vérificateurs d'invariants) dont les résidus vivent dans des espaces différents et sont couplés à des règles de décision réglées de manière indépendante.

2. Méthodologie

Les auteurs proposent un cadre d'évaluation sans règle de décision qui traite un détecteur d'anomalie CPS comme un pipeline à deux étapes et évalue directement l'Étape 1.

La décomposition en deux étapes

Étape 1 ( $\phi$ ) : Mappe une fenêtre d'observations vers un vecteur de résidu $r_t$ .
Étape 2 ( $\pi$ ) : Mappe les résidus vers des alarmes $a_t$ .
Le cadre isole $\phi$ pour l'évaluation avant l'application de toute règle d'alarme.

Le cadre d'énergie d'information du résidu

La métrique centrale est l'Énergie de résidu normalisée ( $e_t$ ), définie comme la distance de Mahalanobis au carré d'un résidu par rapport à la référence normale entraînée, mise à l'échelle par un demi-facteur :
$e_t = \frac{1}{2} (r_t - \mu_0)^\top S_0^{-1} (r_t - \mu_0)$
où $\mu_0$ et $S_0$ sont la moyenne et la covariance de la distribution des résidus estimées à partir des données d'entraînement exemptes d'attaques.

Fondement théorique :
Sous une vue gaussienne d'appariement de moments, l'espérance de cette énergie possède une connexion exacte avec la divergence de Kullback–Leibler (KL) entre la distribution de test et la référence normale d'entraînement. Spécifiquement :
$E[e_t | P] - \frac{p}{2} = D_{KL}(P_G || P_0) + \frac{1}{2} \log \frac{\det S_P}{\det S_0}$
Cette identité permet à l'échelle d'énergie de mesurer simultanément :

Séparation d'attaque : La capacité de la distribution d'attaque à se séparer de la normale.
Dérive entraînement-test : La mesure du glissement de la distribution normale.
Structure de l'espace de résidu : La compacité de la représentation.

Métriques d'évaluation

Le cadre dérive plusieurs métures diagnostiques de la série d'énergie :

Métriques de rang : L'AUC-ROC et la pAUC@1% (se concentrant sur les faibles taux de fausses alarmes) pour mesurer la séparation au niveau du point.
Énergie de la fenêtre d'attaque : Estimations de KL intégrées ( $D_{FULL}$ ) et la probabilité ( $P_{FULL}$ ) qu'une fenêtre d'attaque domine une fenêtre normale de durée équivalente.
Diagnostics de dérive : Dérive entraînement-test ( $D_{drift}$ ) et évidence corrigée de la dérive ( $D_{eff}$ ) pour distinguer les signaux d'attaque des dérives de distribution normale.
Compacité : Le ratio de la dimension effective ( $p_{eff}$ ) par rapport à la dimension nominale ( $p$ ), indiquant quelle part de l'espace de résidu est utilisée.
Sonde contrôlée de l'Étape 2 : Un seuil fixe au 99ème percentile de l'énergie normale d'entraînement ( $F1@p99$ ) est utilisé uniquement comme une sonde pour voir quelle évidence une règle partagée peut extraire, et non comme une métrique de classement primaire.

3. Configuration expérimentale

Le cadre a été appliqué uniformément à cinq détecteurs à travers trois benchmarks CPS sans réglage par détecteur :

Détecteurs : GDN, FuSAGNet, TranAD (prédicteurs de graphes/transformers), NSIBF (observateur), et GeCo (invariants algébriques).
Benchmarks : SWaT (traitement de l'eau), WADI (plus large distribution d'eau), et HAI (puissance/chaudière).
Protocole : Les détecteurs ont été entraînés sur des données sans attaque et évalués sur des traces d'attaques étiquetées. L'évaluation a utilisé un protocole fixe pour l'estimation de la référence normale (covariance de type shrinkage de Ledoit–Wolf) et le calcul des métriques d'énergie.

4. Résultats clés et conclusions

L'étude répond à quatre questions de recherche diagnostiques (RQ) concernant la nature des échecs de détection :

RQ1 : L'évidence de l'attaque est-elle présente avant la règle d'alarme ?

Résultat : Des valeurs d'AUC-ROC similaires peuvent masquer des différences d'un ordre de grandeur dans la performance de l'alarme. Par exemple, sur SWaT, TranAD avait un AUC-ROC de 0,750 mais un $F1@p99$ de seulement 0,025, tandis que d'autres détecteurs avec un AUC-ROC similaire atteignaient des F1 bien plus élevés. Cela indique que la représentation du résidu contenait une information de classement, mais que la séparation était faible dans la région des faibles taux de fausses alarmes.

RQ2 : La référence du résidu normal est-elle stable ?

Résultat : La dérive entraînement-test est une source majeure d'échec. Les détecteurs présentant des classements d'attaque similaires présentaient des valeurs de dérive très différentes. Par exemple, sur SWaT, GDN montrait une dérive massive ( $1,9 \times 10^5$ ), tandis que NSIBF montrait une dérive minimale ( $6,2 \times 10^2$ ). Une dérive élevée réduit la marge disponible pour les seuils fixes, expliquant les alarmes manquées même lorsque le modèle est "correct".

RQ3 : L'évidence est-elle exprimée dans l'espace de résidu ou est-elle diluée ?

Résultat : Le choix de l'espace de résidu dicte quelles attaques sont visibles. Sur WADI, les attaques localisées ont été détectées avec succès par NSIBF (qui score un sous-espace d'innovation de capteur) mais manquées par les détecteurs d'observations complètes. La fusion des évidences sur tous les canaux a dilué le signal localisé. Cela explique pourquoi les classements changent selon les bancs d'essai : NSIBF arrivait premier sur WADI mais dernier sur HAI, tandis que TranAD arrivait premier sur HAI mais dernier sur SWaT.

RQ4 : La règle de l'Étape 2 extrait-elle l'évidence disponible ?

Résultat : Une sonde contrôlée de l'Étape 2 a révélé que des échecs d'alarme similaires peuvent provenir de causes différentes. Certains échecs étaient dus à une faible évidence de résidu (l'attaque déplace à peine le résidu), d'autres à une évidence dominée par la dérive (énergie d'attaque < dérive), et d'autres à des échecs d'extraction de seuil (l'évidence existe mais le seuil fixe la manque).

5. Signification et contributions

L'article revendique quatre contributions principales :

Objet d'évaluation indépendant de la règle de décision : Il formalise l'évaluation de la représentation du résidu de l'Étape 1 séparément de la règle d'alarme, permettant aux chercheurs de demander si l'évidence de l'attaque est présente avant tout seuillage ou lissage appliqué.
Échelle d'énergie d'information du résidu : Il introduit une métrique d'énergie de résidu normalisée avec une interprétation exacte de la divergence de KL, fournissant une échelle commune pour comparer des détecteurs hétérogènes (graphes, transformers, observateurs, invariants) à travers différents espaces de résidus.
Diagnostics d'attribution de défaillance : Il fournit une suite de métriques pour distinguer les modes de défaillance spécifiques : faiblesse de l'évidence, instabilité de la référence, dilution dimensionnelle et échec de calibrage de l'Étape 2. Cela transforme l'évaluation au-delà d'un simple chiffre de leaderboard en un outil de diagnostic.
Étude comparative uniforme : Il démontre que les classements des détecteurs ne se transfèrent pas de manière fiable d'un banc d'essai à l'autre et que des échements d'alarme similaires ont souvent des causes sous-jacentes distinctes (ex: redéfinition de la représentation vs stabilisation de la référence).

Conclusion :
Les auteurs soutiennent que l'échec de détection dans les CPS est multiforme. En séparant la représentation du résidu de la règle de décision, le cadre proposé révèle que l'« échec de détection » n'est pas un concept monolithique. Il peut provenir de l'incapacité du détecteur à voir l'attaque, de l'instabilité de la ligne de base normale, de la dilution des signaux dans des espaces de grande dimension, ou de l'extraction sous-optimale de l'évidence par la politique d'alarme. Cette approche permet des améliorations plus ciblées, telles que la redéfinition des représentations pour les attaques localisées ou la stabilisation des références contre la dérive, plutôt que le simple ajustement des seuils.