Résumé technique : DPR-GM pour la détection d'anomalies dans les systèmes cyber-physiques

1. Énoncé du problème

La détection d'anomalies dans les séries temporelles de capteurs multivariés est cruciale pour la surveillance des systèmes cyber-physiques (CPS), tels que les usines de traitement de l'eau et les systèmes de contrôle de processus chimiques. Dans ces environnements, même de subtiles déviations par rapport au comportement normal peuvent signaler des perturbations de processus, des incidents de sécurité ou des attaques. Cependant, le déploiement pratique se heurte à deux défis majeurs :

1. Rareté des données : Les exemples de défaillances étiquetés sont rares, ce qui nécessite des approches non supervisées capables d'apprendre la dynamique normale à partir de données opérationnelles propres.
2. Topologies de graphes peu fiables : Les approches récentes basées sur les graphes utilisant des réseaux de neurones sur graphes (GNN) peinent souvent dans les systèmes physiques à petite échelle avec des données normales limitées. Les méthodes existantes qui construisent des graphes de capteurs via un apprentissage de bout en bout ou un seuillage de corrélation empirique ont tendance à capturer des corrélations spécieuses et à produire des topologies instables. Ces modèles ne parviennent pas à distinguer les dépendances physiquement significatives des co-mouvements transitoires et non causaux, ce qui conduit à des graphes bruités et une localisation d'anomalies ambiguë.

2. Méthodologie : DPR-GM

Les auteurs proposent DPR-GM (Domain-Prior-Regularized Graph Modeling), un cadre de prévision qui intègre les connaissances de conception du système dans la construction du graphe. Le principe central est que la connaissance métier détermine quels liens peuvent exister, tandis que les statistiques des données déterminent la force de ces liens. Le cadre se compose de trois composantes principales :

2.1. Construction de graphe régularisée par un a priori de domaine

Au lieu d'apprendre la structure du graphe à partir des données, DPR-GM construit un a priori structurel fixe dérivé de la documentation du système.

• Extraction par LLM : Un grand modèle de langage (spécifiquement Claude Sonnet) est sollicité avec des documents de conception du système, des métadonnées de capteurs et des descriptions de sous-systèmes pour extraire les couplages physiques dirigés entre les paires de capteurs. Le résultat est une liste structurée de dépendances physiquement autorisées ($i \to j$).
• Matrice d'adjacence binaire de domaine ($D$) : Ces dépendances extraites forment une matrice binaire $D \in \{0, 1\}^{N \times N}$, où $D_{ij}=1$ si un couplage dirigé est spécifié dans la documentation. Toutes les autres entrées sont mises à zéro, agissant comme une porte structurelle qui supprime tout lien non sanctionné par la connaissance métier.
• Modulation par corrélation : Bien que $D$ dicte la topologie, les poids des liens sont modulés par des preuves empiriques. Les auteurs calculent la matrice de corrélation de Pearson $\rho$ à partir des données d'entraînement normales. La matrice d'adjacence finale $A$ est définie par :
  $$A_{ij} = D_{ij} \cdot (0.5 + 0.5 \rho_{ij})$$
  Cette formulation garantit que :
  • Les liens non présents dans $D$ reçoivent un poids de 0.
  • Les liens présents dans $D$ avec une corrélation positive reçoivent des poids $>0.5$.
  • Les liens présents dans $D$ avec une corrélation négative reçoivent des poids $<0.5$.
  • Les liens présents dans $D$ avec une corrélation nulle conservent une base neutre de 0,5, empêchant les liens physiquement motivés d'être réduits au silence en raison de statistiques d'entraînement insuffisantes.

2.2. Poids de fiabilité des nœuds basés sur le CV

Reconnaissant que les capteurs présentent une variabilité hétérogène pendant le fonctionnement normal, le cadre attribue des poids de fiabilité aux nœuds basés sur le coefficient de variation (CV).

• Les capteurs présentant une faible variabilité temporelle (faible CV) sont considérés comme des points de référence plus fiables.
• Un score de fiabilité $r_i$ est calculé comme l'inverse du CV, et normalisé pour former des poids de nœuds $w_i$.
• Ces poids sont utilisés lors du calcul du score d'anomalie pour donner une plus grande influence aux capteurs stables, car les déviations dans leurs lectures sont plus susceptibles d'indiquer de véritables défaillances plutôt que du bruit.

2.3. Architecture du modèle et scoring

• Encodage temporel : Un GRU partageant les poids encode les canaux de capteurs normalisés de manière indépendante. Pour capturer la dynamique temporelle au-delà de l'état final, le modèle agrège les états cachés via l'état final, le pooling moyen et le pooling max, suivis d'une projection linéaire.
• Identité du capteur : Des plongements (embeddings) de capteurs apprenables sont concaténés avec les représentations temporelles pour distinguer les capteurs physiques.
• Passage de messages sur graphe : Le modèle propage l'information sur le graphe à priori de domaine fixe $A$. Les auteurs évaluent divers backbones (GCN, GraphSAGE, GAT, Graph Transformer), trouvant que GraphSAGE (qui consomme explicitement les poids des liens) est le plus performant.
• Prévision et scoring : Le modèle prédit les étapes temporelles futures et minimise l'erreur quadratique moyenne (MSE). Les scores d'anomalie sont calculés en agrégeant les erreurs de prévision par capteur, normalisées via l'écart interquartile (IQR), et pondérées par les scores de fiabilité basés sur le CV. Le score de fenêtre final combine un terme de moyenne (pour les anomalies distribuées) et un terme de maximum (pour les déviations localisées de forte amplitude).

3. Contributions clés

1. Cadre DPR-GM : Une approche novatrice qui filtre la topologie du graphe de capteurs par une connaissance métier et module les poids des liens via la corrélation de Pearson, en incorporant une pondération de fiabilité basée sur le CV.
2. Extraction d'a priori par LLM : Démonstration que les a priori de domaine peuvent être extraits automatiquement des documentations système à l'aide de LLM, élargissant l'applicabilité aux CPS sans nécessiter d'annotation manuelle d'expert.
3. Performance sur des protocoles stricts : Démonstration que DPR-GM surpasse les méthodes basées sur les graphes, statistiques et l'apprentissage profond sur le benchmark SKAB sous un protocole d'évaluation point par point strict, particulièrement sur les métriques de classement sans seuil (AUROC, AUPRC).

4. Résultats expérimentaux

Les auteurs ont évalué DPR-GM sur le SKAB (Skoltech Anomaly Benchmark), un jeu de données de séries temporelles multivariées provenant d'un banc d'essai de pompe à eau contenant 34 scénarios de défaillance répartis sur trois segments.

• Comparaison avec les méthodes basées sur les graphes : DPR-GM a nettement surperformé GDN et GReLeN, qui se sont effondrés (F1 proche de zéro) en raison de l'instabilité de l'apprentissage des graphes à partir de données limitées. Bien que MTAD-GAT ait obtenu un rappel élevé, il a souffert de faibles métriques sans seuil (AUROC/AUPRC), indiquant un manque de discrimination des scores. DPR-GM a obtenu un AUROC supérieur (0,7256 contre 0,5794 pour MTAD-GAT) et un AUPRC supérieur (0,7165 contre 0,4566).
• Comparaison avec les bases non-graphes : DPR-GM a surpassé les méthodes statistiques (ex: T2+Q, MSET) et les modèles d'apprentissage profond (ex: Conv-AE, LSTM-VAE, MSCRED) sur tous les indicateurs, sauf le rappel. Notamment, il a amélioré le MCC de +0,050 par rapport à Vanilla AE, suggérant des frontières de décision mieux calibrées plutôt qu'une exploitation du déséquilibre des classes.
• Études d'ablation :
  • Le retrait de Edge-W (modulation de corrélation signée) a dégradé les performances, confirmant que le co-mouvement empirique apporte une valeur ajoutée même avec une topologie fixe.
  • Le retrait de Node-W (fiabilité basée sur le CV) a également dégradé les performances, confirmant l'utilité de la pondération de stabilité des capteurs.
  • Analyse du backbone : GraphSAGE (SAGE) a produit les performances les plus stables et efficaces, surpassant GCN, GAT et Graph Transformer, probablement en raison de sa consommation explicite des poids des liens et de la séparation des transformations de soi et du voisinage.

5. Signification et affirmations

L'article affirme que les a priori de graphes structurés par le domaine sont une alternative pratique aux topologies entièrement apprises dans les environnements CPS à données rares. En ancrant le graphe dans le couplage physique connu plutôt qu'en le traitant comme un paramètre apprenable, DPR-GM évite les corrélations spécieuses et l'instabilité qui affectent l'apprentissage de graphes piloté par les données lorsque les données de fonctionnement normal sont limitées.

Les auteurs soulignent que leur approche :

• Ne nécessite aucun paramètre apprenable pour la structure du graphe ou les poids des nœuds, réduisant ainsi le risque de surapprentissage.
• Fournit des scores d'anomalie stables et discriminants, comme en témoignent l'AUROC et l'AUPRC élevés, plutôt qu'un simple rappel biaisé.
• Offre un pipeline évolutif où les LLM peuvent automatiser l'extraction des a priori structurels à partir de la documentation, rendant la méthode applicable aux systèmes dépourvus d'annotation manuelle d'expert.

Le travail conclut que les a priori de domaine explicites fournissent une base robuste pour la détection d'anomalies, suggérant une direction plus large pour l'intégration d'a priori symboliques ou causaux dans la modélisation de séries temporelles scientifiques à travers divers domaines.