Sintesi Tecnica: DPR-GM per l'Anomalia Detection nei Sistemi Ciber-Fisici

1. Definizione del Problema

L'anomaly detection in serie temporali di sensori multivariate è critica per il monitoraggio dei Sistemi Ciber-Fisici (CPS), come gli impianti di trattamento delle acque e i sistemi di controllo dei processi chimici. In questi ambienti, anche deviazioni sottili dal comportamento normale possono segnalare interruzioni del processo, incidenti alla sicurezza o attacchi. Tuttavia, l'implementazione pratica affronta due sfide significative:

1. Scarsità di Dati: Gli esempi di guasti etichettati sono rari, rendendo necessari approcci non supervisionati che apprendano la dinamica normale da dati operativi puliti.
2. Topologie di Grafo inaffidabili: Recenti approcci basati su grafi che utilizzano le Graph Neural Networks (GNN) spesso faticano in sistemi fisici su piccola scala con dati normali limitati. I metodi esistenti che costruiscono grafi di sensori tramite apprendimento end-to-end o sogliatura della correlazione empirica tendono a catturare correlazioni spurie e a produrre topologie instabili. Questi modelli non riescono a distinguere tra dipendenze fisicamente significative e co-movimenti transitori non causali, portando a grafi rumorosi e localizzazione delle anomalie ambigua.

2. Metodologia: DPR-GM

Gli autori propongono DPR-GM (Domain-Prior-Regularized Graph Modeling), un framework basato sulla previsione che integra la conoscenza del design di sistema nella costruzione del grafo. Il principio fondamentale è che la conoscenza del dominio determina quali archi possono esistere, mentre le statistiche dei dati determinano quanto forte siano tali archi. Il framework consiste in tre componenti primari:

2.1. Costruzione del Grafo Regolarizzata dal Prior del Dominio

Invece di apprendere la struttura del grafo dai dati, DPR-GM costruisce un prior strutturale fisso derivato dalla documentazione del sistema.

• Estrazione basata su LLM: Un Large Language Model (specificamente Claude Sonnet) viene istruito con documenti di progettazione del sistema, metadati dei sensori e descrizioni dei sottosistemi per estrarre accoppiamenti fisici diretti tra coppie di sensori. L'output è una lista strutturata di dipendenze fisicamente sanzionate ($i \to j$).
• Matrice di Adiacenza Binaria del Dominio ($D$): Queste dipendenze estratte formano una matrice binaria $D \in \{0, 1\}^{N \times N}$, dove $D_{ij}=1$ se una dipendenza diretta è specificata nella documentazione. Tutte le altre voci sono impostate a zero, agendo come un gate strutturale che sopprime qualsiasi arco non sanzionato dalla conoscenza del dominio.
• Modulazione della Correlazione: Mentre $D$ detta la topologia, i pesi degli archi sono modulati dall'evidenza empirica. Gli autori calcolano la matrice di correlazione di Pearson $\rho$ dai dati di addestramento normali. La matrice di adiacenza finale $A$ è definita come:
  $$A_{ij} = D_{ij} \cdot (0.5 + 0.5 \rho_{ij})$$
  Questa formulazione assicura che:
  • Gli archi non presenti in $D$ ricevano un peso di 0.
  • Gli archi in $D$ con correlazione positiva ricevano pesi $>0.5$.
  • Gli archi in $D$ con correlazione negativa ricevano pesi $<0.5$.
  • Gli archi in $D$ con correlazione nulla mantengano un baseline neutro di 0.5, evitando che archi fisicamente motivati vengano silenziati a causa di statistiche di addestramento insufficienti.

2.2. Pesi di Affidabilità dei Nodi basati su CV

Riconoscendo che i sensori esibiscono una variabilità eterogenea durante l'operazione normale, il framework assegna pesi di affidabilità ai nodi basati sul Coefficiente di Variazione (CV).

• I sensori con bassa variabilità temporale (basso CV) sono considerati punti di riferimento più affidabili.
• Un punteggio di affidabilità $r_i$ è calcolato come l'inverso del CV, e normalizzato per formare i pesi dei nodi $w_i$.
• Questi pesi vengono utilizzati durante lo scoring delle anomalie per dare maggiore influenza ai sensori stabili, poiché le loro deviazioni sono più probabilmente indicatori di guasti reali piuttosto che di rumore.

2.3. Architettura del Modello e Scoring

• Codifica Temporale: Una GRU con pesi condivisi codifica i canali dei sensori normalizzati indipendentemente. Per catturare la dinamica temporale oltre lo stato finale, il modello aggrega gli stati nascosti tramite stato finale, mean pooling e max pooling, seguiti da una proiezione lineare.
• Identità del Sensore: Embedding apprendibili dei sensori vengono concatenati con le rappresentanze temporali per distinguere i sensori fisici.
• Passaggio di Messaggi sul Grafo: Il modello propaga l'informazione su un grafo a prior di dominio fisso $A$. Gli autori valutano vari backbone (GCN, GraphSAGE, GAT, Graph Transformer), trovando che GraphSAGE (che consuma esplicitamente i pesi degli archi) offre le prestazioni migliori.
• Previsione e Scoring: Il modello predice i passi temporali futuri e minimizza l'Errore Quadratico Medio (MSE). Gli score di anomalia sono calcolati aggregando gli errori di previsione per sensore, normalizzati tramite l'Interquartile Range (IQR), e pesati dai punteggi di affidabilità basati sul CV. Il punteggio finale della finestra combina un termine medio (per anomalie distribuite) e un termine max (per deviazioni localizzate ad alta ampiezza).

3. Contributi Chiave

1. Framework DPR-GM: Un approccio innovativo che utilizza la conoscenza del dominio per filtrare la topologia del grafo dei sensori e modula i pesi degli archi tramite la correlazione di Pearson, incorporando la ponderazione dell'affidabilità basata sul CV per lo scoring delle anomalie.
2. Estrazione di Prior tramite LLM: Dimostrare che i prior del dominio possono essere estratti automaticamente dalla documentazione del sistema utilizzando gli LLM, ampliando l'applicabilità ai CPS senza richiedere l'annotazione manuale di esperti.
3. Performance su Protocolli Rigidi: Dimostrare che DPR-GM supera i metodi basati su grafi, statistici e i modelli di deep learning sul benchmark SKAB sotto un protocollo di valutazione punto-punto rigoroso, particolarmente sulle metriche di ranking senza soglia (AUROC, AUPRC).

4. Risultati Sperimentali

Gli autori hanno valutato DPR-GM sul SKAB (Skoltech Anomaly Benchmark), un dataset di serie temporali multivariate proveniente da un banco di prova di una pompa d'acqua contenente 34 scenari di guasto su tre split.

• Confronto con Metodi Basati su Grafi: DPR-GM ha superato significativamente GDN e GReLeN, che sono collassati (F1 vicino allo zero) a causa dell'instabilità nell'apprendimento dei grafi da dati limitati. Sebbene MTAD-GAT abbia ottenuto un alto recall, ha sofferto di scarse metriche senza soglia (AUROC/AUPRC), indicando una mancanza di discriminazione dello score. DPR-GM ha ottenuto un AUROC superiore (0.7256 vs 0.5794 per MTAD-GAT) e un AUPRC superiore (0.7165 vs 0.4566).
• Confronto con Baselines Non-Grafiche: DPR-GM ha superato i metodi statistici (es. T2+Q, MSET) e i modelli di deep learning (es. Conv-AE, LSTM-VAE, MSCRED) in tutte le metriche tranne che nel recall. Notevolmente, ha migliorato l'MCC di +0.050 rispetto a Vanilla AE, suggerendo confini decisionali meglio calibrati piuttosto che l'exploitation del disequilibrio delle classi.
• Studi di Ablazione:
  • Rimuovendo Edge-W (modulazione della correlazione firmata), le prestazioni sono degradate, confermando che il co-movimento empirico aggiunge valore anche con una topologia fissa.
  • Rimuovendo Node-W (affidabilità basata su CV), le prestazioni sono degradate, confermando l'utilità della ponderazione della stabilità del sensore.
  • Analisi del Backbone: GraphSAGE (SAGE) ha prodotto le prestazioni più stabili ed efficaci, superando GCN, GAT e Graph Transformer, probabilmente a causa del suo consumo esplicito dei pesi degli archi e della separazione delle trasformazioni di sé e dei vicini.

5. Significato e Rivendicazioni

Il paper sostiene che i prior di dominio strutturati sono un'alternativa pratica alle topologie completamente apprese negli ambienti CPS con scarsità di dati. Ancorando il grafo al coupling fisico noto invece di trattarlo come un parametro apprendibile, DPR-GM evita le correlazioni spurie e l'instabilità che affliggono l'apprendimento del grafo guidato dai dati quando i dati di operazione normale sono limitati.

Gli autori sottolineano che il loro approccio:

• Non richiede parametri apprendibili per la struttura del grafo o i pesi dei nodi, riducendo il rischio di overfitting.
• Fornisce score di anomalia stabili e discriminanti, come dimostrato dall'alto AUROC e AUPRC, piuttosto che un recall-biased detection.
• Offre una pipeline scalabile in cui gli LLM possono automatizzare l'estrazione dei prior strutturali dalla documentazione, rendendo il metodo applicabile a sistemi privi di annotazione manuale da parte di esperti.

Il lavoro conclude che i prior di dominio espliciti forniscono una base robusta per l'anomaly detection, suggerendo una direzione più ampia per l'incorporazione di prior simbolici o causali nella modellazione di serie temporali scientifiche in vari domini.