Sintesi Tecnica: Valutazione dei Rilevatori di Anomalie CPS in modo Indipendente dalla Regola Decisionale

1. Definizione del Problema

I sistemi cyber-fisici (CPS) si affidano ai rilevatori di anomalie come ultima linea di difesa contro la manipolazione avversaria della telemetria di sensori e attuatori. Tuttavia, la valutazione standard di questi rilevatori è fallace perché confonde due componenti distinte:

1. Fase 1 (Rappresentazione): La mappatura delle osservazioni in un segnale residuo (ad es., errori di predizione, errori di ricostruzione o violazioni di invarianza) che rappresenta il divario tra il comportamento osservato e quello atteso normale.
2. Fase 2 (Regola Decisionale): La mappatura dei residui in allarmi binari tramite soglie, smoothing o test sequenziali (ad es., CUSUM).

Gli attuali benchmark riportano tipicamente precisione, richiamo (recall) e punteggi F1 a un singolo punto operativo. Queste metriche mescolano la qualità della rappresentazione del residuo con la calibrazione della regola decisionale. Di conseguenza, un basso punteggio F1 non può distinguere se un attacco mancato sia il risultato di:

• Debole evidenza residua (l'attacco è invisibile al modello).
• Drift (deriva) tra addestramento e test (la distribuzione normale è cambiata tra l'addestramento e il test).
• Diluizione dimensionale (gli attacchi localizzati sono mascherati quando si aggrega l'evidenza attraverso tutti i canali).
• Scarsa calibrazione della soglia (l'evidenza esiste ma la regola di allarme non riesce a estrarla).

Questo problema è esacerbato dal confronto tra rilevatori eterogenei (ad es., predittori a grafo rispetto a controllori di invarianza) i cui residui vivono in spazi diversi e sono accoppiati con regole decisionali calibrate indipendentemente.

2. Metodologia

Gli autori propongono un framework di valutazione privo di regole decisionali che tratta un rilevatore di anomalie CPS come una pipeline a due stadi e valuta direttamente la Fase 1.

La Decomposizione in Due Fasi

• Fase 1 ($\phi$): Mappa una finestra di osservazioni in un vettore residuo $r_t$.
• Fase 2 ($\pi$): Mappa i residui in allarmi $a_t$.
  Il framework isola $\phi$ per la valutazione prima che venga applicata qualsiasi regola di allarme.

Il Framework dell'Energia dell'Informazione Residua

La metrica centrale è l'Energia Residua Normalizzata ($e_t$), definita come la distanza di Mahalanobis al quadrato di un residuo dalla referenza di addestramento-normale, scalata per un mezzo:
$$e_t = \frac{1}{2} (r_t - \mu_0)^\top S_0^{-1} (r_t - \mu_0)$$
dove $\mu_0$ e $S_0$ sono la media e la covarianza della distribuzione dei residui stimata dai dati di addestramento privi di attacchi.

Fondamento Teorico:
Sotto una visione gaussiana con accoppiamento di momenti, l'aspettativa di questa energia ha una connessione esatta con la divergenza di Kullback–Leibler (KL) tra la distribuzione di test e la referenza di addestramento-normale. Nello specifico:
$$E[e_t | P] - \frac{p}{2} = D_{KL}(P_G || P_0) + \frac{1}{2} \log \frac{\det S_P}{\det S_0}$$
Questa identità permette alla scala dell'energia di misurare simultaneamente:

1. Separazione dell'Attacco: Quanto bene la distribuzione dell'attacco si separa dal normale.
2. Drift Addestramento-Test: Quanto la distribuzione normale si è spostata.
3. Struttura dello Spazio Residuo: La compattezza della rappresentazione.

Metriche di Valutazione

Il framework deriva diverse metriche diagnostiche dallo stream di energia:

• Metriche di Ranking: ROC-AUC e pAUC@1% (focalizzandosi su bassi tassi di falsi allarmi) per misurare la separazione a livello di punto.
• Energia della Finestra di Attacco: Stime KL integrate ($D_{FULL}$) e la probabilità ($P_{FULL}$) che una finestra di attacco domini una finestra normale di durata equivalente.
• Diagnostica del Drift: Drift addestramento-test ($D_{drift}$) ed evidenza corretta per il drift ($D_{eff}$) per distinguere i segnali di attacco dagli spostamenti della distribuzione normale.
• Compattezza: Il rapporto tra dimensione effettiva ($p_{eff}$) e dimensione nominale ($p$), indicando quanto viene utilizzato lo spazio residuo.
• Sonda Controllata Fase-2: Una soglia fissa al 99° percentile dell'energia di addestramento-normale ($F1@p99$) è utilizzata solo come sonda per vedere quanta evidenza una regola condivisa può estrarre, non come metrica di ranking primaria.

3. Setup Sperimentale

Il framework è stato applicato uniformemente a cinque rilevatori attraverso tre benchmark CPS senza tuning per singolo rilevatore:

• Rilevatori: GDN, FuSAGNet, TranAD (predittori grafici/transformer), NSIBF (basato su osservatore) e GeCo (invarianti algebriche).
• Benchmark: SWaT (trattamento acque), WADI (distribuzione acque più grande) e HAI (potenza/caldaia).
• Protocollo: I rilevatori sono stati addestrati su dati privi di attacchi e valutati su tracce di attacco etichettate. La valutazione ha utilizzato un protocollo fisso per stimare la referenza normale (covarianza con shrinkage di Ledoit–Wolf) e calcolare le metriche di energia.

4. Risultati Chiave e Scoperte

Lo studio risponde a quattro domande di ricerca (RQ) riguardanti la natura dei fallimenti di rilevamento:

RQ1: L'evidenza dell'attacco è presente prima della regola di allarme?

• Risultato: Valori di ROC-AUC simili possono nascondere differenze di ordini di grandezza nelle prestazioni dell'allarme. Ad esempio, su SWaT, TranAD aveva un ROC-AUC di 0.750 ma un $F1@p99$ di soli 0.025, mentre altri rilevatori con ROC-AUC simile raggiungevano F1 molto più alti. Ciò indica che la rappresentazione del residuo conteneva informazioni di ranking, ma la separazione era debole nella regione dei bassi falsi allarmi.

RQ2: La referenza del residuo normale è stabile?

• Risultato: Il drift addestramento-test è una fonte primaria di fallimento. Rilevatori con simili ranking di attacco esibivano valori di drift vastamente differenti. Ad esempio, su SWaT, GDN mostrava un drift massiccio ($1.9 \times 10^5$), mentre NSIBF mostrava un drift minimo ($6.2 \times 10^2$). Un alto drift riduce il margine disponibile per le soglie fisse, spiegando gli allarmi mancati anche quando il modello è "corretto".

RQ3: L'evidenza è espressa nello spazio residuo o è diluita?

• Risultato: La scelta dello spazio residuo determina quali attacchi sono visibili. Su WADI, gli attacchi localizzati sono stati rilevati con successo da NSIBF (che valuta un sottospazio di innovazione del sensore), ma mancati da rilevatori a osservazione completa. L'aggregazione dell'evidenza su tutti i canali ha diluito il segnale localizzato. Questo spiega perché i ranking cambiano tra i testbed: NSIBF è arrivato primo su WADI ma ultimo su HAI, mentre TranAD è arrivato primo su HAI ma ultimo su SWaT.

RQ4: La regola di Fase-2 estrae l'evidenza disponibile?

• Risultato: Una sonda controllata di Fase-2 ha rivelato che simili allarmi mancati possono derivare da cause diverse. Alcuni fallimenti erano dovuti a debole evidenza residua (l'attacco sposta appena il residuo), altri a evidenza dominata dal drift (energia dell'attacco < drift), altri ancora a fallimenti di estrazione della soglia (l'evidenza esiste ma la soglia fissa la manca).

5. Significatività e Contributi

L'articolo rivendica quattro contributi principali:

1. Oggetto di Valutazione Indipendente dalla Regola Decisionale: Formalizza la valutazione della rappresentazione residua della Fase 1 separatamente dalla regola di allarme, permettendo ai ricercatori di chiedere se l'evidenza dell'attacco sia presente prima di qualsiasi sogliatura o smoothing viene applicato.
2. Scala dell'Energia dell'Informazione Residua: Introduce una metrica di energia residua normalizzata con un'interpretazione esatta della divergenza KL, fornendo una scala comune per confrontare rilevatori eterogenei (grafici, transformer, osservatori, invarianti) attraverso diversi spazi residui.
3. Diagnostica di Attribuzione del Fallimento: Fornisce un insieme di metriche per distinguere tra modalità di fallimento specifiche: debole evidenza, instabilità della referenza, diluizione dimensionale e fallimento di calibrazione della Fase-2. Questo sposta la valutazione oltre un singolo numero in classifica verso uno strumento diagnostico.
4. Studio Cross-Detector Uniforme: Dimostra che i ranking dei rilevatori non si trasferiscono in modo affidabile tra i testbed e che fallimenti simili a livello di allarme spesso hanno cause sottostanti distinte (es. riprogettazione della rappresentazione vs stabilizzazione della referenza).

Conclusione:
Gli autori sostengono che il fallimento del rilevamento nei CPS sia multifattoriale. Separando la rappresentazione del residuo dalla regola decisionale, il framework proposto rivela che il "fallimento del rilevamento" non è un concetto monolitico. Può derivare dall'incapacità del rilevatore di vedere l'attacco, dall'instabilità della baseline normale, dalla diluizione dei segnali in spazi ad alta dimensionalità o dall'estrazione subottimale dell'evidenza da parte della policy di allarme. Questo approccio consente miglioramenti più mirati, come la riprogettazione delle rappresentazioni per attacchi localizzati o la stabilizzazione delle referenze contro il drift, piuttosto che il semplice tuning delle soglie.