Scalable Temporal Anomaly Causality Discovery in Large Systems: Achieving Computational Efficiency with Binary Anomaly Flag Data

Sintesi Tecnica: Scoperta della Causalità delle Anomalie Temporali Scalabile in Grandi Sistemi

Definizione del Problema
Nei sistemi di monitoraggio su larga scala, sia industriali che scientifici, come l'esperimento Compact Muon Solenoid (CMS) al CERN, la diagnosi dei guasti richiede l'identificazione delle cause radice delle anomalie. Sebbene i sistemi di rilevamento delle anomalie (AD - Anomaly Detection) siano efficaci nel segnalare i guasti, determinare le relazioni causali tra le variabili attraverso molteplici sottosistemi è una sfida complessa. I metodi esistenti di apprendimento di Modelli Grafici Causali (GCM), in particolare quelli progettati per serie temporali come PCMCI (Peter-Clark Momentary Conditional Independence), affrontano carichi computazionali significativi quando applicati a dataset di grandi dimensioni. Inoltre, i moderni sistemi di monitoraggio generano spesso dati sotto forma di flag di anomalia binari (0 per normale, 1 per allarme). Questi dataset binari presentano sfide uniche:

1. Scarsità dei Dati e Multicollinearità: Le anomalie sono eventi rari, il che porta a lunghi periodi di stato uniforme (zeri). Questa scarsità causa multicollinearità, dove le variabili appaiono altamente correlate semplicemente a causa dei lunghi regimi uniformi piuttosto che per veri legami causali, degradando l'accuratezza dei test di indipendenza condizionata (CI).
2. Intrattabilità Computazionale: Il costo computazionale per apprendere grafi causali cresce rapidamente con il numero di variabili e la dimensione del campione, rendendo l'applicazione in tempo reale impraticabile per grandi sistemi.
3. Caratteristiche dei Dati Binari: I test CI standard spesso non riescono a distinguere la significatività della transizione da 0 a 1 (insorgenza dell'anomalia) dall'associazione degli zeri, portando a inferenze causali spurie.

Metodologia: AnomalyCD
Gli autori propongono AnomalyCD, un framework scalabile progettato per generare GCM temporali da dati di flag di anomalia binari. L'approccio integra un modulo di rilevamento delle anomalie online con una pipeline di scoperta causale specializzata che affronta le caratteristiche specifiche dei dati di flag binari.

1. Rilevamento delle Anomalie Online (AD):

   • Il sistema impiega un ensemble di algoritmi di AD non supervisionati per generare flag di anomalia binari per le variabili non coperte da modelli pre-addestrati.
   • Decompone le serie temporali in componenti di trend, stagionalità e residui.
   • Tre rilevatori specifici sono combinati tramite unione bitwise:
     • Transiente Temporale ($\theta$): Utilizza uno z-score scorrevole sui residui per rilevare outlier improvvisi.
     • Trend Temporale ($\iota$): Utilizza un algoritmo di somma cumulativa sulla componente di trend per rilevare derive graduali.
     • Spettrale ($\phi$): Utilizza la rilevazione di salienza Spectral Residual (SR) per identificare cambiamenti di frequenza o di velocità dei dati.

2. Scoperta Causale Sensibile alle Anomalie (Anomaly-Aware Causal Discovery):
   Il nucleo di AnomalyCD modifica l'algoritmo PCMCI standard attraverso quattro strategie chiave:

   • Test CI Sensibile alle Anomalie (ANAC): Invece dei test standard, gli autori propongono un test che si concentra sulle associazioni positive corrispondenti alle occorrenze di anomalie (transizioni 0 $\to$ 1). Esso utilizza la correlazione parziale con la correlazione di Pearson positiva sui residui, escludendo esplicitamente i legami con pesi di correlazione non positivi per filtrare le associazioni spurie guidate dagli stati uniformi di zero.
   • Gestione dei Dati Sparsi (SDH): Per ridurre la dimensione del campione $n$ e il carico computazionale, l'algoritmo comprime le lunghe regioni di stato di anomalia uniforme. Mantiene i primi $l_m$ indici delle regioni uniformi per preservare la causalità del ritardo temporale, scartando al contempo i campioni ridondanti, riducendo significativamente la dimensione del dataset senza perdere informazioni sulle transizioni.
   • Gestione dei Legami Sparsi (SLH): Prima di eseguire la ricerca causale completa, l'algoritmo comprime lo spazio di ricerca iniziale (assunzione del legame a priori). Esclude i ritardi auto-referenziali (self-lags) e filtra le coppie di variabili che non mostrano una co-occorrenza temporale di flag di anomalia sopra una certa soglia, riducendo il numero di test condizionali richiesti.
   • Potatura e Regolazione degli Edge: Un passaggio di post-processing rimuove gli edge spuri (ritardi multipli, bidirezionali o ciclici) generati dal PCMCI. Mantiene il legame con il peso più alto o il ritardo temporale più precoce. Per gli edge bidirezionali al tempo-ritardo $t=0$, viene impiegato un test chi-quadrato per determinare la direzionalità laddove i test basati sulla correlazione falliscono.

3. Modellazione di Reti Bayesiane (BN):
   Il DAG temporale risultante viene riformulato in una Rete Bayesiana per abilitare l'inferenza di causalità probabilistica. La serie temporale viene "srotolata" per creare nodi per specifici ritardi temporali, permettendo alla BN di interrogare le probabilità condizionate delle occorrenze di anomalie date le evidenze osservate su altri sensori.

Contributi Chiave

• Framework AnomalyCD: Un approccio innovativo specificamente adattato per apprendere grafi causali da flag di anomalia temporali binari, affrontando i limiti dei metodi esistenti nel gestire la scarsità dei dati binari e le transizioni.
• Algoritmi di Compressione: L'introduzione degli algoritmi di Gestione dei Dati Sparsi (SDH) e Gestione dei Legami Sparsi (SLH) che riducono drasticamente la complessità computazionale dell'apprendimento GCM comprimendo la dimensione dei dati e lo spazio di ricerca dei potenziali edge.
• Testing Sensibile alle Anomalie: Lo sviluppo del test ANAC, che migliora l'accuratezza concentrandosi sulla significatività causale delle transizioni di anomalia piuttosto che sulle generali associazioni statistiche.
• Validazione Empirica: Il framework è validato su due dataset:
  1. CMS HCAL Readout Box (RBX): Dati reali di sensori provenienti dall'Hadron Calorimeter al CERN, che coinvolgono 12 sensori diagnostici su 4 moduli di lettura.
  2. EasyVista: Un dataset pubblico di monitoraggio delle infrastrutture IT.

Risultati

• Efficienza Computazionale: Sul dataset CMS HCAL (circa 400.000 campioni), il PCMCI standard è fallito a causa del tempo di elaborazione. AnomalyCD, utilizzando SDH, ha ridotto i dati a circa 900 campioni (una riduzione del 99,8%), consentendo l'esecuzione in 9 secondi con 14 MB di memoria utilizzata. Sul dataset EasyVista, il tempo di elaborazione è stato ridotto di circa il 91% (da circa 75s a 6,6s) con una riduzione dei dati del 55%.
• Miglioramenti dell'Accuratezza:
  • HCAL: AnomalyCD ha ottenuto un guadagno relativo del 26,2% nell'F1-score e una riduzione del 74,9% del Tasso di Falsi Positivi (FPR) rispetto al baseline PCMCI con gestione sparsa. La Distanza di Hamming Strutturale (SHD) è migliorata del 70,6%.
  • EasyVista: L'approccio ha mostrato un guadagno relativo del 20,5% nell'F1-score e una riduzione del 47% del FPR rispetto al PCMCI standard.
• Inferenza Causale: Il modello BN ha quantificato con successo le probabilità condizionate. Ad esempio, la probabilità di un'anomalia nel sensore Q1T è aumentata da 0,05 a >0,90 quando i sensori correlati (Q2-4T) mostravano anomalie, allineandosi con le connessioni fisiche dei circuiti del sistema HCAL.

Significatività e Rivendicazioni
L'articolo afferma che AnomalyCD fornisce una soluzione scalabile per l'analisi della causa radice in sistemi grandi e complessi dove i dati sono disponibili principalmente come flag di anomalia binari. Integrando il testing sensibile alle anomalie e la compressione dei dati, il metodo raggiunge un equilibrio tra efficienza computazionale e accuratezza causale che i metodi allo stato dell'arte esistenti non possiedono per questo specifico tipo di dati. Gli autori dichiarano che gli strumenti sono attualmente implementati al Large Hadron Collider del CERN per fornire diagnostica ai sistemi del calorimetro. Lo studio sottolinea come il loro approccio faciliti i compiti diagnostici in tempo reale attraverso vari sottosistemi, offrendo un'alternativa flessibile, non supervisionata e leggera ai modelli di deep learning che richiedono estesi dati annotati. Il lavoro evidenzia come, mentre i metodi esistenti lottano contro la "maledizione della dimensionalità" e la scarsità dei dati binari, AnomalyCD mitighi efficacemente tali problemi per produrre grafi causali coerenti con le interconnessioni fisiche del sistema.