Riepilogo Tecnico: GDformer per il Rilevamento di Anomalie nelle Serie Temporali Multivariate

1. Enunciato del Problema

Il rilevamento di anomalie nelle Serie Temporali Multivariate (MTS) è fondamentale per mantenere l'affidabilità dei sistemi reali (ad esempio, sensori industriali, metriche dei server). Tuttavia, gli approcci esistenti basati sul deep learning affrontano limitazioni significative a causa della strategia di isolamento delle sottosequenze. I metodi attuali dividono tipicamente le serie temporali lunghe in sottosequenze non sovrapposte e isolate per apprendere conoscenze temporali intra-sottosequenza. Questo approccio soffre di:

• Orizzonte Limitato: I modelli non hanno accesso al contesto a livello di serie, portando a rappresentazioni non globalmente informative.
• Criteri Incoerenti: A causa dell'eterogeneità tra le sottosequenze (fluttuazioni, densità di anomalie), i punteggi di anomalia punto per punto derivati da segmenti isolati sono altamente variabili. La concatenazione di questi punteggi spesso comporta falsi positivi e falsi negativi quando si stabilisce una soglia di rilevamento unificata per l'intera serie.
• Problemi di Scalabilità: L'applicazione diretta dell'auto-attenzione all'intera serie per catturare il contesto globale comporta una complessità temporale e spaziale di $O(n^2)$, che è computazionalmente proibitiva per sequenze lunghe.

Il documento inquadra il rilevamento di anomalie MTS come un problema di apprendimento non supervisionato, mirando a derivare un criterio di rilevamento compatto e unificato senza accesso alle etichette di anomalia durante l'addestramento.

2. Metodologia: GDformer

Gli autori propongono GDformer (Global Dictionary-enhanced Transformer), un modello progettato per coltivare rappresentazioni globali condivise da tutti i punti normali in tutta la serie, superando l'isolamento delle sottosequenze.

2.1 Architettura Principale

GDformer sostituisce il meccanismo standard di auto-attenzione con un meccanismo di Cross-Attention Basata su Dizionario.

• Dizionario Globale: Invece di derivare Chiavi ($K$) e Valori ($V$) dalla sequenza di input (che limita il contesto alla sottosequenza), GDformer introduce vettori $K$ e $V$ globali e apprendibili memorizzati in un dizionario. Questi vettori vengono aggiornati iterativamente durante l'addestramento per catturare le rappresentazioni temporali condivise dei punti normali in tutto il dataset.
• Cross-Attention: La Query ($Q$) è derivata dai token temporali di input, mentre $K$ e $V$ provengono dal dizionario globale. La mappa di attenzione ($M$) riflette i pesi di correlazione tra un punto temporale specifico e le rappresentazioni globali normali.
• Efficienza: Utilizzando un dizionario di dimensione $N$ (dove $N \ll T$, la lunghezza della sequenza), la complessità viene ridotta da $O(T^2)$ a $O(TN)$, migliorando significativamente l'efficienza della memoria e computazionale.

2.2 Valutazione della Similarità e Prototipi

Per derivare un criterio di rilevamento robusto, GDformer introduce Prototipi:

• Apprendimento dei Prototipi: Viene introdotto un insieme di $P$ prototipi per catturare i pattern di distribuzione dei pesi di correlazione tra i punti normali e il dizionario globale.
• Discrepanza di Similarità: Il modello calcola la similarità tra la mappa di attenzione di un dato punto e questi prototipi.
  • Punti Normali: Le loro distribuzioni dei pesi di attenzione si allineano strettamente ai prototipi appresi.
  • Punti Anomali: Le loro distribuzioni si discostano significativamente dai prototipi.
• Funzione di Perdita: L'obiettivo di addestramento combina una perdita di ricostruzione ($L_c$) e una perdita di discrepanza di similarità ($L_s$). La perdita totale è formulata come:
  $$L_{total} = L_c - \lambda L_s$$
  dove $L_s$ aggrega i punteggi di similarità su tutti i livelli. Il segno negativo incoraggia il modello a massimizzare la similarità tra i punti normali e i prototipi, creando così un confine decisionale compatto.

2.3 Inferenza

Durante l'inferenza, il punteggio di anomalia per un punto è derivato dalla similarità negativa con i prototipi. I punti con bassa similarità (alta discrepanza) vengono segnalati come anomalie. Viene applicata una soglia unificata su tutta la serie, eliminando la necessità di soglie specifiche per sottosequenza.

3. Contributi Chiave

1. Transformer Potenziato da Dizionario Globale: Gli autori propongono GDformer, che utilizza un meccanismo di cross-attention basato su dizionario per apprendere rappresentazioni globali condivise da tutti i punti normali, superando efficacemente le limitazioni di orizzonte dell'isolamento delle sottosequenze.
2. Criterio di Similarità Basato su Prototipi: L'introduzione di prototipi per catturare i pattern di correlazione globale-punto normale consente una discrepanza di similarità distinguibile tra punti normali e anomali, fornendo un confine decisionale compatto e unificato.
3. Efficienza e Scalabilità: Il metodo riduce significativamente la complessità computazionale e l'ingombro di memoria rispetto agli approcci standard basati su Transformer (ad esempio, AnomalyTrans, DCdetector) disaccoppiando il meccanismo di attenzione dalla lunghezza della sequenza.
4. Trasferibilità: Il dizionario globale e i prototipi dimostrano trasferibilità tra diversi dataset, suggerendo che esistono pattern temporali normali condivisi tra diversi domini.

4. Risultati Sperimentali

Gli autori hanno valutato GDformer su sei popolari dataset di riferimento: MSL, SMAP, SWaT, PSM, GECCO e ASD.

• Prestazioni: GDformer ha raggiunto prestazioni all'avanguardia (SOTA), ottenendo i punteggi F1 più alti su cinque dataset su sei e il secondo miglior punteggio sul restante. Ha superato basi solide tra cui AnomalyTrans, DCdetector, MEMTO e ModernTCN su più metriche (F1 con Point-Adjustment, Range-AUC e metriche VUS).
• Efficienza: GDformer ha dimostrato un'efficienza superiore. Rispetto ad AnomalyTrans e DCdetector, ha ottenuto una riduzione del tempo di addestramento media dell'88,8% e del 94,7% rispettivamente, mantenendo un ingombro di memoria significativamente inferiore (ad esempio, ~4,5 GB contro ~16 GB per AnomalyTrans).
• Studi di Ablazione:
  • Sostituire l'auto-attenzione con la cross-attention basata su dizionario ha migliorato i punteggi F1 di circa il 5,87%.
  • Introdurre il criterio basato sulla similarità (rispetto al solo errore di ricostruzione) ha migliorato i punteggi F1 di circa il 9,11%.
  • La combinazione multilivello della perdita di similarità ha prodotto risultati migliori rispetto agli approcci a singolo livello.
• Casi di Studio: Le visualizzazioni hanno mostrato che mentre le basi (AnomalyTrans, DCdetector) non riuscivano a rilevare anomalie puntuali specifiche o generavano falsi positivi a causa dell'eterogeneità delle sottosequenze, GDformer rilevava costantemente le anomalie utilizzando il suo criterio unificato a livello di serie.

5. Significato e Affermazioni

Il documento afferma che GDformer affronta la limitazione fondamentale dei metodi esistenti di deep learning: la dipendenza da sottosequenze isolate che impedisce l'apprendimento di conoscenze globali a livello di serie. Spostando il paradigma verso la cross-attention potenziata da dizionario globale, il modello garantisce un criterio di rilevamento unificato che è coerente in tutta la serie temporale.

Gli autori sottolineano che il criterio di rilevamento basato sulla similarità, derivato dalla discrepanza tra le correlazioni punto-globale e i prototipi appresi, offre un confine decisionale più compatto ed efficace rispetto ai metodi tradizionali di errore di ricostruzione o divergenza statistica (come la divergenza KL/JS). Inoltre, la trasferibilità osservata del dizionario globale suggerisce una via verso la costruzione di modelli fondazionali per il rilevamento di anomalie nelle serie temporali, capaci di generalizzare attraverso diversi domini.

Il documento conclude che GDformer è sia efficace che efficiente, validando l'ipotesi che coltivare rappresentazioni globali normali sia superiore all'analisi di sottosequenze isolate per il rilevamento di anomalie MTS.