Detecting the Undetectable: Enhancing Unsupervised time series Anomaly Detection via Active Learning

Sintesi Tecnica: Rilevare l'Indetectabile

Definizione del Problema
Nelle applicazioni industriali su larga scala, il rilevamento delle anomalie nelle serie temporali è fondamentale per identificare guasti alle apparecchiature, attacchi informatici e rischi finanziari. Tuttavia, esiste un collo di bottiglia significativo: ottenere dati etichettati di alta qualità è proibitivo in termini di costi e tempo, rendendo necessario l'uso dell'apprendimento non supervisionato. Sebbene i modelli di deep learning non supervisionati (ad esempio, approcci basati sulla ricostruzione come VAE e Transformer) abbiano fatto avanzare il campo, essi affrontano limitazioni fondamentali. Nello specifico, faticano a distinguere tra campioni "normali rumorosi" (fluttuazioni benigne scambiate per anomalie) e "anomalie sottili" (deviazioni che imitano da vicino i pattern normali). Questa ambiguità porta ad elevati tassi di falsi positivi e falsi negativi, creando un limite di prestazione che i puri metodi non supervisionati non possono superare a causa della mancanza di fondamento semantico.

Metodologia
Gli autori propongono un nuovo framework che integra l'Apprendimento Attivo (Active Learning) per migliorare iterativamente le prestazioni dei modelli di ricostruzione non supervisionati. A differenza dei precedenti approcci ibridi che si affidano alla pseudo-etichettatura o al pre-addestramento supervisionato, questo framework opera selezionando in modo mirato un "oracolo" per ottenere etichette di verità fondamentale (ground-truth) sui campioni più informativi e utilizzandole per perfezionare il modello attraverso un ciclo di feedback specializzato.

Il framework si compone di tre fasi primarie:

1. Pre-addestramento Non Supervisionato: Un modello di base (ad esempio, LSTM-VAE, Transformer) viene inizialmente addestrato su serie temporali normali per apprendere i pattern temporali minimizzando l'errore di ricostruzione.
2. Campionamento Ibrido delle Query: Da un pool non etichettato, il framework seleziona campioni informativi utilizzando una strategia duale:
   • Campionamento Top-k ($S_1$): Seleziona finestre con i punteggi di anomalia più elevati per catturare sia i dati normali rumorosi (falsi positivi) che le anomalie ad alta confidenza.
   • Campionamento Casuale a Intervalli ($S_2$): Partiziona i punteggi di anomalia ordinati in intervalli e campiona casualmente da ciascuno di essi per garantire l'inclusione di anomalie sottili e a basso punteggio che potrebbero altrimenti essere trascurate.
3. Feedback di Ricostruzione Mascherata: Le query selezionate, ora etichettate dall'oracolo, vengono utilizzate per perfezionare il modello tramite un compito pretestuale di Ricostruzione di Serie Temporali Mascherata. Segmenti casuali dell'input vengono mascherati e il modello deve ricostruirli. Fondamentalmente, l'obiettivo di apprendimento impiega una Strategia Minimax:
   • Minimizzare: L'errore di ricostruzione per le query normali per rafforzare l'apprendimento accurato dei pattern.
   • Massimizzare: L'errore di ricostruzione per le query anomale per costringere il modello a riconoscere e penalizzare le deviazioni.
     Questo processo viene ripetuto iterativamente fino al raggiungimento di un budget di query prestabilito.

Contributi Chiave
Il documento identifica tre contributi principali:

• Estrazione di Pattern Rumorosi e Anomali: Il framework introduce un meccanismo di feedback che mira esplicitamente ai campioni "normali rumorosi" e "quasi-normali anomali". Utilizzando etichette verificate dall'oracolo anziché pseudo-etichette, evita la propagazione dell'errore comune nei precedenti metodi di apprendimento attivo.
• Ricostruzione Temporale tramite Task Pretestuale: L'integrazione di un compito di ricostruzione mascherata costringe il modello a imparare dipendenze temporali più profonde e dinamiche complesse all'interno delle sequenze impegnative, piuttosto che limitarsi ad apprendere distanze relative in uno spazio latente.
• Framework Agnostico rispetto al Modello: L'approccio è agnostico rispetto all'architettura, progettato per essere integrato senza problemi nei modelli di ricostruzione non supervisionati esistenti senza richiedere modifiche strutturali al backbone.

Risultati Sperimentali
Il framework è stato valutato su 28 casi di test riguardanti quattro dataset di serie temporali multivariate (SWaT, PSM, Gecco, Swan) e sette diversi modelli di backbone non supervisionati (inclusi varianti di LSTM-VAE, USAD, OmniAnomaly, Transformer, Anomaly Transformer e VTT).

• Guadagni di Prestazione: Il metodo proposto ha dimostrato un miglioramento medio del 12,39% nell'AUC rispetto ai modelli non supervisionati originali.
• Sensibilità del Backbone: Il backbone Transformer ha mostrato il miglioramento più significativo, ottenendo un aumento medio dell'AUC del 3,95% e assicurando i primi posti in 11 scenari di valutazione su 12. L'Anomaly Transformer (AT) ha registrato anch'esso guadagni sostanziali (49,16% in F1 e 57,11% in AUC).
• Studi di Ablazione: La rimozione di qualsiasi singolo componente (perdita Minimax, campionamento Top-k, campionamento a intervalli o mascheramento) ha causato un degrado delle prestazioni, confermando la necessità del design sinergico.
• Efficienza: Il framework ha ottenuto significativi guadagni di prestazione con un minimo sforzo di annotazione, richiedendo solo l'1% - 14% delle finestre non etichettate per essere etichettate.
• Limitazioni: Il metodo ha mostrato guadagni marginali sul dataset PSM, che gli autori attribuiscono all'alto rapporto di anomalie del dataset (31%), il quale viola l'assunzione di "anomalia rara" inerente alla strategia di query dell'apprendimento attivo.

Significatività e Rivendicazioni
Il documento sostiene che il suo framework offre un compromesso pratico tra l'apprendimento completamente supervisionato e quello non supervisionato, affrontando specificamente la natura "indetectabile" delle anomalie sottili e rumorose negli ambienti industriali. Incorporando strategicamente una minima competenza umana attraverso un robusto meccanismo di feedback, il metodo colma il divario tra la generalità non supervisionata e la precisione supervisionata. Gli autori affermano che il loro approccio è facilmente integrabile nei sistemi basati sulla ricostruzione esistenti, migliorando significativamente la loro capacità di distinguere tra pattern normali rumorosi e vere anomalie senza la necessità di un'etichettatura esaustiva o di complesse modifiche strutturali ai modelli sottostanti.