ASTER: Latent Pseudo-Anomaly Generation for Unsupervised Time-Series Anomaly Detection

1. Il Problema

La rilevazione di anomalie nelle serie temporali (TSAD) è cruciale in settori come il monitoraggio industriale, la sanità e la cybersecurity. Tuttavia, l'approccio presenta sfide significative:

• Scarsità di dati etichettati: Le anomalie sono eventi rari ed eterogenei, rendendo difficile l'addestramento di modelli supervisionati.
• Limitazioni dei metodi esistenti:
  • Gli approcci basati su ricostruzione o previsione faticano con dati complessi.
  • Gli approcci basati su embedding spesso richiedono la sintesi di anomalie tramite trasformazioni manuali (es. aggiunta di rumore, masking) nel spazio dei dati grezzi. Queste tecniche dipendono fortemente dalla conoscenza del dominio e non generalizzano bene su dataset diversi.
• Mancanza di modelli fondazionali robusti: Esistono pochi modelli pre-addestrati specifici per le serie temporali a causa dell'eterogeneità dei dati.

2. Metodologia: ASTER

Il paper propone ASTER (Anomaly Synthesis through Transformer-based Embedding Representation), un framework unsupervised che genera pseudo-anomalie direttamente nello spazio latente, evitando l'ingegneria manuale delle anomalie sui dati grezzi.

L'architettura si compone di tre moduli principali (illustrati nella Figura 1 del paper):

A. Estrattore di Embedding Contestualizzato (Φ)

• Utilizza un Large Language Model (LLM) pre-addestrato (es. GPT-2) per trasformare finestre di serie temporali in rappresentazioni ricche e contestualizzate.
• Fase di traduzione: I dati temporali vengono mappati in uno spazio di token tramite un layer lineare.
• Fase di contesto: L'LLM (congelato o fine-tunato con LoRA) elabora la finestra temporale per catturare le dipendenze sequenziali, producendo un embedding contestualizzato $C_t$.

B. Perturbatore (P) - Generatore di Pseudo-Anomalie

Questo è il cuore innovativo del metodo. Invece di alterare i dati grezzi, il perturbatore opera nello spazio latente degli embedding:

• Modellazione della distribuzione normale: Utilizza un Variational Autoencoder (VAE) per apprendere la distribuzione dei dati normali nello spazio latente. L'encoder $q_\phi$ mappa l'input $C_t$ in una distribuzione latente $Z$.
• Generazione di Anomalie: Un decoder parallelo $p_\psi$ genera pseudo-anomalie campionando dallo stesso spazio latente $Z$.
• Addestramento Avversariale: Poiché non esistono esempi reali di anomalie, il generatore di anomalie ($P_a$) viene ottimizzato tramite un gradiente inverso rispetto alla funzione di perdita di classificazione. Questo forza il generatore a creare campioni che sono difficili da distinguere dai dati normali ma che il classificatore deve imparare a scartare, creando un confine decisionale flessibile.

C. Classificatore (Ψ)

• Un modello basato su Transformer (simile a BERT) che riceve gli embedding contestualizzati.
• Utilizza il token [CLS] per aggregare le informazioni e produrre un punteggio di anomalia.
• Viene addestrato per distinguere tra finestre normali e le pseudo-anomalie generate dal perturbatore.

3. Contributi Chiave

1. Generazione di Pseudo-Anomalie nello Spazio Latente: ASTER elimina la necessità di trasformazioni manuali e specifiche per il dominio, generando anomalie realistiche direttamente nello spazio delle rappresentazioni apprese.
2. Architettura Ibrida LLM-VAE-Transformer: Introduce un nuovo paradigma che combina l'estrazione di contesto tramite LLM pre-addestrati, la modellazione probabilistica del VAE per la diversità delle anomalie e la capacità discriminativa dei Transformer.
3. Validazione Rigorosa: Il metodo è stato valutato utilizzando il benchmark unificato TAB, risolvendo le incoerenze delle valutazioni precedenti e permettendo confronti equi.
4. Nuovo Stato dell'Arte (SOTA): Dimostra prestazioni superiori rispetto ai metodi basati su Deep Learning, modelli pre-addestrati e altri approcci basati su LLM.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro dataset multivariati di riferimento: PSM, PUMP, SWaT e CATSv2.

• Performance Generali: ASTER ha raggiunto lo stato dell'arte (SOTA) su PSM e PUMP per tutte le metriche (F1-score, AUROC, AUPR, VUS). Su SWaT, ha ottenuto il primo posto per F1 e AUROC. Su CATSv2 (dataset molto difficile con poche anomalie), ha ottenuto il secondo miglior punteggio.
• Miglioramenti Specifici:
  • Su PSM e SWaT, il punteggio F1 è migliorato di oltre 0.3 punti rispetto ai metodi precedenti.
  • Ha superato significativamente altri metodi basati su LLM (come GPT4TS, UniTime, CALF).
• Studi di Ablazione:
  • L'uso di un LLM pre-addestrato con fine-tuning LoRA ha dimostrato di essere superiore rispetto al solo layer lineare o al fine-tuning standard, migliorando la capacità di generalizzazione.
  • Il classificatore basato su Transformer è risultato essenziale rispetto a un semplice MLP, sottolineando l'importanza di modellare le dipendenze sequenziali.

5. Significato e Impatto

ASTER rappresenta un passo avanti significativo nella rilevazione di anomalie non supervisionata:

• Indipendenza dal Dominio: Rimuove la dipendenza dalla conoscenza esperta del dominio per creare anomalie sintetiche, rendendo il modello più versatile e applicabile a scenari diversi.
• Efficienza dei LLM: Dimostra come i LLM, solitamente usati per il testo, possano essere efficacemente adattati come estrattori di feature contestuali per le serie temporali con un minimo adattamento (LoRA).
• Robustezza: La generazione di anomalie nello spazio latente permette di catturare comportamenti anomali complessi e non banali, migliorando la robustezza del modello contro falsi positivi e negativi.

In sintesi, ASTER stabilisce un nuovo standard per la TSAD basata su LLM, offrendo una soluzione elegante al problema della scarsità di dati etichettati attraverso la sintesi intelligente di anomalie nello spazio latente.