ASTER: Latent Pseudo-Anomaly Generation for Unsupervised Time-Series Anomaly Detection

Titel

ASTER: Latente Pseudo-Anomalie-Generatie voor Ongecontroleerde Anomaliedetectie in Tijdreeksen

1. Het Probleem

Tijdreeksanomaliedetectie (TSAD) is cruciaal voor toepassingen zoals industriële monitoring, gezondheidszorg en cybersecurity. De uitdagingen zijn echter aanzienlijk:

• Zeldzaamheid en heterogeniteit: Anomalieën komen zelden voor en vertonen zeer uiteenlopende patronen.
• Gebrek aan gelabelde data: In de praktijk zijn er zelden voldoende gelabelde anomalieën beschikbaar, wat de noodzaak van ongecontroleerde (unsupervised) methoden vergroot.
• Beperkingen van bestaande methoden:
  • Reconstructie- en voorspellingsmethoden: Strugglen vaak met complexe data.
  • Embedding-gebaseerde methoden: Vereisen vaak handgemaakte, domeinspecifieke augmentaties (zoals het toevoegen van ruis of bias) om "pseudo-anomalieën" te genereren. Dit beperkt de generalisatie en vereist veel domeinkennis.
  • LLM-toepassingen: Bestaande methoden die Large Language Models (LLMs) gebruiken, maken vaak gebruik van tekstuele prompts of vereisen uitgebreide fine-tuning, wat niet altijd optimaal is voor pure tijdreeksdata.

2. Methodologie: Het ASTER-framework

ASTER (Anomaly Synthesis through Transformer-based Embedding Representation) is een nieuw framework dat pseudo-anomalieën direct genereert in een latente ruimte, in plaats van in de ruwe data-ruimte. Het framework bestaat uit drie hoofdcomponenten (zie Figuur 1 in het paper):

A. Contextuele Embedding (Φ) met behulp van een LLM

• Doel: Het vastleggen van rijke sequentiële patronen en context.
• Implementatie: Een voorgeïnstalleerde LLM (bijv. GPT-2) wordt gebruikt als feature-extractor.
  • Vertaling: Ruwe tijdreeksdata wordt via een lineaire projectie omgezet in tokens.
  • Context: De LLM (met LoRA-finetuning) verwerkt het volledige venster van observaties om contextuele embeddings ($C_t$) te genereren die zowel temporele afhankelijkheden als kruis-feature interacties vastleggen.
• Voordeel: Dit vermijdt de noodzaak voor handgemaakte context en benut de sterke representatieve capaciteiten van pre-trained LLMs.

B. De Perturbator (P) – Generatie van Pseudo-Anomalieën

Dit is de kerninnovatie. In plaats van handgemaakte augmentaties, leert ASTER een verdeling voor anomalieën in de latent space.

• Architectuur: Gebaseerd op een Variational Auto-Encoder (VAE) met een Transformer-structuur.
• Componenten:
  1. Encoder ($q_\phi$): Mappt de normale contextuele embeddings ($C_t$) naar een latente verdeling $Z$.
  2. Decoder voor reconstructie ($g_\theta$): Reconstructie van normale data om de verdeling van normale data te modelleren.
  3. Decoder voor anomalie-generatie ($p_\psi$): Genereert pseudo-anomalieën ($\tilde{C}_t$) vanuit dezelfde latente ruimte $Z$.
• Trainingsstrategie:
  • De reconstructie-decoder wordt getraind met de ELBO-loss (Evidence Lower Bound).
  • De anomalie-decoder wordt getraind via adversariaal leren met een omgekeerde gradient (reverse gradient). Het doel is om de classifier te "bedriegen" door pseudo-anomalieën te maken die moeilijk te onderscheiden zijn van normale data, maar toch detecteerbaar blijven.
• Resultaat: Het systeem genereert diverse, niet-triviale pseudo-anomalieën die adaptief zijn aan de datastructuur, zonder domeinkennis.

C. Classificator (Ψ)

• Architectuur: Een Transformer-based classifier (vergelijkbaar met BERT) die de [CLS]-token gebruikt voor de uiteindelijke classificatie.
• Doel: Leren om een flexibele beslissingsgrens te trekken tussen normale data en de gegenereerde pseudo-anomalieën.
• Voordeel: In tegenstelling tot methoden die op vaste afstandsmaten vertrouwen, leert deze classifier een complexe, niet-lineaire grens.

3. Belangrijkste Bijdragen

1. Latente Ruimte Generatie: ASTER is het eerste framework dat pseudo-anomalieën direct in een geleerde latente ruimte genereert, waardoor handgemaakte, domeinspecifieke augmentaties overbodig worden.
2. Nieuwe Architectuur: Een unieke combinatie van een VAE-based perturbator (voor generatie) en een Transformer-based classifier (voor detectie), aangedreven door een pre-trained LLM als contextuele extractor.
3. LLM-integratie: Demonstreert hoe pre-trained LLMs effectief kunnen worden ingezet als contextuele feature-extractors voor TSAD met minimale fine-tuning (LoRA), zonder extra tekstuele prompts.
4. Rigoureuze Validatie: Evaluatie op de TAB-benchmark (Time-series Anomaly Benchmark), wat zorgt voor eerlijke en reproduceerbare vergelijkingen met andere methoden.

4. Resultaten

ASTR werd getest op vier veelgebruikte datasets: PSM, PUMP, SWaT en CATSv2.

• State-of-the-Art (SOTA) Prestaties: ASTER behaalde de beste resultaten op de PSM en PUMP datasets over alle metrieken (F1-score, AUROC, AUPR, VUS).
• Verbetering t.o.v. LLM-methoden: Het presteert significant beter dan eerdere LLM-gebaseerde methoden (zoals GPT4TS, UniTime, CALF). Op PSM en SWaT verbeterde de F1-score met meer dan 0,3 punten ten opzichte van de concurrentie.
• Robuustheid: Op de moeilijke CATSv2 dataset (met zeer weinig anomalieën) behaalde ASTER de op één na beste scores, wat aantoont dat het goed generaliseert.
• Ablatiestudies:
  • Het gebruik van LoRA-finetuning voor de LLM bleek superieur aan standaard fine-tuning of het volledig bevriezen van de LLM.
  • De Transformer-based classificator presteerde aanzienlijk beter dan een MLP-based classificator, wat het belang van het modelleren van sequentiële afhankelijkheden benadrukt.

5. Betekenis en Toekomstperspectief

ASTER stelt een nieuwe standaard voor ongecontroleerde tijdreeksanomaliedetectie. Door de afhankelijkheid van handgemaakte augmentaties te elimineren en in plaats daarvan te vertrouwen op adaptieve generatie in de latent space, maakt het het model robuuster en beter generaliseerbaar over verschillende domeinen.

• Impact: Het biedt een oplossing voor het gebrek aan gelabelde data en de complexiteit van heterogene anomalieën in real-world scenario's.
• Toekomstig werk: De auteurs suggereren verdere verbetering van de diversiteit van gegenereerde anomalieën (via MMD of relaxed priors), het onderzoeken van interpretatie van de latent space, en het testen van diverse pre-trained LLMs en geavanceerdere vertaalmodules.

Kortom, ASTER combineert de kracht van LLMs voor contextbegrip met de flexibiliteit van generatieve modellen en Transformer-architecturen om een krachtige, domein-agnostische oplossing voor tijdreeksanomaliedetectie te bieden.