Technische Samenvatting: GDformer voor Anomaliedetectie in Multivariate Tijdsreeksen

1. Probleemstelling

Anomaliedetectie in multivariate tijdsreeksen (MTS) is cruciaal voor het handhaven van de betrouwbaarheid van real-world systemen (bijvoorbeeld industriële sensoren, servermetrieken). Bestaande deep learning-benaderingen ondervinden echter aanzienlijke beperkingen als gevolg van de strategie van isolerende subsequenties. Huidige methoden verdelen doorgaans lange tijdsreeksen in niet-overlappende, geïsoleerde subsequenties om temporale kennis binnen de subsequence te leren. Deze aanpak heeft de volgende nadelen:

• Beperkt Horizon: Modellen hebben geen toegang tot context op reeks-niveau, wat leidt tot representaties die niet globaal informatief zijn.
• Inconsistente Criteria: Door heterogeniteit tussen subsequenties (fluctuaties, dichtheid van anomalieën) zijn punt-voor-punt anomalie-scores, afgeleid van geïsoleerde segmenten, sterk variabel. Het samenvoegen van deze scores leidt vaak tot vals-positieven en vals-negatieven bij het vaststellen van een uniforme detectiedrempel voor de gehele reeks.
• Schalingsproblemen: Het direct toepassen van self-attention op de volledige reeks om globale context te vangen resulteert in een tijd- en ruimtecomplexiteit van $O(n^2)$, wat computationeel onhaalbaar is voor lange sequenties.

Het artikel formuleert MTS-anomaliedetectie als een onbewaakt leerprobleem, met als doel een compacte, uniforme detectie-criteria af te leiden zonder toegang tot anomalie-labels tijdens het trainen.

2. Methodologie: GDformer

De auteurs stellen GDformer (Global Dictionary-enhanced Transformer) voor, een model dat is ontworpen om globale representaties te ontwikkelen die worden gedeeld door alle normale punten in de gehele reeks, en zo voorbij de isolatie van subsequenties te gaan.

2.1 Kernarchitectuur

GDformer vervangt het standaard self-attention-mechanisme door een op woordenlijst gebaseerd cross-attention-mechanisme.

• Globale Woordenlijst: In plaats van Keys ($K$) en Values ($V$) af te leiden uit de invoersequentie (wat de context beperkt tot de subsequence), introduceert GDformer leerbare, globale $K$- en $V$-vectoren die in een woordenlijst zijn opgeslagen. Deze vectoren worden iteratief bijgewerkt tijdens het trainen om de gedeelde temporale representaties van normale punten over de volledige dataset te vangen.
• Cross-Attention: De Query ($Q$) wordt afgeleid van de temporale tokens van de invoer, terwijl $K$ en $V$ afkomstig zijn uit de globale woordenlijst. De attentiekaart ($M$) weerspiegelt de correlatiegewichten tussen een specifiek tijdstip en de globale normale representaties.
• Efficiëntie: Door gebruik te maken van een woordenlijst van grootte $N$ (waarbij $N \ll T$, de sequentielengte), wordt de complexiteit gereduceerd van $O(T^2)$ naar $O(TN)$, wat de geheugen- en computationele efficiëntie aanzienlijk verbetert.

2.2 Similariteitsbeoordeling en Prototypen

Om een robuuste detectie-criteria af te leiden, introduceert GDformer Prototypen:

• Prototypenleren: Een set van $P$ prototypen wordt geïntroduceerd om de distributiepatronen van de correlatiegewichten tussen normale punten en de globale woordenlijst te vangen.
• Similariteitsafwijking: Het model berekent de similariteit tussen de attentiekaart van een gegeven punt en deze prototypen.
  • Normale Punten: Hun verdeling van attentiegewichten stemt nauw overeen met de geleerde prototypen.
  • Anomale Punten: Hun distributies wijken aanzienlijk af van de prototypen.
• Verliesfunctie: Het trainingsdoel combineert een reconstructieverlies ($L_c$) en een similariteitsafwijkingsverlies ($L_s$). Het totale verlies wordt geformuleerd als:
  $$L_{total} = L_c - \lambda L_s$$
  waarbij $L_s$ de similariteitsscores over alle lagen aggregeert. Het negatieve teken moedigt het model aan om de similariteit tussen normale punten en prototypen te maximaliseren, waardoor een compacte beslissingsgrens wordt gecreëerd.

2.3 Inferentie

Tijdens inferentie wordt de anomalie-score voor een punt afgeleid van de negatieve similariteit met de prototypen. Punten met lage similariteit (hoge afwijking) worden gemarkeerd als anomalieën. Een uniforme drempel wordt toegepast over de gehele reeks, waardoor de noodzaak voor subsequence-specifieke drempels wordt geëlimineerd.

3. Belangrijkste Bijdragen

1. Global Dictionary-Enhanced Transformer: De auteurs stellen GDformer voor, dat een op woordenlijst gebaseerd cross-attention-mechanisme gebruikt om globale representaties te leren die worden gedeeld door alle normale punten, en zo de horizonbeperkingen van subsequence-isolatie effectief overwint.
2. Op Prototypen Gebaseerde Similariteitscriteria: De introductie van prototypen om patronen van normale punt-globale correlaties te vangen, maakt een onderscheidbare similariteitsafwijking mogelijk tussen normale en abnormale punten, waardoor een compacte en uniforme detectiegrens wordt geboden.
3. Efficiëntie en Schalbaarheid: De methode reduceert de computationele complexiteit en het geheugengebruik aanzienlijk in vergelijking met standaard Transformer-benaderingen (bijvoorbeeld AnomalyTrans, DCdetector) door het attentie-mechanisme te ontkoppelen van de sequentielengte.
4. Overdraagbaarheid: De globale woordenlijst en prototypen tonen overdraagbaarheid over verschillende datasets, wat suggereert dat gedeelde normale temporale patronen bestaan over domeinen heen.

4. Experimentele Resultaten

De auteurs hebben GDformer geëvalueerd op zes populaire benchmark-datasets: MSL, SMAP, SWaT, PSM, GECCO en ASD.

• Prestaties: GDformer behaalde state-of-the-art (SOTA) prestaties, met de hoogste F1-scores op vijf van de zes datasets en de op één na beste op de overige. Het presteerde beter dan sterke baselines, waaronder AnomalyTrans, DCdetector, MEMTO en ModernTCN, over meerdere metrieken (Point-Adjustment F1, Range-AUC en VUS-metrieken).
• Efficiëntie: GDformer toonde superieure efficiëntie. In vergelijking met AnomalyTrans en DCdetector werd een gemiddelde reductie van de trainingstijd van 88,8% respectievelijk 94,7% bereikt, terwijl een aanzienlijk lager geheugengebruik werd behouden (bijvoorbeeld ~4,5 GB versus ~16 GB voor AnomalyTrans).
• Ablatiestudies:
  • Het vervangen van self-attention door op woordenlijst gebaseerde cross-attention verbeterde de F1-scores met ongeveer 5,87%.
  • Het introduceren van het op similariteit gebaseerde criterium (in plaats van alleen reconstructiefout) verbeterde de F1-scores met ongeveer 9,11%.
  • De combinatie van similariteitsverlies over meerdere lagen leverde betere resultaten op dan benaderingen met één laag.
• Casestudies: Visualisaties toonden aan dat terwijl baselines (AnomalyTrans, DCdetector) faalden bij het detecteren van specifieke puntanomalieën of vals-positieven genereerden als gevolg van subsequence-heterogeniteit, GDformer consistent anomalieën detecteerde met behulp van zijn uniforme criterium op reeks-niveau.

5. Betekenis en Beweringen

Het artikel beweert dat GDformer de fundamentele beperking van bestaande deep learning-methoden aanpakt: de afhankelijkheid van geïsoleerde subsequenties, wat het leren van globale, reeks-niveau kennis verhindert. Door het paradigma te verschuiven naar cross-attention versterkt door een globale woordenlijst, zorgt het model voor een uniforme detectie-criteria die consistent is over de volledige tijdsreeks.

De auteurs benadrukken dat de op similariteit gebaseerde detectie-criteria, afgeleid van de afwijking tussen punt-globale correlaties en geleerde prototypen, een compactere en effectievere beslissingsgrens biedt dan traditionele reconstructiefouten of statistische divergentiemethoden (zoals KL/JS-divergentie). Bovendien suggereert de waargenomen overdraagbaarheid van de globale woordenlijst een weg naar het bouwen van foundation-modellen voor anomaliedetectie in tijdsreeksen, die in staat zijn te generaliseren over verschillende domeinen.

Het artikel concludeert dat GDformer zowel effectief als efficiënt is, en valideert de hypothese dat het ontwikkelen van globale normale representaties superieur is aan geïsoleerde subsequence-analyse voor MTS-anomaliedetectie.