Anomaly detection in time-series via inductive biases in the latent space of conditional normalizing flows

Dit artikel introduceert een methode voor anomaly detection in tijdreeksen waarbij conditionele normalizing flows worden gebruikt om observaties af te beelden op een latente ruimte met voorgeschreven temporele dynamica, waardoor afwijkingen betrouwbaar kunnen worden gedetecteerd via statistische toetsen op de latentetrajectorieën in plaats van op de waarschijnlijkheid in de observatieruimte.

De kern

De Kern: Het zoeken naar "raar gedrag" in data

Stel je voor dat je een muziekband hebt die al jaren perfect samen speelt. Je kent hun ritme, hun toonhoogte en hoe ze op elkaar reageren. Plotseling begint de drummer een beetje uit het ritme te vallen, of de gitarist speelt een noot die totaal niet bij het liedje past.

In de wereld van computers en data noemen we dit anomaliedetectie: het vinden van iets dat niet hoort bij de rest. Dit is belangrijk voor van alles, van het opsporen van fraude bij banktransacties tot het voorspellen van een defecte machine in een fabriek.

Het Probleem: Waarom oude methoden falen

Vroeger probeerden computers dit te doen door te kijken naar de kans dat een bepaalde data-punt voorkomt.

• De analogie: Stel je een drukke markt voor. De meeste mensen lopen rustig rond (normaal gedrag). Een dief loopt ook tussen de mensen.
• De fout: Oude methoden keken alleen naar hoe "dichtbij" de dief bij de massa staat. Als de dief zich goed vermomt en precies tussen de mensen loopt, denkt de computer: "Ah, deze persoon hoort hierbij, hij is veilig."
• Het resultaat: De computer ziet de dief niet, omdat de dief er uitziet als een normaal mens, ook al doet hij iets raars (stelen). In de paper noemen ze dit: "hoge waarschijnlijkheid, maar toch een anomalie."

De Oplossing: Een nieuwe manier van kijken

De auteurs van dit paper (David, Eliezer en Iñigo) zeggen: "Laten we niet kijken naar hoe de mensen eruitzien op de markt, maar naar hoe ze bewegen."

Ze hebben een slim systeem bedacht dat werkt als een dansschool:

1. De Dansschool (Het Latente Ruimte):
   In plaats van de ruwe data (de mensen op de markt) direct te analyseren, zetten ze iedereen eerst in een dansschool. Hier wordt elke beweging vertaald naar een simpele, gestructureerde danspas.

   • Technisch: Ze gebruiken een "Conditioneel Normalizing Flow". Klinkt ingewikkeld, maar het is gewoon een vertaler die ruwe data omzet in een schoon, gestructureerd patroon.

2. De Dansregels (De Inductieve Bias):
   In deze dansschool gelden strikte regels. Bijvoorbeeld: "Als je links begint, moet je rechts eindigen" of "Je moet in een rechte lijn dansen." Dit noemen ze inductieve bias.

   • Het systeem leert niet alleen wat normaal is, maar ook hoe normaal gedrag zich in de tijd moet ontwikkelen. Het is alsof je een choreografie hebt die perfect moet kloppen.

3. De Controle (De Test):
   Als er nu iemand binnenkomt (nieuwe data), wordt hij vertaald naar de danspas.

   • Normaal: De persoon volgt de choreografie perfect. Alles is goed.
   • Anomalie: De persoon doet misschien wel een beweging die op de markt normaal lijkt (hij loopt tussen de mensen), maar in de dansschool breekt hij de choreografie. Hij stapt uit het ritme.
   • De winst: Zelfs als de dief eruitziet als een normaal mens, valt hij direct op in de dansschool omdat hij de regels van de dans niet volgt.

Waarom is dit zo slim?

• Geen handmatig instellen: Oude methoden hadden vaak een "drempelwaarde" nodig (bijv. "als de fout groter is dan 5, is het raar"). Dat is lastig te kiezen. Dit nieuwe systeem gebruikt een wiskundige test (de Kolmogorov-Smirnov test) die automatisch zegt: "Dit patroon past niet bij de rest." Het is alsof de dansmeester automatisch ziet wie er uit de pas loopt, zonder dat jij een getal hoeft in te voeren.
• Betrouwbare waarschuwing: Het systeem kan ook vertellen of de dansschool zelf goed werkt. Als zelfs de normale mensen niet goed dansen, weet je dat het systeem nog niet klaar is om te testen. Dit is een "controlemechanisme" voor de AI zelf.

Samenvatting in één zin

In plaats van te kijken of iets eruitziet als normaal, kijken deze onderzoekers of het zich gedraagt zoals normaal gedrag zou moeten doen in de tijd; en als het ritme niet klopt, is het een anomalie, zelfs als het er op het eerste gezicht heel normaal uitziet.

Dit maakt het mogelijk om heel subtiele fouten op te sporen in complexe systemen (zoals fabrieken of financiële markten) die andere methoden zouden missen.

Technische samenvatting

Probleemstelling

Traditionele methoden voor het detecteren van anomalieën in multivariate tijdreeksen vertrouwen vaak op diepe generatieve modellen (DGM's) die worden getraind door de waarschijnlijkheid (likelihood) van de data te maximaliseren. Het paper identificeert een fundamenteel tekortkoming in deze aanpak:

• Likelihood vs. Dynamiek: De waarschijnlijkheid in de observatieruimte meet de marginale dichtheid, niet de conformiteit aan gestructureerde temporele dynamiek. Hierdoor kunnen DGM's soms een hoge waarschijnlijkheid toekennen aan anomalieën of samples die buiten de verdeling liggen (OOD), vooral als deze binnen een hoog-dichtheidsgebied van de modelruimte vallen.
• Afhankelijkheid van drempels: Bestaande methoden vereisen vaak handmatig gekozen drempelwaarden voor anomalie-scores (zoals reconstructiefouten), wat kostbaar is, kwetsbaar voor domeinverschillen en statistisch moeilijk te rechtvaardigen is, vooral bij zeldzame anomalieën.
• Gebrek aan inductieve bias: Zonder expliciete structurele aannames (inductieve bias) leert een model niet wat "onverwacht gedrag" is; het leert alleen wat "waarschijnlijk" is.

Methodologie

De auteurs stellen een onbewaakte (unsupervised) probabilistische state-space framework voor dat de definitie van een anomalie verplaatst van de observatieruimte naar een voorgeschreven latente ruimte.

1. Modelarchitectuur:

• Conditionele Normalizing Flows (CNF): Een CNF wordt gebruikt om observaties ($x_t$) af te beelden naar een latente representatie ($z_t$), geconditioneerd op een historische context ($W_t$).
• Latente Dynamiek met Inductieve Bias: In plaats van statische verdelingen, wordt er een expliciete inductieve bias opgelegd aan de temporele evolutie van de latente variabelen. De auteurs gebruiken een Lineair-Gaussische Latente Dynamische Model (LG-LDM):
  • De verwachte dynamiek wordt gedefinieerd als een deterministische kaart: $\mu_t = A\mu_{t-1} + b$.
  • De latente trajecten moeten voldoen aan deze voorgeschreven dynamiek (bijv. convergeren naar een vast punt of een specifieke Gaussische vorm).

2. Trainingsprocedure:

• Het model wordt getraind door de negatieve log-likelihood (NLL) te minimaliseren, waarbij zowel de CNF-parameters ($\theta$) als de parameters van de latente dynamiek ($\phi = \{A, b\}$) gezamenlijk worden geoptimaliseerd.
• Dit zorgt ervoor dat de geleerde latente trajecten consistent zijn met de voorgeschreven dynamische wet.

3. Detectie als Statistische Toets (Goodness-of-Fit):

• Principe: Een anomalie wordt niet gedefinieerd door een lage likelihood, maar door non-conformiteit met de voorgeschreven inductieve bias.
• Statistische Test: Na het trainen worden nieuwe observaties afgebeeld naar de latente ruimte. Vervolgens wordt een Goodness-of-Fit (GOF) test uitgevoerd, specifiek de Multivariate Kolmogorov-Smirnov (MV-KS) test.
• Beslissingsregel: Als de KS-statistiek ($s$) van de latente trajecten groter is dan een kritieke waarde ($\tau$) (die afhangt van de steekproefgrootte), wordt de sequentie als een anomalie gemarkeerd.
• Drempelvrij: Omdat de kritieke waarde van de KS-test statistisch wordt bepaald op basis van de steekproefgrootte, is er geen handmatige drempelinstelling nodig voor de detectie.

4. Trainingsdiagnostiek:

• Het framework biedt een ingebouwde diagnose: als de trainingsdata zelf niet voldoet aan de MV-KS-test, betekent dit dat het model de inductieve bias niet heeft geleerd. Dit signaleert dat het model niet betrouwbaar is voor detectie.

Belangrijkste Bijdragen

1. State-space Deep Generative Model: Een model dat CNF koppelt aan expliciete (lineaire-Gaussische) latente dynamiek, waardoor observaties worden gedwongen om te evolueren volgens voorgeschreven temporele patronen.
2. Statistisch onderbouwde, onbewaakte detector: Een anomaliedetector die gebaseerd is op GOF-tests in de latente ruimte. Deze kan anomalieën detecteren zelfs in gebieden met hoge observatie-likelihood, waar traditionele NLL-metingen falen.
3. Ingebouwde Compliance-diagnose: Een methode om te verifiëren of het trainingsproces succesvol was en of de inductieve bias correct is opgelegd, waardoor de betrouwbaarheid van de detectie kan worden gegarandeerd zonder labels.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat de methode robuust is voor variaties in frequentie, amplitude en ruis, en presteert op niveau met of beter dan bestaande baselines op synthetische en real-world datasets.

Resultaten

• Synthetische Data: De methode slaagt erin om anomalieën in amplitude en frequentie te detecteren die door NLL-scores worden gemist (omdat deze in hoge-dichtheidsgebieden vallen). De MV-KS score toont duidelijk afwijkingen in de latente ruimte.
• Venstergrootte: Er is een optimale venstergrootte nodig voor de KS-test (ongeveer $O(D^3)$, waar $D$ de dimensie is). Te kleine vensters zijn te luidruchtig, te grote vensters verdunnen de anomalie. Een venstergrootte van 64 leverde de beste resultaten op (AUC-PR 82,1%).
• Real-world Data (TSB-AD benchmark):
  • Op univariate datasets (zoals NEK en Stock) presteerde de methode zeer goed, vaak in de top-2, vooral wanneer de trainingscompliance hoog was (bijv. 100% op de Stock dataset).
  • Op datasets waar de trainingscompliance laag was (bijv. MITDB), presteerde de methode minder goed, wat de noodzaak bevestigt van de voorgestelde trainingsdiagnostiek.
  • De methode vereist geen labels en geen handmatige drempels, terwijl ze toch concurrerende resultaten levert met geavanceerde baselines.

Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in onbewaakte anomaliedetectie voor tijdreeksen. In plaats van te vertrouwen op de "waarschijnlijkheid" van data, wordt detectie geframed als het testen van conformiteit aan een expliciete, toepassingsspecifieke inductieve bias.

De belangrijkste voordelen zijn:

• Interpreteerbaarheid: Anomalieën worden visueel en statistisch duidelijk in de latente ruimte.
• Robuustheid: Effectiviteit zelfs in gebieden waar traditionele likelihood-methoden falen.
• Geen labels nodig: Het elimineert de behoefte aan handmatige drempelinstellingen en gelabelde anomaliedata.
• Zelfdiagnose: Het model kan zelf aangeven of het voldoende is getraind om betrouwbare detecties te maken.

De auteurs concluderen dat deze aanpak een unificerend perspectief biedt op diepe generatieve anomaliedetectie, waarbij de focus ligt op het testen van geleerde representaties tegenover expliciete dynamische aannames in plaats van puur op likelihood-maximalisatie.