🤖 machine learning

Adaptive Conformal Anomaly Detection with Time Series Foundation Models for Signal Monitoring

Dit artikel introduceert een modelonafhankelijke, post-hoc methode voor adaptieve conformale anomaliedetectie in tijdreeksen die voorspellingen van vooraf getrainde foundation-modellen gebruikt om interpreteerbare, op p-waarden gebaseerde scores te genereren met gegarandeerde controle van valse alarmen, zelfs bij distributieveranderingen.

Oorspronkelijke auteurs: Natalia Martinez Gil, Fearghal O'Donncha, Wesley M. Gifford, Nianjun Zhou, Dhaval C. Patel, Roman Vaculin

Gepubliceerd 2026-04-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Natalia Martinez Gil, Fearghal O'Donncha, Wesley M. Gifford, Nianjun Zhou, Dhaval C. Patel, Roman Vaculin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Waakhond die Zich Aanpast: Hoe AI Signalen Bewaakt zonder te "Gillen"

Stel je voor dat je een waakhond hebt die de machines in een fabriek bewaakt. Deze waakhond moet elke seconde controleren of er iets mis is (een "anomalie"). Als de machine begint te trillen of te piepen, moet de waakhond blaffen.

Het probleem in de echte wereld is vaak tweeledig:

We hebben weinig data: We hebben niet genoeg historische data van "gebroken machines" om de waakhond te trainen.
De omgeving verandert: Een machine die normaal klinkt, kan anders gaan klinken als het warmer wordt of als er een nieuw onderdeel is gemonteerd. Een starre waakhond zou dan continu blaffen (valse alarmen) of juist niets zien.

De auteurs van dit paper (van IBM Research) hebben een slimme oplossing bedacht: W1-ACAS. Laten we kijken hoe dit werkt.

1. De "Super-Geest" (Foundation Models)

In plaats van de waakhond zelf te trainen (wat veel tijd en data kost), gebruiken ze een Time Series Foundation Model.

De Analogie: Denk hieraan als een super-geest die al miljoenen boeken over machines heeft gelezen. Deze geest weet hoe een motor normaal zou moeten klinken, zelfs als hij die specifieke motor nog nooit heeft gezien.
Het voordeel: Je hoeft deze super-geest niet opnieuw te leren. Je gebruikt hem direct. Hij voorspelt: "Volgens mij zou de machine nu op 50 graden moeten zijn."

2. Het Probleem met de "Vaste Grens"

Standaard methoden doen vaak dit: "Als de temperatuur boven de 55 graden gaat, is het een probleem."

Het nadeel: Wat als de machine normaal gesproken op 54 graden draait, maar vandaag is het 30 graden buiten? Dan is 55 graden misschien wel normaal. Een vaste grens werkt niet als de omstandigheden veranderen. Dit leidt tot valse alarmen (de waakhond blaft om niks) of gemiste problemen.

3. De Oplossing: De "Slimme Waakhond" (Adaptive Conformal Anomaly Detection)

Deze nieuwe methode, W1-ACAS, maakt de waakhond slimmer door twee dingen te doen:

A. Het Gebruik van een "Waarschijnlijkheids-Radar" (Conformal Prediction)
In plaats van een vaste grens (bijv. "boven 55 graden"), geeft de methode een kans af.

De Analogie: In plaats van te zeggen "Het is te warm", zegt de waakhond: "Er is slechts 1% kans dat dit normaal is. Dit is dus verdacht."
Dit is een p-waarde. Het is direct interpreteerbaar: "Ik wil maar 1 keer per 100 keer per ongeluk blaffen." De methode garandeert dat je niet vaker dan dat blaft, zelfs als de data verandert.

B. Het Leren van de "Sfeer" (Adaptive Weights)
Dit is het meest creatieve deel. De methode kijkt naar de afgelopen voorspellingen en vraagt zich af: "Welke van die oude situaties lijken het meest op wat er nu gebeurt?"

De Analogie: Stel je voor dat de machine elke dag op hetzelfde tijdstip een piek heeft (bijvoorbeeld omdat de zon schijnt). De waakhond leert: "Ah, die piek is normaal, want het is weer zonnig." Maar als er een piek is op een regenachtige dag, is dat verdacht.
De methode geeft gewicht aan oude data die op de huidige situatie lijkt, en negeert data die totaal anders is. Het is alsof de waakhond zijn oren spits voor geluiden die op het huidige geluid lijken, en doof wordt voor geluiden die er niet bij passen.

4. Waarom is dit zo goed?

De auteurs hebben dit getest op echte data (zoals stroomnetten, fabrieken en beurskoersen) en synthetische data. De resultaten zijn indrukwekkend:

Geen "Gekke" Alarmen: Het systeem houdt de hoeveelheid valse alarmen laag en voorspelbaar. Je weet precies hoeveel "ruis" je mag verwachten.
Aanpasbaar: Als de machine verandert (bijvoorbeeld door slijtage of seizoenen), past de waakhond zich direct aan. Hij hoeft niet opnieuw te worden getraind.
Snel en Gemakkelijk: Omdat het werkt met bestaande "super-geesten" (Foundation Models), kunnen fabrieken dit direct gebruiken zonder dat ze een team van datawetenschappers nodig hebben.

Samenvatting in één zin

Deze methode is als een slimme, aanpasbare waakhond die gebruikmaakt van de wijsheid van een supercomputer om te weten wat "normaal" is, en die zijn oren aanpast aan de huidige situatie zodat hij alleen blaft als er echt iets mis is, en niet als het gewoon weer anders is.

Dit maakt het ideaal voor industriële toepassingen waar data schaars is en waar betrouwbare, begrijpelijke waarschuwingen cruciaal zijn.

Probleemstelling

In industriële toepassingen zoals voorspellend onderhoud en signaalmonitoring is er vaak een tekort aan voldoende kwalitatieve data en infrastructuur om robuuste modellen te trainen. Bestaande methoden voor anomaliedetectie in tijdreeksen hebben vaak te kampen met de volgende beperkingen:

Data-afhankelijkheid: Veel methoden vereisen grote hoeveelheden trainingsdata of volledige toegang tot de dataset (niet-causaal), wat onpraktisch is voor streaming scenario's of data-schaarste.
Interpreteerbaarheid: Veel bestaande systemen gebruiken drempelwaarden die gebaseerd zijn op aannames over een vaste data-distributie. De resulterende "anomalie-scores" hebben vaak geen duidelijke probabilistische betekenis, wat het maken van transparante beslissingen bemoeilijkt.
Aanpassingsvermogen: Tijdreeksen zijn vaak niet-stationair (distributieveranderingen of "distribution shifts"). Bestaande methoden slagen er vaak niet in om zich dynamisch aan te passen aan deze veranderingen zonder de betrouwbaarheid van de detectie te verliezen.
Gebruik van Foundation Models: Hoewel Time Series Foundation Models (TSFMs) uitstekende voorspellingen kunnen doen zonder fijnafstemming (zero-shot), ontbreekt er vaak een robuust raamwerk om de onzekerheid van deze voorspellingen te kwantificeren en om te zetten in betrouwbare alarmen.

Methodologie: W1-ACAS

De auteurs stellen W1-ACAS (1-Wasserstein Adaptive Conformal Anomaly Score) voor. Dit is een post-hoc raamwerk dat voorspellingen van vooraf getrainde TSFMs combineert met geavanceerde conformale voorspellingstechnieken.

Kerncomponenten van de methode:

Niet-conformiteits Scores: Het systeem gebruikt de fouten van een voorspellend model (bijv. $|Y_t - \hat{Y}_t|$ ) als niet-conformiteits scores. Dit vereist geen hertraining van het basisvoorspellingsmodel.
Adaptieve Gewichten via Wasserstein-afstand: In tegenstelling tot traditionele conformale methoden die aannemen dat data uitwisselbaar (exchangeable) is (wat vaak niet geldt voor tijdreeksen), leert W1-ACAS dynamische gewichten voor eerdere waarnemingen.
- Het doel is om de cumulatieve verdelingsfunctie (CDF) van de geschatte p-waarden zo dicht mogelijk bij de uniforme verdeling te brengen.
- Dit wordt geoptimaliseerd door de 1-Wasserstein-afstand (W1) te minimaliseren tussen de geschatte score-verdeling en de uniforme verdeling.
- Door de 1-Wasserstein-afstand te gebruiken, worden eerdere fouten die een vergelijkbare distributie hebben als de huidige waarneming zwaarder gewogen. Dit stelt het systeem in staat om patronen (zoals periodiciteit) te vangen en zich aan te passen aan distributieveranderingen.
Interpreteerbare P-waarden: De methode converteert de ruwe voorspellingsfouten naar een genormaliseerde score $\beta \in [0, 1]$ $β \in [0, 1]$ , die direct geïnterpreteerd kan worden als een p-waarde.
- Een lage p-waarde betekent een hoog risico op een anomalie.
- De drempelwaarde voor een alarm kan direct worden gekoppeld aan een gewenste valse alarmrate (bijv. $\alpha = 0.05$ betekent maximaal 5% valse alarmen).
Aggregatie over Voorspellingshorizons: Het systeem werkt parallel over meerdere voorspellingshorizonten (bijv. 15 stappen vooruit). De uiteindelijke anomalie-score is de mediaan van de p-waarden over deze horizonten, wat de robuustheid verhoogt.

Algoritme:
Het algoritme werkt online. Het onderhoudt een buffer van recente fouten en past de gewichten periodiek aan via geprojecteerde gradiëntafstijging (projected gradient descent) om de W1-objective te minimaliseren. Dit gebeurt zonder het basismodel te hertrainen.

Belangrijkste Bijdragen

Post-hoc en Model-onafhankelijk: De methode kan direct worden toegepast op bestaande, vooraf getrainde TSFMs (zoals Chronos, TTM, TiRex) zonder extra training of fijnafstemming. Dit maakt het ideaal voor omgevingen met beperkte data en expertise.
Interpreteerbaarheid en Controle: De output is direct een p-waarde, wat gebruikers een transparante en probabilistische basis biedt voor besluitvorming. Het garandeert een specifieke valse alarmrate.
Robuustheid tegen Distributieveranderingen: Door het leren van adaptieve gewichten op basis van de 1-Wasserstein-afstand, behoudt het systeem zijn kalibratie zelfs bij niet-stationaire data en verschuivingen in de data-distributie.
Distributie-onafhankelijk: De methode maakt geen aannames over de onderliggende verdeling van de fouten (bijv. Gaussiaans), waardoor het geschikt is voor complexe en zwaar-tailige foutverdelingen.

Resultaten

De auteurs hebben W1-ACAS getest op zowel synthetische datasets als een breed scala aan real-world benchmarks (YAHOO, NAB, MSL, NEK, IOPS, STOCK, WSD, en multivariate datasets zoals TAO en GECCO).

Prestaties: W1-ACAS presteerde consistent beter dan bestaande methoden, inclusief semi-supervised deep learning modellen (zoals CNN, USAD, OmniAnomaly) en klassieke statistische methoden (KShape, SAND).
Kalibratie: De methode toonde de beste kalibratie aan, wat betekent dat de waargenomen valse alarmrate zeer dicht lag bij de ingestelde drempelwaarde. Andere methoden neigden vaak naar over- of onder-confidence.
Valse Alarmen: W1-ACAS behaalde de laagste valse alarmratios (FPR) bij gelijke detectieprestaties, wat cruciaal is voor industriële toepassingen waar "alarm fatigue" een groot probleem is.
Efficiëntie: De methode is computatie-efficiënt en geschikt voor streaming applicaties, met een verwerkingstijd van ongeveer 0,025 seconden per steekproef per feature op een GPU.

Significantie

Dit paper biedt een praktische oplossing voor een van de grootste uitdagingen in industriële data-analyse: het betrouwbaar detecteren van anomalieën in data-schaarse en dynamische omgevingen.

Industriële Toepasbaarheid: Het elimineert de noodzaak voor uitgebreide datasets en gespecialiseerde datawetenschappers, waardoor het toegankelijk wordt voor bedrijven die direct monitoring willen implementeren.
Vertrouwen in AI: Door de output te vertalen naar een interpreteerbare p-waarde, verhoogt het de acceptatie van AI-systemen bij operationele teams, omdat de onzekerheid kwantificeerbaar en controleerbaar is.
Toekomstbestendigheid: De integratie van Time Series Foundation Models met adaptieve conformale voorspelling stelt een nieuwe standaard voor hoe grote, vooraf getrainde modellen veilig en betrouwbaar kunnen worden ingezet voor kritieke monitoringtaken.

Kortom, W1-ACAS combineert de kracht van moderne foundation models met de wiskundige garanties van conformale voorspelling, resulterend in een systeem dat niet alleen nauwkeurig is, maar ook transparant, adaptief en betrouwbaar in de echte wereld.