🤖 machine learning

Weighted Contrastive Learning for Anomaly-Aware Time-Series Forecasting

Het artikel stelt Weighted Contrastive Adaptation (WECA) voor, een nieuwe methode die normale en met anomalieën uitgebreide representaties uitlijnt om de nauwkeurigheid van multivariate tijdreeksvoorspellingen onder anomaliecondities aanzienlijk te verbeteren, terwijl de prestaties op reguliere gegevens behouden blijven.

Oorspronkelijke auteurs: Joel Ekstrand, Tor Mattsson, Zahra Taghiyarrenani, Slawomir Nowaczyk, Jens Lundström, Mikael Lindén

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joel Ekstrand, Tor Mattsson, Zahra Taghiyarrenani, Slawomir Nowaczyk, Jens Lundström, Mikael Lindén

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Oscillerende Thermostaat"

Stel je voor dat je probeert te voorspellen hoeveel contant geld een geldautomaat elke dag nodig zal hebben. Meestal is het patroon voorspelbaar: mensen halen op vrijdagen geld op, op dinsdagen minder, en misschien een beetje extra tijdens feestdagen.

Moderne AI-modellen zijn erg goed in het leren van deze "normale" patronen. Ze zijn als een thermostaat die een huis op een perfecte temperatuur van 21°C houdt. Maar het echte leven is niet altijd normaal. Soms gebeurt er een crisis (zoals een storing bij een bank of een lokaal festival), en plotseling stormt iedereen naar de geldautomaat. De vraag schiet enorm omhoog.

Het Dilemma:

Het "Stijve" Model: Als je de AI alleen traint op normale dagen, blijft het model kalm en accuraat tijdens normale periodes. Maar wanneer er een crisis uitbreekt, negeert het de chaos en blijft het "normale" aantallen voorspellen. De geldautomaat raakt zonder contant geld en mensen worden boos.
Het "Over-Reactieve" Model: Als je dit probeert op te lossen door de AI voorbeelden van crises te laten zien en het te vertellen om "ervan te leren", gaat het vaak te ver. Het begint elke kleine verandering als een crisis te behandelen. Het vergeet hoe een "normale" dag eruitziet. Nu voorspelt het zelfs op een rustige dinsdag een enorme drukte, waardoor de bank geld verspilt aan het aanhouden van te veel contant geld in de automaat.

Het artikel noemt dit de Stability–Sensitivity Trade-off (de afweging tussen stabiliteit en gevoeligheid). Je wilt een model dat stabiel genoeg is om kleine schommelingen te negeren, maar gevoelig genoeg om te reageren wanneer er een echte aardbeving plaatsvindt.

De Oplossing: WECA (Het "Slimme Filter")

De auteurs stellen een nieuwe trainingsmethode voor genaamd WECA (Weighted Contrastive Anomaly-Aware Adaptation).

Beschouw het leerproces van de AI als een student die studeert voor een examen.

Standaard Training: De student bestudeert alleen de normale dagen. Hij zakt voor het "Crisis"-gedeelte van het examen.
Fine-Tuning (De oude oplossing): De leraar laat de student een paar crisis-voorbeelden zien en zegt: "Leer deze uit je hoofd!" De student leert ze zo goed dat hij alles vergeet. Hij zakt voor het "Normale" gedeelte van het examen.
WECA (De nieuwe aanpak): De leraar geeft de student een speciaal filter.
- Wanneer de student een kleine, onschadelijke variatie ziet (zoals een iets druktere vrijdag), zegt het filter: "Dit is gewoon een normale dag. Negeer de ruis en houd je voorspelling stabiel." (Hoge Stabiliteit).
- Wanneer de student een enorme, angstaanjagende piek ziet (een echte crisis), zegt het filter: "Dit is anders! Negeer dit niet. Pas je voorspelling onmiddellijk aan." (Hoge Gevoeligheid).

Hoe het werkt (Het "Gewogen" deel)

De magie van WECA zit in de manier waarop het verschillende soorten data behandelt. Het gebruikt een wiskundige "gewicht" (een score van 0 tot 1) om te beslissen hoeveel de AI moet leren van een specifiek voorbeeld.

Milde Variaties (Gewicht = 1.0): Als de AI een dag ziet die slechts een klein beetje afwijkt van normaal, dwingt het de AI om deze dag precies als een normale dag te behandelen. Dit houdt het model stabiel. Het raakt niet in de war van kleine ruis.
Ernstige Anomalieën (Gewicht = 0.5 of lager): Als de AI een enorme, onrealistische piek ziet (die een crisis simuleert), vertelt het de AI: "Dwing dit niet om op een normale dag te lijken. Behoud het verschil." Dit behoudt het signaal dat nodig is om de crisis correct te voorspellen.

Het is als een dansinstructeur. Als een student een klein struikelmoment heeft, zegt de instructeur: "Dans gewoon door, dat was maar een struikelpartij." Maar als de muziek stopt en de lichten uitgaan, zegt de instructeur: "Stop met dansen! Er is iets groots veranderd!"

De Resultaten: De ATM-test

De onderzoekers testten dit op een echte dataset van 1.300 geldautomaten in heel Zweden over een periode van twee jaar. Ze simuleerden crises door "nep" vraagpieken in te voegen die leken op echte rampen.

Dit is wat er gebeurde:

Het "Stijve" Model: Presteerde goed op normale dagen, maar faalde jammerlijk wanneer de nepcrisis toesloeg.
Het "Over-Reactieve" Model (Fine-Tuning): Deed het redelijk tijdens de crisis, maar maakte het model slecht in het voorspellen van normale dagen. Het vergat hoe het zich moest gedragen.
Het WECA-Model: Het was de "Goldilocks"-oplossing (precies goed).
- Het bleef bijna perfect accuraat op normale dagen (slechts een minimale, verwaarloosbare daling in prestaties).
- Het verbeterde de nauwkeurigheid op crisistagen met een enorme marge (6,1 procentpunt beter dan het standaardmodel).

De Kernboodschap

Het artikel bewijst dat je niet hoeft te kiezen tussen een model dat betrouwbaar is op normale dagen en een model dat reageert op noodsituaties. Door deze "gewogen" aanpak te gebruiken, kun je één enkele AI trainen die het verschil weet tussen een "struikelpartij" en een "aardbeving", waardoor de geldautomaat gevuld blijft wanneer dat het hardst nodig is, zonder geld te verspillen wanneer dat niet nodig is.

Technische Samenvatting: Weighted Contrastive Learning voor Anomalie-bewuste Tijdreeksvoorspelling

Probleemstelling
Diepe tijdreeksvoorspellers bereiken een hoge nauwkeurigheid op stationaire, routinematige data, maar falen vaak in productieomgevingen wanneer datadistributies abrupt verschuiven door anomalieën (bijv. crises, uitval of plotselinge pieken in de vraag). In kritieke toepassingen zoals de logistiek van contant geld bij geldautomaten leiden dergelijke fouten tot dienstverleningsonderbrekingen of kapitaalinefficiëntie. De kernuitdaging die wordt geïdentificeerd is een stabiliteit–gevoeligheid-trade-off: een model moet accuraat blijven onder routinematige variaties (stabiliteit), terwijl het correct moet reageren op echte anomalieën die het voorspellingsverloop veranderen (gevoeligheid).

Standaard benaderingen hebben moeite om dit op te lossen:

Fine-tuning op anomalie-verrijkte data leidt vaak tot catastrofale vergetelheid (catastrophic forgetting), waarbij het model weliswaar presteert op anomalie-data, maar de prestaties op normale data aanzienlijk verslechtert.
Standaard Contrastive Learning brengt normale en geaugmenteerde samples in lijn om robuuste representaties te leren. Het afdwingen van strikte uitlijning tussen normale en anomalie-geaugmenteerde samples kan echter de zeer relevante anomalie-signalen onderdrukken die nodig zijn voor nauwkeurige voorspellingen tijdens verschuivingen.

Methodologie: Weighted Contrastive Anomaly-Aware Adaptation (WECA)
De auteurs stellen WECA voor, een trainingsdoelstelling ontworpen om representaties te leren die invariant zijn voor beneagene variaties, maar gevoelig voor significante anomalieën. De methode werkt binnen een standaard encoder-decoder voorspellingsframework ( $g_\phi$ en $h_\psi$ ) en introduceert een gewogen contrastieve verliesfunctie aan de trainingsdoelstelling.

Gewogen Uitlijning: In plaats van volledige invariantie af te dwingen tussen een originele input $x_i$ $x_{i}$ en zijn anomalie-geaugmenteerde tegenhanger $\tilde{x}_i$ $\tilde{x}_{i}$ , schaalt WECA de contrastieve uitlijning op basis van de ernst van de perturbatie.
- Milde variaties: Krijgen een hoge overeenkomstgewicht ( $w_{(i,t)} \approx 1$ ), wat sterke uitlijning afdwingt om stabiliteit te waarborgen.
- Erstige anomalieën: Krijgen een gereduceerd gewicht ( $w_{(i,t)} < 1$ ), waardoor de representaties mogen divergeren. Dit behoudt het distributionele signaal dat nodig is om het verschoven verloop accuraat te voorspellen.
Verliesfunctie: De methode maakt gebruik van een InfoNCE-stijl doelstelling waarbij de contrastieve verlies $\ell_{WECA}$ wordt geschaald door het gewicht $w_{(i,t)}$ . De totale trainingsdoelstelling combineert de standaard voorspellingsverlies (MAE) met de gewogen contrastieve term, gecontroleerd door een hyperparameter $\lambda$ .
Anomalie-injectie: Het model wordt getraind op een dataset die is uitgebreid met synthetische anomalieën, geparametriseerd door amplitude, duur en verval, gekalibreerd om historische gebeurtenissen met een hoge impact (bijv. vraagpieken of -uitval) na te bootsen.

Belangrijkste Bijdragen

Formalisering: Het artikel formaliseert anomalie-bewuste voorspelling als een dubbele doelstelling: het leren van representaties die invariant zijn voor beneagene variaties, terwijl ze gevoelig blijven voor anomalieën.
Algoritmische Innovatie: Het introduceert een gewogen contrastieve verliesfunctie die de kracht van de uitlijning dynamisch regelt, waardoor een instelbare invariantie–gevoeligheid-trade-off mogelijk is zonder architecturale wijzigingen.
Empirische Validatie: Het toont aan dat deze aanpak de nauwkeurigheid onder distributieverschuivingen op echte data van contante geldvraag verbetert, zonder de prestaties tijdens normale operaties te verslechteren.

Experimentele Resultaten
De methode werd geëvalueerd op een landelijke dataset van ATM-transacties die ongeveer 1.300 locaties beslaat over twee jaar. Het gebruikte backbone-model was TimesNet.

Baselines: De studie vergeleek WECA met:
- NT (Normally Trained): Alleen getraind op normale data.
- FT (Fine-Tuning): Aangepast op anomalie-verrijkte data.
- CL-IL (Standard Contrastive Learning): Instance-level contrastive learning met uniforme gewichten ( $w=1$ ).
Prestatie-metrieken (SMAPE):
- Fine-Tuning (FT): Verbeterde de prestaties op anomalie-beïnvloede data (AD) met 7,22 punten, maar verslechterde de prestaties op normale data (ND) met 2,77 punten, wat de catastrofale vergetelheid bevestigt.
- Standard Contrastive (CL-IL): Verbeterde de AD-prestaties met 4,82 punten met een verwaarloosbare impact op ND (-0,11 punten).
- WECA: Bereikte de optimale balans. Het verbeterde de AD-prestaties met 6,13 procentpunt (reductie van SMAPE van 37,91% naar 31,78%) terwijl de ND-nauwkeurigheid vrijwel onveranderd bleef (SMAPE-verandering van slechts 0,03 procentpunt).
Contrastieve As-analyse: De auteurs stelden vast dat Instance-level contrastieve learning (het uitlijnen van volledige sequenties) een sterkere inductieve bias bood voor deze taak dan Temporal contrastive learning (het uitlijnen van individuele tijdstappen), omdat dat laatste het risico liep op overmatige afvlakking (over-smoothing) van abrupte anomalie-onsets.

Betekenis en Claims
Het artikel claimt dat WECA de stabiliteit–gevoeligheid-trade-off oplost tijdens de trainingstijd, waardoor post-deployment adaptatie of architecturale modificaties overbodig worden. De resultaten suggereren dat anomalie-robuustheid niet ten koste hoeft te gaan van betrouwbaarheid in het normale regime. Door de contrastieve uitlijning te wegen volgens de ernst van de perturbatie, leert het model ruis te negeren terwijl het het vermogen behoudt om te reageren op echte distributieverschuivingen. Dit is bijzonder significant voor industriële implementaties waarbij voorspellingsfouten direct leiden tot operationele uitval of kapitaalinefficiëntie.

Beperkingen
De auteurs merken op dat de gebruikte anomalie-injectie synthetisch is, gekalibreerd op historische gebeurtenissen in plaats van afkomstig uit geobserveerde deployment-fouten. Toekomstig werk wordt gesuggereerd om de methode te valideren tegen echte anomalieën (bijv. geleidelijke drift, sensorfouten) en om geleerde of taakadaptieve weegschema's te verkennen.