Dynamic Multi-period Experts for Online Time Series Forecasting

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een weerman bent die elke dag de weersvoorspelling moet doen. In de oude wereld (de "offline" manier) leerde je jarenlang op basis van historische data en maakte je één grote, statische voorspelling voor de rest van je leven. Maar in de echte wereld verandert het weer voortdurend. Soms is het een normale lente, maar dan breekt plotseling een ongekende hittegolf uit, of verandert het klimaat zo snel dat je oude kennis niet meer werkt.

Dit is precies het probleem dat de auteurs van dit paper, DynaME, proberen op te lossen voor tijdreeksvoorspellingen (zoals energieverbruik, verkeersdrukte of beurskoersen).

Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: Verkeersdrukte en Nieuwe Routes

De meeste huidige systemen kijken alleen naar wat er net gebeurd is. Ze denken: "Gisteren was het druk, dus vandaag zal het ook druk zijn." Dit werkt goed als het weer normaal is. Maar wat als er een onverwachte gebeurtenis plaatsvindt?

De auteurs zeggen dat er twee soorten "veranderingen" (concept drift) zijn:

De "Herhalende" Verandering (Recurring Drift): Dit is als het weekend. Elke zaterdag is het drukker dan elke maandag. Dit patroon herhaalt zich. Als je alleen naar gisteren kijkt (vrijdag), mis je het patroon van de vorige zaterdag. Je hebt een "tijdmachine" nodig om naar die specifieke dagen in het verleden te kijken.
De "Nieuwe" Verandering (Emergent Drift): Dit is als een plotselinge aardbeving of een pandemie. Er is geen historisch patroon voor. Alles wat je in het verleden hebt geleerd, is nu nutteloos. Je moet snel schakelen en een nieuwe strategie bedenken.

De oude systemen behandelen beide situaties hetzelfde: ze proberen zich aan te passen aan het allerlaatste stukje data. Dat werkt goed voor de "Nieuwe" verandering, maar faalt bij de "Herhalende" verandering omdat ze het verleden vergeten.

2. De Oplossing: Een Team van Specialisten (DynaME)

In plaats van één grote, slimme computer die alles probeert te doen, bouwen de auteurs een team van experts.

Stel je voor dat je een Orkest hebt:

De Dirigent (De "Backbone"): Dit is de algemene leider die zorgt dat het orkest samen speelt. Hij is stabiel en weet hoe muziek in het algemeen klinkt.
De Specialisten (De "Experts"): Dit is een groep muzikanten die elk gespecialiseerd is in een specifiek tijdsbestek.
- Expert A luistert naar de patronen van gisteren.
- Expert B luistert naar de patronen van vorige week.
- Expert C luistert naar de patronen van vorig jaar.

Elke keer als er nieuwe data binnenkomt (bijvoorbeeld: "Het is nu 14:00 uur"), kijkt het systeem: "Welke expert is nu het meest relevant?"

Als het zaterdagmiddag is, luistert het systeem vooral naar Expert B (vorige zaterdag).
Als het een maandagochtend is, luistert het naar Expert A.

Dit noemen ze Dynamische Multi-period Experts. Het systeem kiest slim welke "tijdreis-expert" hij moet raadplegen.

3. De Veiligheidskraan: Wat als er een Aardbeving komt?

Wat gebeurt er als er een Nieuwe Verandering (Emergent Drift) plaatsvindt? Stel, er breekt een ongekende storm los. Alle specialisten (die naar het verleden kijken) maken nu enorme fouten, omdat hun oude patronen niet meer werken.

Hier komt het slimme deel van DynaME:

Het systeem heeft een alarmknop (de "Danger Signal").
Als de fouten van de specialisten te hoog oplopen (een piek in de fouten), slaat het alarm af.
De Dirigent grijpt dan direct in. Hij zegt: "Stop met luisteren naar de specialisten, ze zijn in de war! Luister naar mij, de stabiele leider."
De Dirigent neemt het over, geeft een veilige, algemene voorspelling en begint terwijl hij voorspelt, snel te leren van de nieuwe situatie. Zodra er genoeg nieuwe data is, kunnen de specialisten weer hun werk oppakken.

4. Waarom is dit zo slim?

Het is flexibel: Het weet wanneer het naar het verleden moet kijken (voor herhalende patronen) en wanneer het dat niet moet doen (voor nieuwe chaos).
Het is snel: In plaats van het hele orkest opnieuw te laten oefenen (wat lang duurt), past het alleen de specifieke specialisten aan die nu nodig zijn.
Het is veilig: Het heeft een noodplan om grote fouten te voorkomen als er iets totaal onbekends gebeurt.

Conclusie

DynaME is als een super-slimme weerman die niet alleen naar de lucht kijkt, maar ook een team heeft met:

Een historicus die weet hoe het eruitzag op dezelfde dag vorig jaar.
Een trendwatcher die kijkt naar wat er gisteren gebeurde.
Een noodmanager die ingrijpt als er een onvoorspelbare storm opkomt.

Door deze drie rollen slim te combineren, maakt DynaME veel betere voorspellingen dan systemen die alleen maar naar "wat er net gebeurde" kijken. Het is de perfecte balans tussen het leren van het verleden en het reageren op het heden.

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het paper "Dynamic Multi-period Experts for Online Time Series Forecasting" in het Nederlands.

Titel: Dynamic Multi-period Experts for Online Time Series Forecasting (DynaME)

Auteurs: Seungha Hong, Sukang Chae, Suyeon Kim, Sanghwan Jang en Hwanjo Yu (POSTECH & Kyungpook National University).
Publicatie: The ACM Web Conference 2026 (WWW '26).

1. Het Probleem: Online Time Series Forecasting (OTSF) en Concept Drift

Online Time Series Forecasting (OTSF) vereist dat modellen continu leren en zich aanpassen aan data die als een continue stroom binnenkomt. De grootste uitdaging hierbij is concept drift: het fenomeen waarbij de onderliggende patronen van de data veranderen over tijd, wat leidt tot een mismatch tussen de trainingsverdeling en de huidige testverdeling.

De auteurs identificeren een fundamentele beperking in bestaande methoden:

Monolithische benadering: Bestaande state-of-the-art methoden behandelen concept drift als één enkelvoudig fenomeen en vertrouwen vaak op een "recency-first" strategie (prioriteit geven aan de meest recente data).
De nuance van drift: De auteurs stellen dat dit te simplistisch is. Ze herdefiniëren drift in twee distincte categorieën:
1. Recurring Drift (Terugkerende Drift): Patronen die eerder zijn gezien en opnieuw verschijnen (bijv. wekelijkse of dagelijkse seizoenspatronen). Hierbij ligt de relevante informatie vaak in het verleden, niet direct in het recente verleden. Recency-bias faalt hier omdat het relevante historische patronen vergeet.
2. Emergent Drift (Emergente Drift): Volledig nieuwe patronen die ontstaan door ongeziene gebeurtenissen (bijv. een pandemie die energieverbruik verandert). Hierbij zijn historische patronen irrelevant en moet het model snel een nieuw patroon leren zonder grote fouten te maken.

2. Methodologie: Het DynaME Framework

Om deze twee soorten drift aan te pakken, stellen de auteurs DynaME (Dynamic Multi-period Experts) voor. Dit is een hybride architectuur die bestaat uit een stabiele "backbone" en een comité van gespecialiseerde experts, gecoördineerd door een dynamische gating network.

Architectuurcomponenten:

Gedeelde Backbone ( $\phi$ ): Een stabiel, algemeen doelmodel (bijv. PatchTST, iTransformer) dat hoogwaardige feature-representaties extrahert.
Comité van Experts:
- Generalist Expert ( $f_0$ ): Een geparametriseerde expert die een stabiele, algemene voorspelling levert. Deze fungeert als een veiligheidsnet.
- Gespecialiseerde Experts ( $f_1, ..., f_k$ ): Deze experts zijn niet-parametrisch en worden on-the-fly aangepast op elk tijdstip. Ze zijn toegewezen aan specifieke historische perioden (bijv. dag, week) die op dat moment dominant zijn.
Dynamic Gating Network ( $g$ ): Een neurale netwerklaag die de context analyseert en gewichten toekent aan de voorspellingen van alle experts.

Kernmechanismen:

Dynamische Periode-selectie:
Het model gebruikt de Fast Fourier Transform (FFT) op het huidige historische venster om de $k$ dominantste frequenties te identificeren. Deze worden omgezet in periode-lengten (bijv. 24 uur, 168 uur). Voor elke periode wordt een historisch batch van data samengesteld om een specifieke expert te trainen.
Non-parametrische Expert Adaptatie:
In plaats van zware gradient descent voor elke expert, wordt het aanpassingsprobleem opgelost als een Ridge Regression probleem.
- Door gebruik te maken van de dual-form oplossing, verschuift de rekencomplexiteit van de feature-dimensie $D$ (groot) naar het aantal steekproeven $n$ (klein).
- Dit maakt het mogelijk om experts direct en efficiënt te "fit" op nieuwe data zonder iteratieve training, wat essentieel is voor online learning.
Veiligheidsmechanisme voor Emergent Drift (Danger Signal):
Om Emergent Drift te detecteren, monitort het systeem de recente voorspellingsfouten (MSE) via een Exponentially Weighted Moving Average (EWMA).
- Als er een scherpe piek in de fout optreedt (een "danger signal"), wordt aangenomen dat de gespecialiseerde experts onbetrouwbaar zijn omdat ze proberen oude patronen toe te passen op een nieuw fenomeen.
- Het gating-netwerk past de gewichten dynamisch aan: het verlaagt het gewicht van de gespecialiseerde experts en verhoogt het gewicht van de stabiele Generalist Expert ( $f_0$ ).
- Dit zorgt voor stabiliteit tijdens de piek en dwingt de generalist om het nieuwe patroon te leren totdat de gespecialiseerde experts opnieuw kunnen aanpassen.

3. Belangrijkste Bijdragen

Herdefinitie van Concept Drift: De auteurs introduceren een nieuwe taxonomie voor OTSF die onderscheid maakt tussen Recurring Drift en Emergent Drift, en aantoont dat bestaande "recency-focused" methoden tekortschieten bij terugkerende patronen.
DynaME Framework: Een nieuw hybride framework dat beide drift-types effectief aanpakt door een combinatie van een stabiele backbone, dynamisch aangepaste gespecialiseerde experts en een veiligheidsmechanisme.
Efficiëntie: Door het gebruik van non-parametrische experts en dual-form regressie, blijft het model computatie-efficiënt en geschikt voor real-time toepassing, ondanks het gebruik van meerdere experts.
Model-Agnostisch: Het framework werkt als een plug-in op diverse state-of-the-art backbones (PatchTST, iTransformer, xPatch).

4. Resultaten

De auteurs hebben DynaME uitgebreid getest op meerdere benchmark datasets (ETT, Traffic, ECL, Weather) met verschillende forecast horizons.

Prestatie: DynaME overtreft consistent bestaande state-of-the-art methoden (zoals PROCEED, DSOF, SOLID) in termen van Mean Squared Error (MSE). De verbetering is vooral zichtbaar bij langere forecast horizons, waar het gebruik van relevante historische patronen cruciaal is.
Efficiëntie: Hoewel het model complexer is dan simpele methoden (GD), is de inferentie-tijd vergelijkbaar met geavanceerde baselines dankzij de dual-form oplossing. De geheugenvraag blijft laag omdat de gespecialiseerde experts geen extra parameters opslaan.
Ablatie Studies:
- Het verwijderen van de Dynamic Gating Network of het vervangen ervan door een simpele gemiddelde leidt tot significante prestatieverlies.
- Het uitschakelen van het Danger Signal ( $d_t$ ) resulteert in grote foutpieken tijdens Emergent Drift, wat de noodzaak van het veiligheidsmechanisme bevestigt.
- Dynamische periode-selectie presteert beter dan het gebruik van vaste, vooraf gedefinieerde perioden.

5. Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in Online Time Series Forecasting. In plaats van te proberen één universele strategie te vinden voor alle drifts, erkent DynaME de dualiteit van drift en biedt het gespecialiseerde oplossingen voor elk type.

De betekenis ligt in:

Robuustheid: Het vermogen om zowel terugkerende patronen (door gebruik van verleden data) als volledig nieuwe gebeurtenissen (door fallback naar een generalist) te hanteren.
Praktische toepasbaarheid: Het biedt een efficiënte manier om complexe deep learning-modellen online te laten leren zonder de rekenlast te verhogen tot onpraktische niveaus.
Toekomstperspectief: Het kader legt de basis voor verdere onderzoek naar adaptieve systemen die kunnen omgaan met de dynamische en vaak onvoorspelbare aard van real-world datastromen.

Kortom, DynaME is een robuust en efficiënt framework dat de beperkingen van bestaande online forecasting-methoden overwint door concept drift te ontleden en specifiek te adresseren.