🤖 machine learning

EventTSF: Event-Aware Non-Stationary Time Series Forecasting

EventTSF is een autoregressief diffusieframework dat de voorspelling van niet-stationaire tijdreeksen verbetert door tekstuele gebeurtenisdata te integreren via gebeurtenisbewuste flow-matching tijdstappen, waarmee de uitdagingen van multimodale interactie en onevenwichtige ontdoeningmoeilijkheid worden aangepakt om bestaande basismodellen aanzienlijk te overtreffen.

Oorspronkelijke auteurs: Yunfeng Ge, Ming Jin, Yiji Zhao, Hongyan Li, Bo Du, Chang Xu, Shirui Pan

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yunfeng Ge, Ming Jin, Yiji Zhao, Hongyan Li, Bo Du, Chang Xu, Shirui Pan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het weer voor volgende week te voorspellen. Een traditionele weerman kijkt alleen naar de temperatuur, de wind en de regen van de afgelopen dagen. Hij zou kunnen zeggen: "Het ziet er naar uit dat het gaat regenen, want het regende gisteren." Maar hij mist het grote plaatje: er vindt morgen een massaal muziekfestival plaats in het centrum, wat file, drukte en een plotselinge piek in de lokale luchtvochtigheid zal veroorzaken die alleen op basis van de historische data niet te voorspellen was.

Dit is het probleem dat het paper EVENTTSF probeert op te lossen.

Het Kernprobleem: De "Blinde" Voorspeller

De meeste modellen voor het voorspellen van tijdreeksen (gebruikt voor energie, verkeer, aandelenmarkten, enzovoort) zijn als die blinde weerman. Ze kijken naar de cijfers, maar negeren het verhaal erachter.

Het Probleem: Wereldwijde data is "niet-stationair", wat betekent dat de regels voortdurend veranderen. Een plotseling evenement (zoals een feestdag, een nieuwsbericht of een stroomstoring) kan de manier waarop de data zich gedraagt volledig veranderen.
Het Gaten: Bestaande modellen negeren deze op tekst gebaseerde gebeurtenissen of proberen ze op een onhandige manier te integreren, wat resulteert in voorspellingen die soepel en veilig zijn, maar vaak fout blijken wanneer de dingen chaotisch worden.

De Oplossing: EVENTTSF (De "Verhaal-bewuste" Predictor)

De auteurs hebben een nieuw systeem gebouwd dat EVENTTSF heet. Denk hierbij aan een superintelligente detective die niet alleen kijkt naar de plaats delict (de cijfers), maar ook het politierapport (de tekstgebeurtenissen) leest om te begrijpen wat er gebeurd is.

Hieronder wordt uitgelegd hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Verhaal Synchroniseren met de Cijfers

Stel je voor dat je een lange video hebt van een drukke straat (de tijdreeks) en een script dat beschrijft wat er in de video gebeurt (de tekstgebeurtenissen).

Oude Manier: Het model bekijkt de video en leest het script apart van elkaar, en probeert dan de toekomst te raden. Ze "praten" eigenlijk nooit echt met elkaar.
EVENTTSF Manier: Het knipt de video in korte clips en vergrendelt elke clip aan de specifieke zin in het script die hem beschrijft. Als het script zegt "Parade begint", is die zin vastgeplakt aan het exacte moment waarop de menigte in de video opstoot. Hierdoor kan het model precies leren hoe een specifiek type gebeurtenis de cijfers verandert.

2. De "Denoising"-Uitdaging (Het Vuile Raam)

Het model gebruikt een techniek die Diffusie heet, wat vergelijkbaar is met het proberen te reinigen van een raam dat bedekt is met dikke mist om het beeld eronder te zien.

Het Probleem: In het verleden reinigden modellen het raam volgens een vast schema. Ze gingen ervan uit dat elk deel van het beeld even moeilijk te reinigen was.
De Realiteit: Sommige delen van het beeld (zoals een rustige dag) zijn makkelijk te reinigen. Andere delen (zoals een chaotische evenementendag) zijn bedekt met dikke, plakkerige modder en zijn zeer moeilijk te reinigen.
De Innovatie: EVENTTSF introduceert een "Event-Aware Timestep" (Tijdstap bewust van gebeurtenissen).
- Stel je een slimme reinigingsrobot voor. Als hij een rustige dag ziet, reinigt hij snel. Als hij een chaotisch evenement ziet (zoals een rellen of een uitverkoop), vertraagt hij en besteedt hij extra tijd aan het schrobben van die specifieke plek.
- Het model kijkt eerst naar de tekstgebeurtenis, beseft "Oh, dit is een chaotische dag", en past zijn reinigingsschema dienovereenkomstig aan. Dit voorkomt dat het model in de war raakt of de moeilijke delen opgeeft.

Wat Vonden Ze?

De auteurs testten deze nieuwe detective op 7 verschillende datasets, variërend van synthetische (uitgedachte) data tot real-world verkeer, weer en atmosferische fysica.

De Resultaten: EVENTTSF verpletterde de concurrentie. Het presteerde beter dan 12 andere topmodellen.
- Het verbeterde probabilistische voorspelling (het raden van het bereik van mogelijke uitkomsten) met 41,3%.
- Het verbeterde deterministische voorspelling (het raden van de meest waarschijnlijke uitkomst) met 27,5%.
De "Wat Als"-Test: Ze probeerden tekstgebeurtenissen toe te voegen aan de oude modellen om te zien of dat hielp. Het hielp een beetje, maar niet in de buurt van wat EVENTTSF deed. Dit bewijst dat het simpelweg hebben van de tekst niet genoeg is; je hebt een model nodig dat specifiek is gebouwd om het verband tussen het verhaal en de cijfers te begrijpen.

Een Opmerking over "Slechte" Verhalen

Interessant genoeg bleek het model niet goed te werken op één specifieke dataset: Verkeersnieuws.

Waarom? De nieuwsartikelen waren te lang en vol van flauwekul (achtergrondruis) die niets te maken had met het verkeer. Het was als het lezen van een 50-pagina's tellende roman om te weten of het over 10 minuten gaat regenen. Het model raakte in de war omdat het "verhaal" niet overeenkwam met de "actie".
Les: De tekstgebeurtenissen moeten duidelijk, relevant en beknopt zijn wil het model zijn magie kunnen uitoefenen.

Samenvatting

EVENTTSF is een nieuwe manier om de toekomst te voorspellen die tekstgebeurtenissen (zoals feestdagen, nieuws of promoties) behandelt als essentiële aanwijzingen, en niet als louter achtergrondruis. Door het verhaal te synchroniseren met de cijfers en de leersnelheid aan te passen aan hoe chaotisch de gebeurtenis is, maakt het veel nauwkeurigere voorspellingen dan modellen die alleen naar de cijfers kijken.

Technische Samenvatting: EVENTTSF – Evenementbewuste Niet-Stationaire Tijdreeksvoorspelling

1. Probleemdefinitie

Tijdreeksvoorspelling is cruciaal voor sectoren zoals energie en vervoer, maar staat voor aanhoudende uitdagingen door niet-stationariteit en distributieveranderingen. Hoewel recente vooruitgang (bijv. normalisatie, modeldecompositie) niet-stationariteit binnen één modaliteit heeft aangepakt, negeren ze vaak het feit dat distributieveranderingen vaak verweven zijn met externe gebeurtenissen uit andere modaliteiten, met name natuurlijke taalteksten (bijv. feestdagen, promoties, weerrapporten).

Bestaande benaderingen lijden onder twee primaire beperkingen:

Modaliteitskloof: De meeste methoden vertrouwen op data van één modaliteit of gebruiken grofkorrelige tekstuele context, waardoor ze fijne interacties tussen discrete externe gebeurtenissen en continue tijdreeksen niet modelleren.
Diffusie-inefficiëntie: Klassieke op diffusie gebaseerde voorspellingsmodellen bemonsteren diffusietijdstappen doorgaans uit een vaste uniforme verdeling. Dit negeert evenement-geïnduceerde niet-stationaire variabiliteit, waarbij verschillende gebeurtenissen verschillende verschuivingen veroorzaken in signaalgrootte en variantie. Bijgevolg leidt uniforme bemonstering tot een onbalans in ontdoofingsmoeilijkheid tijdens diffusiestadia, aangezien het Signaal-Ruisverhouding (SNR) heterogeen varieert afhankelijk van de gebeurtenisk context.

2. Methodologie: EVENTTSF

De auteurs stellen EVENTTSF voor, een autoregressief diffusiekader ontworpen om historische tijdreeksen en tekstuele gebeurtenissen te integreren via stapsgewijze diffusie. De architectuur adresseert de synchronisatie van discrete gebeurtenissen en continue reeksen, evenals de onbalans in ontdoofingsmoeilijkheid.

2.1 Multimodale Autoregressieve Diffusie

Gebeurtenissynchronisatie: Het model partitioneert continue tijdreeksen in niet-overlappende segmenten ( $x_s$ ) en aligneert elk met een overeenkomstige tekstuele gebeurtenisembedding ( $c_s$ ). Als er geen gebeurtenis optreedt, wordt een NULL-gebeurtenis toegewezen. Dit creëert een verenigde representatie $D = \{(x_s, c_s)\}$ , waarmee de kloof tussen temporale puntprocessen en continue reeksen wordt overbrugd.
Autoregressieve Generatie: Het model behandelt voorspelling als een autoregressieve generatie van fijne segmenten. Bij elke stap $s$ conditioneert het op een latente toestand $Z_{s-1}$ (die de geschiedenis samenvat), het huidige ruissegment $x^t_s$ , en de gealigneerde gebeurtenisembedding $c_s$ .
Flow Matching: In plaats van standaard diffusie, maakt het model gebruik van Flow Matching om een snelheidsveld $v_t$ te leren dat een eenvoudige priorverdeling transformeert naar de doeldata-verdeling. De ontdoofaar $M_\theta$ wordt getraind om dit snelheidsveld te voorspellen en de latente toestand $Z_s$ autoregressief bij te werken.

2.2 Evenementbewuste Tijdstapbemonstering

Om de onbalans in ontdoofingsmoeilijkheid veroorzaakt door uniforme tijdstapbemonstering te mitigeren, introduceert EVENTTSF een evenementbewuste flow-matching tijdstap.

Probleem: Uniforme bemonstering ( $t \sim U(0,1)$ ) houdt geen rekening met het feit dat verschillende gebeurtenissen verschillende SNR's induceren, wat leidt tot heterogene ontdoofingsmoeilijkheden.
Oplossing: Het model reparameteriseert een basis uniforme tijdstap $\hat{t}$ naar een gebeurtenisadaptieve tijdstap $t$ met behulp van een leerbare mappingsfunctie $\phi$ :
$t = \phi(\hat{t}, c) = F^{-1}_{\text{Beta}(\alpha(c), \beta(c))}(\hat{t})$
Mechanisme: Twee lichtgewicht lineaire netwerken voorspellen de parameters $\alpha(c)$ en $\beta(c)$ van een Beta-verdeling die geconditioneerd is op de gebeurtenisembedding $c$ . Dit zorgt ervoor dat de effectieve ontdoofingsmoeilijkheid eerlijker wordt verdeeld over diffusiestadia voor specifieke gebeurtenistypen, waarbij het bemonsteringsschema wordt aangepast aan de gebeurtenissementiek.

2.3 Architectuurdetails

De kern-ontdoofaar is een Multimodale U-vormige Diffusie-Transformer (M-U-DiT). Deze maakt gebruik van down-sampling en up-sampling met skip-verbindingen om gebeurtenissementiek te aligneren met multi-resolutie temporele patronen. Het integreert historische toestanden, ruisinvoer en gebeurteniscondities via cross-attention-mechanismen.

3. Belangrijkste Bijdragen

Paradigmaherformulering: Het artikel formuleert evenementbewuste niet-stationaire voorspelling als een multimodaal paradigma, waarbij expliciet externe gebeurtenisinformatie wordt opgenomen om distributieveranderingen aan te pakken die door modellen met één modaliteit worden gemist.
Methodologische Innovatie:
- Fijne Alignering: Introduceert een synchronisatiemechanisme om discrete gebeurtenissegmenten te aligneren met continue tijdreeksvensters.
- Evenementbewuste Tijdstap: Stelt een nieuwe reparameterisatiestrategie voor die gebeurtenis-geconditioneerde diffusieschema's leert om ontdoofingsmoeilijkheid in evenwicht te brengen, voorbijgaand aan statische uniforme bemonstering.
Superieure Prestaties: Uitgebreide experimenten tonen aan dat EVENTTSF 12 basismodellen (waaronder niet-stationaire en op diffusie gebaseerde modellen) overtreft op 7 datasets.

4. Experimentele Resultaten

Het model werd geëvalueerd op 7 datasets (1 synthetisch, 6 real-world voor verkeer, weer en atmosferische fysica) tegen 12 basismodellen (bijv. CSDI, TimeDiff, TMDM, NsDiff, Autoformer, DLinear).

Probabilistische Voorspelling: EVENTTSF behaalde een gemiddelde verbetering van 41,3% in de Continuous Ranked Probability Score (CRPS) en Weighted Quantile Loss (WQL) over alle datasets.
Deterministische Voorspelling: Het model verbeterde de Mean Absolute Error (MAE) met gemiddeld 27,5%.
Ablatiestudies:
- Het verwijderen van tekstuele gebeurtenissen degradeerde de prestaties aanzienlijk (bijv. WQL nam toe met 10,71% op het Temperatuur–New York-dataset).
- Het vervangen van uniforme tijdstapbemonstering door het evenementbewuste mechanisme verminderde consistent de fouten (bijv. CRPS nam af met 9,21%).
Efficiëntie: EVENTTSF toonde snellere trainingstijden (1,13× sneller dan het op één na beste basismodel op synthetische data) en een sublineaire groei in trainingstijd ten opzichte van voorspellingshorizons, toegeschreven aan de aanpak van generatie per segment.
Baseline-augmentatie: Zelfs toen basismodellen werden verrijkt met gebeurtenisembeddings (via cross-attention of residu-conditioning), bleven ze aanzienlijk inferieur aan EVENTTSF, wat aangeeft dat eenvoudige injectie van gebeurtenissen onvoldoende is zonder de specifieke autoregressieve diffusie- en tijdstapmechanismen.

5. Betekenis en Claims

Het artikel claimt de pionier te zijn in de integratie van externe multimodale kennis specifiek voor niet-stationaire tijdreeksvoorspelling. De betekenis ligt in:

Aanpakken van de Modaliteitskloof: Het biedt een verenigd kader voor het modelleren van de interactie tussen discrete tekstuele gebeurtenissen en continue tijdreeksen, waarbij cascade- en vertraagde afhankelijkheden worden vastgelegd die door globale contextmodellen worden gemist.
Oplossen van Diffusie-onbalans: Het identificeert en lost het probleem van evenement-geïnduceerde heterogeniteit in ontdoofingsmoeilijkheid op, en stelt een leerbare, gebeurtenis-geconditioneerde bemonsteringsplanning voor die training stabiliseert en de generatiekwaliteit verbetert.
Praktische Toepasbaarheid: Het kader is ontworpen voor scenario's waar toekomstige gebeurtenissen (bijv. geplande promoties, feestdagen) vooraf bekend zijn, waardoor het model distributieveranderingen kan anticiperen die niet alleen uit historische observaties kunnen worden afgeleid.

De auteurs concluderen dat EVENTTSF een flexibel paradigma vestigt voor het opnemen van heterogene gebeurtenissementiek in temporele modellering, waardoor nieuwe richtingen worden geopend voor het analyseren van cross-modale niet-stationaire dynamiek.