🤖 machine learning

SurF: A Generative Model for Multivariate Irregular Time Series Forecasting

SurF is een nieuw generatief model voor multivariate onregelmatige tijdreeksen dat gebruikmaakt van de Time Rescaling Theorem om gebeurtenissequenties af te beelden op i.i.d.-ruis, waardoor efficiënte, schaalbare en state-of-the-art forecasting mogelijk wordt op diverse real-world datasets via pretraining op meerdere datasets.

Oorspronkelijke auteurs: Mohammad R. Rezaei, Tejas Balaji, Rahul G. Krishnan

Gepubliceerd 2026-05-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mohammad R. Rezaei, Tejas Balaji, Rahul G. Krishnan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te voorspellen wanneer de volgende bus zal arriveren. In een perfecte wereld komen bussen elke 10 minuten op de minuut. Maar in de echte wereld zijn bussen rommelig: soms komt er één binnen 2 minuten, soms binnen 45, en soms komen er drie tegelijk aan. Dit is wat datawetenschappers een "irreguliere tijdreeks" noemen.

De meeste huidige AI-modellen zijn als rigide treinroosters; ze verwachten dat data op vaste, regelmatige intervallen arriveert. Als je ze rommelige, irreguliere data voert, raken ze in de war. Het artikel introduceert een nieuw model genaamd SurF (Survival Flow) dat specifiek is ontworpen om dit chaos te begrijpen.

Hier is hoe SurF werkt, uitgelegd via eenvoudige analogieën:

1. Het Probleem: De "Gummiband" van Tijd

Stel je voor dat je een gummiband hebt met daarop gebeurtenissen (zoals aardbevingen, tweets of taxiritjes) gemarkeerd.

Oude Modellen: Ze proberen deze gummiband uit te rekken om te passen bij een standaard liniaal. Als de gaten tussen gebeurtenissen enorm variëren (van seconden tot dagen), breekt de liniaal. Ze proberen de data in een rooster te forceren, wat de unieke patronen van de timing vernietigt.
Het SurF-Inzicht: In plaats van de data te forceren om in een liniaal te passen, rekt SurF de gummiband zelf uit. Het gebruikt een wiskundige truc genaamd de Time Rescaling Theorem (Tijdsrescalingstheorema). Denk hierbij aan een magische machine die je rommelige, irreguliere tijdslijn neemt en deze uitrekt of comprimeert totdat de gaten tussen gebeurtenissen er perfect normaal en uniform uitzien.

2. De Magische Truc: Chaos Omzetten in "Wit Ruis"

SurF heeft een speciale superkracht: het kan elke rommelige stroom van gebeurtenissen vertalen naar een eenvoudige, universele taal: willekeurige ruis.

De Voorwaartse Reis (Training): SurF neemt een reeks gebeurtenissen (zoals een reeks aardbevingen) en voert deze door zijn "rek-machine". Het transformeert de tijdsintervallen totdat ze eruitzien als i.i.d. Exp(1).
- In gewone taal: Dit is een chique manier om te zeggen dat het de complexe timingdata omzet in een zak vol perfect willekeurige, standaardnummers (zoals het gooien van een dobbelsteen die altijd op een specifieke verdeling landt).
- Omdat elke dataset (of het nu aardbevingen, beurstransacties of tweets zijn) wordt omgezet in deze zelfde zak vol willekeurige nummers, kan SurF van allemaal tegelijk leren. Het is alsof je Engels leert door elke taal ter wereld te vertalen naar hetzelfde simpele alfabet.
De Terugwaartse Reis (Voorspelling): Dit is het geniale deel. Omdat de machine een bijectie is (een perfecte tweewegdeur), kan SurF ook terug.
1. Het genereert een stukje willekeurige ruis (een nep-"Exp(1)"-getal).
2. Het voert die ruis in omgekeerde richting door de machine.
3. De machine rekt de gummiband niet uit, maar maakt hem weer recht, en verandert dat simpele willekeurige getal terug in een realistische voorspelling van wanneer de volgende gebeurtenis zal plaatsvinden.

3. Drie Verschillende "Rek-Machines"

Het artikel biedt drie verschillende manieren om deze rek-machine te bouwen, afhankelijk van hoe complex de data is:

MoE (Mixture of Exponentials): Zoals een simpele set veren. Het is snel en geweldig voor data die snel vervaagt (zoals een vervagende echo).
CSB (Cumulative Softplus Basis): Zoals een flexibele, buigzame liniaal. Het kan data aan die bulten en hobbel heeft (zoals een plotselinge uitbarsting van tweets).
GLQ (Gauss-Legendre Quadrature): Zoals een hoogprecisie lasersnijder. Het is het meest flexibel en behandelt de vreemdste, meest irreguliere patronen, maar vereist een klein beetje meer berekening.

4. De "Foundation Model"-Prestatie

Normaal gesproken train je een model alleen op aardbevingsdata om aardbevingen te voorspellen. Om tweets te voorspellen, train je een ander model op tweet-data. Ze praten niet met elkaar.

SurF is anders. De auteurs hebben één enkel model getraind op zes volledig verschillende datasets (Aardbevingen, Taxiritjes, Amazon-reviews, Retweets, StackOverflow-vragen en Taobao-klikken).

Het Resultaat: Dit enkele model werd een "Foundation Model" voor irreguliere gebeurtenissen. Toen ze het testten op een dataset die het nog nooit had gezien (met een strikte "leave-one-out"-test), won het van elk ander gespecialiseerd model op 5 van de 6 datasets.
Waarom? Omdat het door het leren van het vertalen van alle deze verschillende stromen naar dezelfde "willekeurige ruis"-taal, de universele grammatica leerde van hoe gebeurtenissen plaatsvinden, in plaats van slechts één specifiek onderwerp uit het hoofd te leren.

Samenvatting

Denk aan SurF als een universele vertaler voor tijd.

Oude AI: "Ik begrijp alleen regelmatige klokken. Als je data rommelig is, kan ik niet helpen."
SurF: "Geef me je rommelige tijdslijn. Ik zal deze uitrekken tot een eenvoudig, standaardpatroon, de regels leren, en deze vervolgens weer uitrekken om je precies te vertellen wanneer de volgende gebeurtenis zal plaatsvinden."

Het voorspelt niet alleen de toekomst; het begrijpt de ritmiek van het irreguliere leven, van de trillingen van de aarde tot de klik van een muis, allemaal met één brein.

Technische Samenvatting: SurF – Een Generatief Model voor Multivariate Irreguliere Tijdreeksvoorspelling

Probleemstelling

Irregulier bemonsterde multivariate eventstreams (Temporele Puntprocessen, of TPP's) vormen een aanzienlijke uitdaging voor generatieve modellering. In tegenstelling tot regelmatig bemonsterde tijdreeksen, waarbij data op vaste intervallen arriveert, kenmerken eventstreams zich door asynchrone aankomsten met tussenpozen tussen gebeurtenissen die kunnen variëren met ordes van grootte. Bestaande benaderingen staan voor twee primaire knelpunten:

Op tokenisatie gebaseerde modellen (bijv. TimesFM, Chronos) falen wanneer de intervallen tussen gebeurtenissen drastisch variëren, omdat ze vertrouwen op aannames van een vaste snelheid.
Neurale Temporele Puntprocessen (TPP's) vertrouwen vaak op maximum-likelihood schatting die numerieke integratie van de intensiteitsfunctie $\lambda(t)$ vereist over het observatievenster $[0, T]$ . Deze "vensterniveau-numerieke kwadratuur" creëert een computationeel knelpunt dat schaalt met de venstergrootte en fouten acumuleert tijdens gradiëntstappen. Bovendien worden eerdere neurale TPP's doorgaans per dataset getraind, zonder het vermogen om te generaliseren over heterogene eventstreams.

Methodologie: SurF (Survival Flow)

SurF herformuleert de Time Rescaling Theorem (TRT) niet louter als een evaluatietool, maar als een leerbare, bidirectionele bijectie tussen eventsequenties en i.i.d. unit-rate exponentieel ruis.

Kerntheoretisch Inzicht

De TRT stelt dat als een cumulatieve intensiteitsfunctie $\Lambda^*(t) = \int_0^t \lambda^*(s|H_s) ds$ correct is, de geschaalde aankomsttijden $\Delta z_i = \Lambda^*(t_i) - \Lambda^*(t_{i-1})$ i.i.d. $\text{Exp}(1)$ zijn.
SurF introduceert Stelling 2, die vaststelt dat onder milde voorwaarden (continue intensiteit met een strikt positieve ondergrens $\lambda_{min} > 0$ ), $\Lambda^*$ een $C^1$ -bijectie is met een gladde inverse. Dit stelt het model in staat om:

Voorwaarts (Training): Waargenomen eventtijden af te beelden op $\text{Exp}(1)$ -ruis.
Terugwaarts (Sampling): $\text{Exp}(1)$ -ruis terug af te beelden op eventtijden door de geleerde cumulatieve intensiteit te inverteren.

Deze bidirectionele flow elimineert de noodzaak voor vensterniveau-integratie. In plaats van $\lambda$ te modelleren en te integreren, modelleert SurF de cumulatieve intensiteit $\Lambda_\theta$ direct en herstelt het de instantane intensiteit $\lambda_\theta$ via automatische differentiatie (of gesloten-vorm afgeleiden).

Architectuur en Parameterisaties

SurF maakt gebruik van een op Transformer gebaseerde encoder om eventgeschiedenis te verwerken, waardoor een contextvector $h_{i-1}$ wordt geproduceerd. De kerninnovatie ligt in drie verschillende parameterisaties van de cumulatieve intensiteit $\Lambda_\theta(\Delta t | h)$ , die elk verschillende afwegingen bieden tussen expressiviteit en computationele kosten:

SurF-MoE (Mixture of Exponentials):
- Modelleert intensiteit als een som van afnemende exponentiële functies.
- Voordelen: Volledig gesloten-vorm likelihood; nul numerieke kwadratuur; snelste training.
- Nadelen: Beperkt tot monotoon afnemende intensiteiten tussen gebeurtenissen.
SurF-CSB (Cumulative Softplus Basis):
- Gebruikt een som van verschoven softplus-primitieven.
- Voordelen: Volledig gesloten-vorm; capable om niet-monotone (bijv. hobbelvormige) intensiteitsprofielen te modelleren; universele approximator voor positieve intensiteiten.
- Nadelen: Iets complexer dan MoE maar nog steeds exact.
SurF-GLQ (Gauss-Legendre Quadrature):
- Gebruikt een onbeperkte positieve MLP voor intensiteit, waarbij $\Lambda_\theta$ wordt benaderd via vaste $Q$ -punt Gauss-Legendre kwadratuur per interval tussen gebeurtenissen (niet over het volledige venster).
- Voordelen: Hoogste expressiviteit (onbeperkte intensiteit); computationele kosten zijn $O(NQ)$ waarbij $Q$ vast is (bijv. $Q=8$ ) en onafhankelijk van de sequentielengte $T$ .
- Kernbevinding: Empirische fout bij $Q=8$ ligt onder de ruisvloer van de gradiënt, wat betekent dat de kwadratuurfout de trainingsgradiënten niet beïnvloedt.

Training en Sampling

Verliesfunctie: Het doel is de geamortiseerde negatieve log-likelihood afgeleid uit de veranderingsformule voor variabelen:
$L_{SurF} = \sum_{i=1}^N \Lambda_\theta(\tau_i | h_{i-1}) + \Lambda_\theta(\Delta T | h_N) - \sum_{i=1}^N \log \lambda_\theta(\tau_i | h_{i-1})$
Dit vermijdt de $O(T)$ integratiekosten van eerdere methoden.
Sampling: Events worden gegenereerd door $z \sim \text{Exp}(1)$ te samplingen en $\Lambda_\theta(\Delta t | h) = z$ op te lossen voor $\Delta t$ met behulp van een beveiligde Newton-methode, die globaal en kwadratisch convergeert.
Pretraining op Meerdere Datasets: Door alle datasets af te beelden op hetzelfde canonieke doel ( $\text{Exp}(1)$ ), stelt SurF een enkele gedeelde encoder ( $\phi_\theta$ ) en cumulatieve intensiteitskop ( $\Lambda_\theta$ ) in staat om gezamenlijk te worden getraind over heterogene datasets. Dit faciliteert zero-shot transfer naar onbekende datasets.

Belangrijkste Bijdragen

Bidirectionele TRT als Flow: Het artikel formuleert de TRT expliciet als een leerbare bijectie, en biedt de theoretische voorwaarden (Stelling 2) voor invertibiliteit en gladheid, waardoor exacte likelihood-berekening en generatieve sampling mogelijk worden.
Efficiënte Parameterisaties: Introductie van drie monotone parameterisaties (MoE, CSB, GLQ) die schalen naar lange sequenties. Opmerkelijk is dat SurF-GLQ $T$ -onafhankelijke computationele kosten bereikt, waarmee het numerieke kwadratuurknelpunt van eerdere neurale TPP's wordt opgelost.
Cross-Dataset Foundation Model: Demonstratie van een enkel model dat is getraind op meerdere heterogene datasets en state-of-the-art of concurrerende prestaties bereikt op aangehouden datasets zonder fine-tuning, wat een eerste stap voorstelt naar foundation modellen voor asynchrone eventstreams.

Experimentele Resultaten

SurF werd geëvalueerd op zes real-world benchmarks: Taobao, Taxi, Retweet, StackOverflow, Amazon en Earthquake.

Voorspelling van Volgende Event:
- SurF behaalde de beste gerapporteerde tijd-RMSE op Earthquake, Retweet en Taobao.
- Op de overige drie datasets presteerde het binnen "trial-level ruis" van de sterkste specialistische baselines.
- Onder een strikt leave-one-out zero-shot protocol (trainen op 5 datasets, testen op de 6e) versloeg de aangehouden SurF-checkpoint elke klassieke en neurale-autoregressieve baseline op 5/6 datasets (alleen verliezend op StackOverflow). Het presteerde beter dan alle baselines op Amazon en Earthquake zonder enige dataset-specifieke aanpassing.
Multi-Horizon Voorspelling: SurF demonstreerde stabiliteit onder iteratieve autoregressieve decoding, met sub-lineaire RMSE-groei en stabiele type-accuratesse over 10 toekomstige events.
Kalibratie: Tijd-schaalresiduen waren goed gekalibreerd, met Kolmogorov-Smirnov-statistieken die aangeven dat de voorspelde distributies van het model nauw overeenkwamen met het theoretische $\text{Exp}(1)$ -doel.
Efficiëntie: SurF-MoE en SurF-CSB vereisen geen numerieke integratie tijdens trainingstijd. SurF-GLQ gebruikt een vaste-kost-per-interval regel. In vergelijking met op kwadratuur gebaseerde baselines (bijv. NJDTPP) bereikte SurF-MoE een $\sim9\times$ trainingssnelheidswinst en een $\sim17\times$ inferentiesnelheidswinst.

Betekenis en Claims

Het artikel positioneert SurF als een fundamentele stap richting foundation modellen voor asynchrone eventstreams. De primaire betekenis ligt in:

Unificatie van Evaluatie en Generatie: Door de TRT te behandelen als een generatieve flow, unificeert het de evaluatie van goodness-of-fit met het mechanisme voor sampling.
Schalbaarheid: Het verwijdert de computationele barrière van vensterniveau-integratie, waardoor modellen lange sequenties efficiënt kunnen verwerken.
Generalisatie: Het biedt het eerste empirische bewijs dat een geleerde cumulatieve intensiteit zero-shot kan transfereren over diverse domeinen (bijv. van sociale media naar seismische data), wat suggereert dat de canonieke $\text{Exp}(1)$ -ruimte universele temporele dynamiek vastlegt die onafhankelijk is van de schaal of frequentie van de specifieke dataset.

De auteurs erkennen beperkingen, zoals de vereiste van een strikt positieve intensiteitsvloer (wat een verwaarloosbare bias introduceert) en dat de huidige corpusgrootte kleiner is dan die van taal/vision foundation modellen, waarbij schaling wordt geïdentificeerd als de volgende belangrijke mijlpaal.