Time Series Foundation Models as Strong Baselines in Transportation Forecasting: A Large-Scale Benchmark Analysis

Deze studie toont aan dat het tijdreeks-foundationmodel Chronos-2, zonder specifieke aanpassing, concurrerende of toonaangevende prestaties levert voor diverse verkeersvoorspellingsopgaven en daarmee een sterke basislijn vormt voor toekomstig onderzoek.

De kern

Stel je voor dat je een super slimme, universele voorspeller bent die alles over verkeer, fietsverhuur en elektrische auto's al heeft geleerd, zonder dat je hem ooit specifiek hebt getraind voor jouw stad. Dat is precies wat dit onderzoek doet.

Hier is een uitleg van het artikel in gewoon Nederlands, met een paar leuke vergelijkingen:

De Grote Uitdaging: Verkeer Voorspellen

Stel je voor dat je de verkeersdrukte in een stad wilt voorspellen. Vroeger gebruikten mensen simpele rekenregels (zoals "als het gisteren druk was, is het vandaag ook druk"). Later kwamen er complexe computerprogramma's (diep leren) die heel goed waren, maar die moesten voor elke nieuwe stad of elk nieuw type verkeer (zoals fietsen of laadpalen) opnieuw worden gebouwd, getraind en ingesteld. Dat is als een kok die voor elke nieuwe klant een compleet nieuwe keuken moet bouwen.

De Oplossing: De "Alles-Kenner" (Foundation Model)

De auteurs van dit paper hebben gekeken naar een nieuw soort AI-model genaamd Chronos-2. Dit is een "Time Series Foundation Model".

• De Analogie: Stel je voor dat Chronos-2 een student is die tijdens zijn studie al miljoenen boeken heeft gelezen over alle soorten patronen in de wereld: weer, beurskoersen, muziek en verkeer. Hij heeft geen specifieke les gehad over "Amsterdamse files", maar hij begrijpt het concept van "drukte en rust" zo goed dat hij het op elk moment kan voorspellen.
• Het Experiment: De onderzoekers hebben deze "student" (Chronos-2) op tien verschillende echte verkeerssituaties getest, zonder hem eerst te laten studeren voor die specifieke situatie. Dit noemen ze "zero-shot" (nul schoten, ofwel: direct inzetbaar zonder training).

Wat Vonden Ze? (De Resultaten)

Het resultaat was verbazingwekkend goed:

1. Hij is sneller en slimmer dan de oude methoden: Chronos-2 deed het vaak beter dan de oude statistische regels én beter dan de complexe, op maat gemaakte computerprogramma's die speciaal voor verkeer zijn gebouwd.
2. Hij houdt het lang vol: Als je moet voorspellen wat er over een uur gebeurt, doen de oude modellen het vaak goed. Maar als je moet voorspellen wat er over 12 uur gebeurt, raken ze de draad kwijt. Chronos-2 blijft ook op de lange termijn heel nauwkeurig.
3. Hij geeft ook waarschuwingen (Onzekerheid): Oude modellen zeggen vaak: "Over een uur is het 50 km/u." Maar wat als het 40 of 60 is? Chronos-2 geeft niet alleen een getal, maar ook een bereik: "Het wordt waarschijnlijk 50 km/u, maar het kan tussen de 40 en 60 liggen." Dit helpt planners om risico's in te schatten.
4. Geen gedoe: Je hoeft geen dure computer te huren of dagenlang te wachten om het model te trainen. Je kunt het direct gebruiken, zelfs op een gewone laptop.

Waarom is dit belangrijk?

Vroeger moest je voor elke nieuwe verkeersprobleem (bijvoorbeeld: "Hoeveel mensen huren een fiets in Utrecht?") een nieuw, complex bouwwerkje van code maken.
Met dit nieuwe model is het alsof je een zwitsers zakmes hebt. Je hoeft geen twintig verschillende gereedschappen meer mee te nemen; één krachtig, veelzijdig gereedschap doet het werk voor bijna alles.

De Conclusie in Eén Zin

De onderzoekers zeggen: "Stop met het bouwen van nieuwe, complexe modellen voor elk klein probleem. Gebruik eerst deze 'universele voorspeller' (Chronos-2) als standaard. Die werkt vaak al beter dan alles wat we nu hebben, en dat zonder dat je er ook maar een seconde tijd in hebt gestoken om hem te trainen."

Het is een oproep aan de wereld om te stoppen met het uitvinden van het wiel opnieuw en te beginnen met het gebruik van deze slimme, universele modellen als basis voor al hun verkeersplanning.

Technische samenvatting

Probleemstelling

Accurate voorspelling van vervoersdynamieken (zoals verkeerssnelheden, -volumes, deelvolumes en vraag naar laadpalen voor elektrische voertuigen) is cruciaal voor het beheer van intelligente vervoerssystemen. Hoewel recente diepe leermodellen (zoals STGCN, DCRNN) sterke prestaties leveren, hebben deze vaak specifieke training per dataset nodig, complexe architectuurontwerpen en intensieve hyperparameter-tuning. Dit maakt ze minder schaalbaar en flexibel. Daarnaast leunen traditionele methoden vaak op deterministische puntvoorspellingen, wat de onzekerheid en risico's (tail risks) in de planning negeert.

De vraag is of Time Series Foundation Models (TS-FMs) – algemene, vooraf getrainde modellen die op grote heterogene corpora zijn getraind – kunnen dienen als robuuste, universele baselines voor vervoersvoorspelling zonder dat er taakspecifieke aanpassingen nodig zijn.

Methodologie

De auteurs voeren een grootschalige benchmarkstudie uit met de volgende aanpak:

1. Model: Ze gebruiken Chronos-2, een state-of-the-art TS-FM. Dit is een encoder-only transformer-architectuur (afgeleid van T5) die is getraind op diverse tijdreeksen.

   • Innovatie: Het gebruikt een "group attention"-mechanisme dat afwisselt tussen temporele aandacht binnen een reeks en cross-series aandacht binnen vooraf gedefinieerde groepen (bijv. sensoren). Dit stelt het model in staat ruimtelijke correlaties te leren zonder vooraf gedefinieerde burenmatrices (adjacency matrices), in tegenstelling tot graf-neuraalnetwerken.
   • Voorspelling: Het model kan zowel univariate als multivariate voorspellingen doen en geeft native probabilistische uitkomsten (21 kwantielen van 0,01 tot 0,99) in één doorloop.

2. Datasets: De studie omvat tien real-world datasets die verschillende vervoersdomeinen bestrijken:

   • Snelheid en volume op snelwegen (PeMSD7, PeMSD4, METR-LA, PEMS-BAY, Seattle Loop).
   • Stedelijke verkeerssnelheid (Urban1, SZ-taxi).
   • Deel-fiets vraag en stromen (NYC Citi Bike, NYC Bike Flow).
   • Laadinfrastructuur voor elektrische voertuigen (UrbanEV: bezetting, sessieduur, laadvolume).

3. Evaluatieprotocol:

   • Zero-shot: Chronos-2 wordt getest zonder fine-tuning op de specifieke datasets.
   • Context: Het model krijgt één week historische data als context (aangepast aan de granulariteit van de dataset).
   • Deterministische metrics: MAE, RMSE en MAPE, waarbij de mediaan (kwantiel 0,5) wordt gebruikt als puntvoorspelling.
   • Probabilistische metrics: Calibratie (empirische dekking van het 80% voorspellingsinterval) en scherpte (Interkwartielafstand/IQR).
   • Benchmarks: Vergelijking met klassieke statistische methoden (ARIMA, HA) en geavanceerde, op maat gemaakte diepe leermodellen uit de literatuur.

Belangrijkste Bijdragen

1. Grootschalige Benchmark: De eerste uitgebreide evaluatie van een TS-FM (Chronos-2) over tien diverse vervoersdomeinen, inclusief nieuwe data over elektrische voertuigen.
2. Zero-shot Superioriteit: Het aantonen dat een algemeen model zonder specifieke training vaak beter presteert dan complexe, dataset-specifieke modellen.
3. Probabilistische Voorspelling "voor niets": Het benutten van de native probabilistische output van Chronos-2 om onzekerheid te kwantificeren zonder extra architecturale aanpassingen of training.
4. Paradigmaverschuiving: Het pleidooi om TS-FMs te adopteren als de nieuwe standaard-baseline in vervoersonderzoek, in plaats van alleen te focussen op het bouwen van steeds complexere graf-neuralnetwerken.

Resultaten

• Deterministische Prestaties: Chronos-2 behaalt state-of-the-art of zeer competitieve resultaten op bijna alle datasets.

  • Het presteert vaak beter dan zowel statistische baselines (zoals Historical Average) als gespecialiseerde deep learning-modellen (zoals DCRNN, STGCN).
  • Het model toont minder gevoeligheid voor de voorspellingstijdhorizon. Waar traditionele autoregressieve modellen vaak fouten accumuleren bij langere horizons, behoudt Chronos-2 zijn nauwkeurigheid.
  • De verbetering is het grootst bij datasets met langere voorspellingstijden (bijv. UrbanEV), waar het model tot wel 80% lagere fouten laat zien ten opzichte van baselines.
  • Uitzondering: Op de METR-LA dataset (met complexe ruimtelijke interacties) presteert het iets minder goed dan de beste gespecialiseerde modellen, wat suggereert dat expliciete ruimtelijke matrices hier nog nuttig kunnen zijn.

• Probabilistische Prestaties:

  • Calibratie: De empirische dekking van de 80% intervallen ligt over het algemeen dicht bij de target (80%), hoewel er in sommige gevallen (bijv. SZ-taxi) sprake is van onderdekking.
  • Scherpte: Chronos-2 levert aanzienlijk scherpere (smallere IQR) voorspellingsintervallen op dan andere modellen, terwijl het toch goed gekalibreerd blijft. Andere modellen neigen vaak tot "over-covering" (te brede intervallen) om zekerheid te garanderen.

Betekenis en Conclusie

De studie concludeert dat Time Series Foundation Models een krachtige nieuwe standaard vormen voor vervoersvoorspelling.

• Simpelheid en Toegankelijkheid: In tegenstelling tot traditionele deep learning-modellen die zware training en specifieke ruimtelijke kennis vereisen, is Chronos-2 een "inference-only" model dat lokaal kan draaien op standaard hardware (zelfs een laptop).
• Toekomstgericht: Het model biedt direct toegang tot probabilistische voorspellingen, wat essentieel is voor risicobewust plannen (bijv. beleid met een bepaald betrouwbaarheidsniveau).
• Aanbeveling: De auteurs pleiten ervoor dat TS-FMs zoals Chronos-2 voortaan als verplichte baseline worden opgenomen in elk nieuw onderzoek naar vervoersvoorspelling. Nieuwe, specifieke architecturen moeten hun complexiteit rechtvaardigen door te laten zien dat ze significant beter presteren dan deze krachtige, algemene modellen.

Er wordt wel gewaarschuwd voor het risico van homogenisatie van biases; als één foundation model overal wordt gebruikt, kunnen systematische fouten zich door het hele vervoerssysteem verspreiden, wat zorgvuldige monitoring vereist.