🤖 machine learning

RIDE: An Open Dataset and Benchmark for Train Delay Prediction

Het artikel introduceert RIDE, een grootschalige open dataset en gestandaardiseerde benchmark voor het voorspellen van treinvertragingen op het Belgische spoorwegnetwerk, die de eerste uitgebreide vergelijkende evaluatie faciliteert waaruit blijkt dat graph neural networks beter presteren dan non-learning modellen, terwijl het tegelijkertijd een gedetailleerde analyse mogelijk maakt over verschillende voorspellingsregimes.

Oorspronkelijke auteurs: Clément Elliker, Mathis Le Bail, Clément Mantoux, Jesse Read, Sonia Vanier

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Clément Elliker, Mathis Le Bail, Clément Mantoux, Jesse Read, Sonia Vanier

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het Belgische spoorwegnetwerk voor als een gigantisch, ingewikkeld spelletje "Volg de Leider", waarbij duizenden treinen constant in beweging zijn, stoppen en op elkaar wachten. Soms komt er één trein vast te zitten, en die vertraging plant zich voort als een golf, wat een domino-effect veroorzaakt waardoor ook andere treinen te laat komen.

Het artikel introduceert RIDE (TRaIn DElay Prediction Dataset and Benchmark), wat in feite een enorme, open-source "trainingsgym" is voor computers om te leren hoe ze vertragingen kunnen voorspellen voordat ze gebeuren.

Hier is een overzicht van wat de auteurs hebben gedaan, met behulp van eenvoudige analogieën:

1. Het Probleem: Iedereen Speelde een Ander Spel

Voordat dit artikel verscheen, waren onderzoekers die treinvertragingen probeerden te voorspellen als chefs die recepten probeerden te vergelijken, maar iedereen gebruikte andere ingrediënten, andere ovens en andere proeflepels. De één keek naar één treinlijn, de ander naar het hele land; de één voorspelde de vertraging voor de volgende halte, de ander voor het volgende uur. Omdat de regels zo verschillend waren, kon niemand zeggen welk computerprogramma eigenlijk de beste chef was.

2. De Oplossing: Een Gestandaardiseerde "Trainingskamp"

De auteurs bouwden RIDE, wat fungeert als een gestandaardiseerd trainingskamp met twee hoofdonderdelen:

De Ruwe Ingrediënten (De Dataset): Ze verzamelden een enorme hoeveelheid gegevens van 2023 tot 2025. Stel je een bibliotheek voor die bevat:
- 94,5 miljoen treinbewegingsrecords (elke keer dat een trein aankwam, vertrok of een station passeerde).
- 3,6 miljoen volledige treinritten.
- 35,7 miljoen weerberichten (omdat regen of sneeuw de boel kan vertragen).
- Ze hebben dit georganiseerd in lagen, zoals een sandwich:
  - Bronze (Brons): De ruwe, ongeordende data rechtstreeks uit de bron.
  - Silver (Zilver): Een opgeschoonde, georganiseerde versie waarbij ontbrekende stukjes zijn ingevuld en de kaart van de sporen is gereconstrueerd.
  - Gold (Goud): De uiteindelijke, klaar voor consumptie gemaakte maaltijd, specifiek voorbereid voor verschillende soorten computermodellen om te "eten".
De Regels van het Spel (De Benchmark): Ze stelden strikte regels vast zodat elk computemodel exact hetzelfde spel speelt.
- Het Doel: Kijk naar het netwerk op een specifiek moment (een "snapshot") en voorspel hoe laat een trein zal zijn bij de volgende 15 haltes.
- De Test: Ze trainden de modellen op data van 2023–2024 en testten ze op data van 2025. Dit is als het leren van een leerling de wiskundeproblemen van vorig jaar en hem testen op het examen van dit jaar om te zien of hij echt kan leren, en niet alleen kan onthouden.

3. De Wedstrijd: Wie Wint?

De auteurs nodigden verschillende soorten "leerlingen" (computermodellen) uit om te strijden:

De Ouderwetse (Niet-lerende Modellen): Dit zijn eenvoudige, op regels gebaseerde systemen.
- De Vertaler: Gaat er simpelweg van uit dat de trein even laat zal zijn als hij nu is. (Zoals gokken dat je te laat bent voor je werk omdat je nu al te laat bent).
- De Graph-Event: Een iets slimmer, op regels gebaseerd systeem dat simuleert hoe treinen op de sporen met elkaar interageren.
De Statistici (Statistisch Leren): Modellen zoals XGBoost, die goed zijn in het vinden van patronen in tabellen met getallen.
De Deep Learners (Deep Learning): Complexe neurale netwerken zoals MLP, LSTM (goed in sequenties), Transformer (goed in aandacht) en GNN (Graph Neural Networks, die begrijpen hoe het hele netwerk verbonden is).

4. De Resultaten: De Winnaars

Na het draaien van de wedstrijd, is dit wat er gebeurde:

Leren wint van Regels: De "Deep Learning" en "Statistische" leerlingen presteerden duidelijk beter dan de "Ouderwetse" modellen. De complexe modellen leerden patronen die eenvoudige regels misten.
De Kampioen: Het Graph Neural Network (GNN) nam de eerste plaats in. Denk aan dit model als een leerling die niet alleen de trein begrijpt, maar de hele kaart van het spoorwegnetwerk en hoe elke trein elke andere trein beïnvloedt.
De Naaste Volgers: De Transformer en LSTM modellen waren zeer dichtbij de GNN. Ze waren bijna even goed, wat suggereert dat verschillende manieren van naar de data kijken tot vergelijkbaar succes kunnen leiden.
De Verrassing: Zelfs het simpelste "Vertaler"-model (dat gewoon gokt dat de huidige vertraging zal aanhouden) was verrassend moeilijk te verslaan met een grote marge. Het is een lastige baseline.

5. De Kleine Lettertjes: Het Hangt Af van de Situatie

Het artikel keek ook naar wanneer de modellen goed presteerden, niet alleen naar de gemiddelde score:

Korte termijn vs. Lange termijn: Als je wilt weten wat er in de volgende 5 minuten gebeurt, doen eenvoudige modellen het goed. Als je wilt weten wat er 40 minuten vanaf nu gebeurt, is het complexe GNN-model het beste.
Kleine vs. Grote Vertragingen: Als een trein slechts een beetje laat is, gaan eenvoudige modellen goed uit de voeten. Maar als een trein echt heel laat wordt en de vertraging zich opstapelt (zoals een verkeersopstopping), zijn de modellen die begrijpen hoe treinen met elkaar interageren (zoals de GNN) veel beter in het voorspellen van de chaos.

Samenvatting

Het artikel zegt: "We hebben een gigantische, eerlijke speeltuin gebouwd (RIDE) met schone data en strikte regels. We hebben verschillende computermodellen laten spelen. De modellen die de complexe web van verbindingen tussen treinen kunnen begrijpen (Graph Neural Networks) zijn momenteel het beste in het voorspellen van vertragingen, maar het gat tussen de topmodellen is klein. Dit geeft ons een solide fundament om te blijven verbeteren hoe we treinen op tijd houden."

Technische Samenvatting: RIDE – Een Open Dataset en Benchmark voor Treinvertragingvoorspelling

Probleemstelling
Voorspelling van treinvertragingen is cruciaal voor spoorwegexploitanten en passagiers om verstoringen te beheren, informatiesystemen te verbeteren en verkeersmanagement te optimaliseren. De vooruitgang op dit gebied wordt echter belemmerd door een gebrek aan standaardisatie. Bestaand onderzoek leunt op uiteenlopende datasets, variërende voorspellingsdoelen (bijv. volgend station versus vaste tijdsintervallen) en inconsistente evaluatieprotocollen. Deze fragmentatie maakt het moeilijk om modellen tussen studies te vergelijken of brede conclusies te trekken over de relatieve effectiviteit van verschillende modelleringsbenaderingen, met name tussen non-learning, statistische en deep learning-methoden.

Methodologie: Het RIDE-framework
Om deze tekortkomingen aan te pakken, introduceren de auteurs RIDE (TRaIn DElay Prediction Dataset and Benchmark), een uitgebreide open bron gebaseerd op het Belgische nationale spoorwegnetwerk over de periode 2023–2025. Het framework is gestructureerd als een gelaagde datapijplijn en een uniform benchmarkprotocol.

Datapijplijn (Gelaagde release):
- Raw & Bronze: Verwerkt ruwe data van Infrabel (spoorwegexploitatie, infrastructuur) en Open-Meteo (weer). De Bronze-laag standaardiseert schema's en voert lichte integriteitscontroles uit.
- Silver (Intermediair relationeel dataset): Een herbruikbare, schoongemaakte relationele dataset met 94,5 miljoen treinevenementen, 3,6 miljoen ritten en 35,7 miljoen weergegevens. Het reconstrueert de netwerktopologie, leidt exacte treinpaden af en stemt weergegevens af op operationele punten. Deze laag stelt gebruikers in staat om aangepaste datasets te construeren zonder de kernstappen van de opschoning te herhalen.
- Gold (Benchmark datasets): Model-klare artefacten afgeleid van de Silver-laag. Het definieert een snapshot als de fundamentele eenheid: een tijdgestempeld overzicht van het netwerk met actieve treinen, hun historie en toekomstige schema's. De Gold-release biedt twee schalen (Lite en Standard) en vier specifieke datasetformaten afgestemd op verschillende modelfamilies: Tabulair (voor MLP/XGBoost/Transformer), Sequentieel (voor LSTM), Graaf (voor GNN) en Graaf-Event (voor regelgebaseerde simulatie).
Voorspellingsopdracht:
- Doel: Voorspel voor elke actieve trein in een snapshot de vertraging (in seconden) bij de volgende $n=15$ geplande evenementen (aankomsten, vertrek of passages).
- Horizon: Dit komt overeen met een gemiddelde voorspellingshorizon van ongeveer 40 minuten.
- Herparametrisatie: Modellen voorspellen de residuele vertraging (toekomstige vertraging minus de laatst bekende vertraging) om de prestaties te verbeteren, waarbij de laatst bekende vertraging bij de inferentie weer wordt toegevoegd.
Evaluatieprotocol:
- Metrieken: De primaire metrieken zijn Mean Absolute Error (MAE) en Root Mean Squared Error (RMSE).
- Uitsplitsingen: Om het gedrag van modellen te analyseren voorbij geaggregeerde scores, bevat het protocol uitsplitsingen naar voorspellingshorizon (tijd tot het evenement) en delay-delta bins (verandering in vertraging ten opzichte van de laatst bekende staat).
- Splitsingen: Trainingsdata is afkomstig uit 2023–2024, en testdata uit 2025, wat een realistische forward-in-time evaluatie garandeert. Een enkele, vaste testevaluatietabel zorgt ervoor dat alle modellen op identieke instanties worden geëvalueerd.
Geëvalueerde Modellen:
De benchmark vergelijkt drie families van benaderingen:
- Non-Learning: Een Translation-baseline (het voorspellen van de laatst bekende vertraging) en een Graph-event model (deterministische simulatie met behulp van empirische reistijden en precedence-beperkingen).
- Statistisch Leren: XGBoost (getraind als onafhankelijke regressoren voor elk toekomstig tijdslot).
- Deep Learning: Multilayer Perceptron (MLP), Long Short-Term Memory (LSTM), Transformer en Graph Neural Network (GNN).

Belangrijkste Resultaten
Experimenten uitgevoerd op de Standard-tier van de benchmark laten het volgende zien:

Learning vs. Non-Learning: Learning-gebaseerde methoden presteren duidelijk beter dan non-learning modellen. Het Graph-event model (88,41 MAE) verbetert aanzienlijk ten opzien van de Translation baseline (96,65 MAE), maar blijft achter bij alle learning-gebaseerde benaderingen.
Beste Presteerder: Het Graph Neural Network (GNN) behaalde de beste gemiddelde prestatie met een MAE van 73,62 en een RMSE van 194,56.
Concurrentiekracht van Architecturen: De sterkste learning-gebaseerde modellen (GNN, Transformer, LSTM, XGBoost) blijven relatief dicht bij elkaar qua absolute prestaties. De Transformer (74,54 MAE) en LSTM (74,62 MAE) volgen vlak achter de GNN. XGBoost (76,58 MAE) presteerde beter dan de MLP (77,20 MAE).
Regime-specifieke Sterktes:
- Korte Horizonten (0–5 min): XGBoost presteert het best, waarschijnlijk door de kracht in het afhandelen van kleine, stabiele vertragingsveranderingen.
- Medium Horizonten (5–15 min): LSTM laat een sterke prestatie zien, wat suggereert dat sequentiële modellering de dynamiek van treinen die vertragingen inhalen goed vangt.
- Lange Horizonten (>15 min) & Grote Vertragingen: GNN blinkt uit in langere horizonten en scenario's met significante vertragingsaccumulatie, wat aangeeft dat het expliciet modelleren van netwerkinteracties cruciaal is voor het vangen van propagatie-effecten.
- Vertragingsherstel (Delay Recovery): Het Graph-event model presteert het best bij grote negatieve delay-delta's (sterk herstel), wat consistent is met de neiging om snellere dan geplande reistijden te voorspellen.

Betekenis en Claims
Het artikel beweert dat RIDE de eerste bron is die zowel een herbruikbare intermediaire dataset als een gestandaardiseerde benchmark voor treinvertragingvoorspelling op nationale schaal biedt. De betekenis ligt in:

Standaardisatie: Het vestigen van een uniform protocol voor targets, temporele splitsingen en evaluatiemetrieken, wat directe vergelijking tussen diverse modelfamilies mogelijk maakt.
Uitgebreide Baseline: Het bieden van de eerste vergelijkende evaluatie van non-learning, statistische en deep learning-modellen op een gedeelde, grootschalige dataset.
Genuanceerde Analyse: Het verder gaan dan geaggregeerde nauwkeurigheid om te onthullen dat verschillende architecturen specifieke sterktes hebben afhankelijk van het voorspellingsregime (bijv. kortetermijn vs. langetermijn, vertragingsaccumulatie vs. herstel).
Toekomstige Richtingen: De auteurs suggereren dat hoewel architecturale wijzigingen alleen niet leiden tot spectaculaire winsten bij de topperformers, verdere vooruitgang afhankelijk kan zijn van betere feature design en probleem-specifieke modelleringskeuzes. Zij stellen dat RIDE dient als fundament voor toekomstig onderzoek naar vertragingspropagatie en leren over grootschalige transportsystemen.