🤖 machine learning

fev-bench: A Realistic Benchmark for Time Series Forecasting

Om de beperkingen van bestaande evaluatiestandaarden in tijdreeksvoorspelling aan te pakken, introduceren de auteurs fev-bench, een uitgebreide benchmark van 100 taken over zeven domeinen ondersteund door de fev Python-bibliotheek, die statistisch rigoureuze aggregatie gebruikt om betrouwbare prestatievergelijkingen te bieden en toekomstige onderzoeksrichtingen te identificeren.

Oorspronkelijke auteurs: Oleksandr Shchur, Abdul Fatir Ansari, Caner Turkmen, Lorenzo Stella, Nick Erickson, Pablo Guerron, Michael Bohlke-Schneider, Yuyang Wang

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Oleksandr Shchur, Abdul Fatir Ansari, Caner Turkmen, Lorenzo Stella, Nick Erickson, Pablo Guerron, Michael Bohlke-Schneider, Yuyang Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je moet beslissen welke van tien verschillende weersvoorspellers de beste is. Je zou ze gewoon kunnen vragen de temperatuur voor morgen te voorspellen en te kijken wie er gelijk heeft. Maar wat als sommigen ook naar luchtvochtigheid, windsnelheid en historische gegevens kijken, terwijl anderen gewoon gokken op basis van de kalender? En wat als je hun nauwkeurigheid slechts één keer controleert, op een dag die toevallig uitzonderlijk zonnig was? Je zou de verkeerde winnaar kunnen kiezen door puur geluk.

Dit is het probleem dat het paper fev-bench probeert op te lossen. De auteurs stellen dat de huidige "scorekaarten" die worden gebruikt om tijdreeksvoorspellingsmodellen (AI die toekomstige getallen voorspelt zoals verkopen, energieverbruik of aandelenkoersen) te testen, gebrekkig zijn. Ze zijn vaak te smal, negeren belangrijke extra informatie (genaamd covariaten) en missen de statistische strengheid om te bepalen of een model echt beter is of dat het gewoon geluk had.

Hier is een uitsplitsing van hun oplossing met behulp van eenvoudige analogieën:

1. Het Probleem: De "Eénbaans" Test

Denk aan bestaande benchmarks als een rijexamen dat alleen plaatsvindt op een rechte, lege snelweg.

Het "Verkeer" Missen: Voorspellen in de echte wereld is als rijden in een drukke stad. Je moet reageren op verkeerslichten, voetgangers en het weer. In voorspellingen zijn dit covariaten (extra gegevens zoals "het is een feestdag" of "we hebben een uitverkoop"). De meeste huidige tests negeren deze, waardoor de modellen die erop getraind zijn, nooit leren om ze te gebruiken.
Het "Gelukkige Gok" Probleem: Veel tests rapporteren één enkel getal (bijv. "Model A is 5% beter dan Model B"). Maar is die 5% echt, of is het gewoon willekeurige ruis? Het is alsof je zegt dat een muntwerper een genie is omdat hij zes keer achter elkaar kop heeft gegooid. Zonder te controleren of dat resultaat standhoudt onder veel verschillende scenario's, kun je de winnaar niet vertrouwen.
De "Black Box" Chaos: Sommige tests zijn als een afgesloten kamer waar je niet kunt zien hoe de score tot stand kwam. Als twee mensen dezelfde test uitvoeren, kunnen ze verschillende resultaten krijgen omdat ze verschillende regels gebruikten. Dit maakt het moeilijk om modellen eerlijk te vergelijken.

2. De Oplossing: fev-bench (De "Stadsrij-Simulator")

De auteurs hebben een nieuwe benchmark gebouwd genaamd fev-bench (Forecast EValuation benchmark). Denk aan het als een enorme, realistische rijsimulator met 100 verschillende "routes" (taken).

Divers Terrein: In plaats van alleen één snelweg, hebben ze 100 taken verspreid over 7 verschillende "steden" (domeinen zoals retail, energie, gezondheidszorg en financiën).
Het "Verkeer" is Inbegrepen: Cruciaal is dat 46 van deze taken covariaten bevatten. Het is alsof je de modellen test terwijl ze te maken krijgen met verkeerslichten en regen. Dit onthult dat veel huidige "slimme" modellen eigenlijk falen omdat ze deze extra gegevens negeren.
Statistische Zekerheid: In plaats van één score te geven, gebruiken ze een methur die bootstrapping wordt genoemd. Stel je voor dat je de rijtest 1.000 keer uitvoert met licht afwijkende verkeerspatronen. Ze berekenen vervolgens een "betrouwbaarheidsinterval" (een reeks waarschijnlijke scores). Als Model A Model B verslaat in 95% van die 1.000 runs, dan kun je er met vertrouwen van zeggen dat A beter is. Als ze dicht bij elkaar liggen, geeft de test toe: "We kunnen het verschil nog niet vaststellen."

3. De Tool: fev (Het "Klembord van de Scheidsrechter")

Om ervoor te zorgen dat iedereen zich aan dezelfde regels houdt, hebben de auteurs ook een gratis softwaretool uitgebracht genaamd fev.

Denk aan dit als een gestandaardiseerd klembord van een scheidsrechter. Het regelt het laden van de gegevens, de scoring en de statistische berekeningen.
Het is lichtgewicht en gemakkelijk in gebruik, wat betekent dat onderzoekers niet hun eigen rommelige scoringssystemen vanaf nul hoeven op te bouwen. Het zorgt ervoor dat als jij en ik dezelfde test uitvoeren, we exact dezelfde resultaten krijgen.

4. Wat Ze Vonden: De "Covariaat" Kloof

Toen ze hun nieuwe tests uitvoerden op de beste AI-modellen van vandaag, vonden ze een verrassende kloof:

De "Slimme" Modellen: De nieuwste, meest geavanceerde AI-modellen (zo zoals Chronos-2) presteerden algemeen het best.
De Ontbrekende Vaardigheid: Echter, de modellen die wel extra gegevens (covariaten) konden gebruiken, presteerden aanzienlijk beter dan de modellen die dit negeerden.
De Realiteitscheck: Veel van de huidige "state-of-the-art" modellen negeren in essentie de verkeerslichten en weerberichten, ook al staan die rapporten gewoon klaar. Het paper suggereert dat de volgende grote sprong in voorspellingen niet zal komen door modellen groter te maken, maar door ze te leren hoe ze die extra context kunnen gebruiken.

Samenvatting

Kortom, fev-bench is een meer realistische, eerlijke en statistisch rigoureuze "Olympische Spelen" voor tijdreeksvoorspelling. Het dwingt modellen om te bewijzen dat ze complexe real-world situaties kunnen aan (zoals extra gegevens) in plaats van alleen patronen te memoriseren op een simpel circuit. Hun belangrijkste ontdekking is dat de toekomst van nauwkeurige voorspelling ligt in modellen die weten hoe ze alle beschikbare informatie moeten gebruiken, en niet alleen de cijfers uit het verleden.

Technische Samenvatting: fev-bench

Probleemdefinitie

Tijdreeksvoorspelling ondergaat een transformatie gedreven door vooraf getrainde fundamentele modellen (TSFMs), die zero-shot inferentiecapaciteiten bieden en vaak traditionele methoden overtreffen. De evaluatie van deze modellen wordt echter gehinderd door aanzienlijke tekortkomingen in bestaande benchmarks. Huidige frameworks lijden vaak aan een beperkte domeindekking, een gebrek aan statistische strengheid in aggregatie en een rigide infrastructuur die reproduceerbaarheid belemmert.

Een kritieke kloof die is geïdentificeerd, is de verwaarlozing van covariaten (statische, alleen-verleden en bekende dynamische variabelen), ondanks hun prevalentie en belang in real-world toepassingen zoals de vraagvoorspelling in de retail. Bovendien rapporteren veel benchmarks enkelvoudige samenvattende getallen zonder betrouwbaarheidsintervallen, wat het moeilijk maakt om werkelijke modelverbeteringen te onderscheiden van willekeurige variatie. Ten slotte leidt het gebrek aan een gestandaardiseerde, lichtgewicht evaluatie-infrastructuur vaak tot inconsistente implementaties en onvergelijkbare resultaten tussen studies.

Methodologie

Om deze uitdagingen aan te pakken, introduceren de auteurs fev-bench, een uitgebreide benchmark bestaande uit 100 voorspellingstaken over zeven real-world domeinen (Energie, Natuur, Cloud, Mobiliteit, Economie, Gezondheid en Retail). De methodologie is gebouwd op drie pijlers:

1. Constructie van de Benchmark

Taakdiversiteit: De benchmark bevat 96 unieke datasets afkomstig uit gevestigde repositories (Monash, GIFT-Eval, BOOM) en competitiedata (Kaggle, M5). Het bevat 100 verschillende taken die variëren in frequentie (van per minuut tot per jaar), voorspellingshorizonten en dimensionaliteit.
Integratie van Covariaten: Een kenmerkend onderdeel is de inclusie van 46 taken met covariaten, die statische, alleen-verleden dynamische en bekende dynamische variabelen omvatten. Dit staat in scherp contrast met eerdere benchmarks die covariaten grotendeels negeren.
Evaluatieprotocol: Taken maken gebruik van een rolling-origin protocol met meerdere evaluatievensters ( $W$ ) om de real-world inzet te simuleren en de statistische robuustheid te verbeteren. Het aantal vensters wordt aangepast op basis van de datasetgrootte (tot 20 voor kleine datasets, 1 voor grote datasets).

2. Evaluatiemetrieken en Aggregatie

De benchmark evalueert zowel punt- als probabilistische voorspellingen met behulp van:

Metrieken: Mean Absolute Scaled Error (MASE) voor puntvoorspellingen en Scaled Quantile Loss (SQL) voor probabilistische voorspellingen. SQL is gekozen vanwege de schaalonafhankelijkheid, analoog aan MASE.
Aggregatiestrategieën:
- Win Rates ( $W_j$ ): De waarschijnlijkheid dat een model een willekeurig gekozen concurrent op een willekeurige taak verslaat.
- Skill Scores ( $S_j$ ): Een op het geometrisch gemiddelde gebaseerde metriek die de foutreductie kwantificeert ten opzichte van een vaste baseline (Seasonal Naive), afgekapt om extreme waarden te behandelen.
- Statistische Significantie: Om de betrouwbaarheid van prestatieverschillen aan te pakken, gebruiken de auteurs gepaarde bootstrapping (1.000 samples) om 95% betrouwbaarheidsintervallen te berekenen voor paarwijze win rates en skill scores. Dit bepaalt of prestatiekloofjes robuust zijn tegen variaties in de benchmark-samenstelling.

3. De `fev` Library

Ondersteunend bij de benchmark is fev, een lichtgewicht Python-bibliotheek ontworpen voor reproduceerbaarheid en integratie.

Ontwerp: Het minimaliseert afhankelijkheden (leunt alleen op Hugging Face datasets en pydantic) en vermijdt het hardcoderen van specifieke bibliotheekversies (bijv. PyTorch, NumPy) om veroudering te voorkomen.
Functionaliteit: Het biedt gestandaardiseerde taakdefinities, datalading, voorspellingsscoring en resultatenaggregatie. Het bevat adapters voor populaire forecasting-bibliotheken (GluonTS, darts, AutoGluon, etc.), maar sluit modelimplementaties uit om ervoor te zorgen dat de evaluatie-infrastructuur stabiel blijft over de tijd.

Belangrijkste Resultaten

De auteurs evalueerden een suite van 21 modellen, inclusief state-of-the-art vooraf getrainde TSFMs (Chronos-2, TiRex, TimesFM-2.5, Moirai-2.0, etc.), statistische baselines en taakspecifieke modellen.

Modelprestaties: Chronos-2 behaalde de hoogste gemiddelde win rate (91,4% voor probabilistisch, 87,2% voor punt) en skill score, gevolgd door TiRex en TimesFM-2.5. Voorgetrainde modellen presteerden over het algemeen beter dan statistische en taakspecifieke modellen in zowel nauwkeurigheid als runtime.
Statistische Significantie: Paarwijze vergelijkingen met gebootstrapt betrouwbaarheidsintervallen toonden een statistisch significant gat aan tussen Chronos-2 en andere modellen. Echter, de kloof tussen TiRex en TimesFM-2.5 vertoonde een sterke overlap, wat suggereert dat er geen duidelijke winnaar tussen hen is onder verschillende benchmark-samenstellingen.
Impact van Covariaten: Een cruciale bevinding is dat modellen die in staat zijn om covariaten te gebruiken (specifiek Chronos-2 en TabPFN-TS) aanzienlijke prestatiewinsten lieten zien wanneer covariaten werden opgenomen (bijv. de skill score van Chronos-2 steeg van 40,9% naar 47,0%). Daarentegen negeren de meeste bestaande vooraf getrainde modellen covariaten, waardoor aanzienlijke winsten in nauwkeurigheid onbenut blijven.
Multivariaat vs. Univariaat: Native multivariate modellering leverde slechts bescheiden winsten op vergeleken met univariate benaderingen, wat contrasteert met de grote verbeteringen die worden gezien door de integratie van covariaten.

Betekenis en Claims

Het artikel positioneert fev-bench en de fev library als een praktisch fundament voor de volgende generatie onderzoek in tijdreeksvoorspelling. De betekenis ligt in:

Het Aanpakken van de Covariaat-kloof: Door expliciet 46 taken met covariaten op te nemen, wijst de benchmark op een belangrijke tekortkoming in de huidige TSFM-ontwikkeling, wat wijst op ondersteuning voor covariaten als een duidelijke richting voor toekomstig werk.
Statistische Strengheid: Het gebruik van gebootste betrouwbaarheidsintervallen brengt het veld verder dan enkelvoudige ranglijsten, en biedt een betrouwbaardere beoordeling of prestatieverschillen echt zijn of te wijten zijn aan willekeurige variatie.
Reproduceerbaarheid en Flexibiliteit: Het lichtgewicht, modulaire ontwerp van het fev pakket heeft als doel de rigiditeit van monolithische benchmark-systemen te overwinnen, wat een gemakkelijke integratie in bestaande workflows en de creatie van domeinspecifieke extensies faciliteert.

De auteurs concluderen dat hoewel vooraf getrainde modellen snel vooruitgaan, de gemeenschap prioriteit moet geven aan ondersteuning voor covariaten en statistisch robuuste evaluatie om voortdurende vooruitgang in real-world forecasting toepassingen te waarborgen.