It's TIME: Towards the Next Generation of Time Series Forecasting Benchmarks

Dit paper introduceert TIME, een nieuw generatie benchmark voor tijdsreeksvoorspelling die bestaat uit 50 verse datasets en 98 taken, ontworpen om de beperkingen van bestaande benchmarks te overwinnen door strikte zero-shot evaluatie, hoge data-integriteit en een innovatieve patroon-niveau evaluatieperspectief te bieden.

De kern

Stel je voor dat je een kok bent die de beste soep van de wereld wil maken. Om dat te doen, moet je eerst proeven of je recepten werken. In de wereld van kunstmatige intelligentie (AI) voor voorspellingen (zoals "zal het morgen regenen?" of "hoeveel mensen komen er morgen in de supermarkt?"), zijn deze proefrecepten benchmarks (toetsen).

Het probleem is dat de oude toetsen, waar AI-modellen al jaren op werden getest, een beetje "verouderd" en "vervuild" zijn. Het is alsof je koks al jarenlang alleen maar met dezelfde oude, misschien wel vergane groenten laat koken. Ze weten dan niet of de kok echt goed kan koken, of dat hij de groenten gewoon uit zijn hoofd kent omdat hij ze al zo vaak heeft gezien.

Deze paper introduceert TIME: een gloednieuwe, eerlijke en super-georganiseerde proefkeuken voor de volgende generatie AI-voorspellers.

Hier is hoe TIME werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Oude, Vervuilde Keuken"

De auteurs zeggen dat de huidige toetsen vier grote gebreken hebben:

• Oude Groenten: Ze gebruiken dezelfde datasets (de groenten) die al jarenlang in de openbare bibliotheek liggen. AI-modellen hebben die misschien al "geleerd" tijdens hun training. Het is alsof je een student een examen geeft waarvan je weet dat hij de antwoorden al uit zijn hoofd kent. Dat is geen eerlijke test.
• Slechte Kwaliteit: Soms zitten er rotte stukken in de data (gaten, rare uitschieters). Je zou je kok niet laten koken met rotte groenten, toch?
• Onrealistische Taken: De oude toetsen vragen vaak dingen die in de echte wereld niet voorkomen. Alsof je een kok vraagt om soep te maken voor 1000 mensen in 1 seconde, terwijl hij in de realiteit maar 10 minuten heeft.
• Te Grof Beeld: De oude toetsen zeggen alleen: "Deze kok is gemiddeld goed." Maar ze vertellen niet waarom. Is hij goed in soep, maar slecht in salades? De oude toetsen kijken niet naar de details.

2. De Oplossing: TIME (De Nieuwe, Schone Keuken)

TIME is een nieuwe manier om AI-modellen te testen, met drie grote verbeteringen:

A. Nieuwe, Schone Ingrediënten (Data)

In plaats van oude, bekende datasets te gebruiken, heeft TIME 50 gloednieuwe datasets verzameld.

• De Analogie: Stel je voor dat ze speciaal voor deze test verse groenten hebben gekocht van boeren die niemand kent. Zo weet je 100% zeker dat de AI de antwoorden niet uit zijn hoofd kent. Het is een eerlijke "zero-shot" test: de AI moet het doen zonder dat hij de specifieke groenten eerder heeft gezien.
• Ze hebben ook een strenge "keurmeester" (een combinatie van computers en mensen) die elke groente controleert op rotte stukken voordat hij in de pan gaat.

B. Realistische Recepten (Taken)

Ze hebben de testvragen aangepast aan de echte wereld.

• De Analogie: In plaats van te vragen "Voorspel de temperatuur voor de komende 1000 dagen" (wat niemand echt nodig heeft), vragen ze: "Voorspel de temperatuur voor morgen, want we moeten beslissen of we een festival houden." De test is nu afgestemd op wat mensen echt nodig hebben.

C. De "Soep-Test" in plaats van de "Gemiddelde Score" (Patroon-analyse)

Dit is misschien wel het coolste deel. De oude toetsen keken alleen naar het eindresultaat: "Hoe goed was de soep in totaal?"
TIME kijkt naar de patronen in de soep.

• De Analogie: Stel je voor dat je een AI test op het voorspellen van het weer.

  • Soms is het weer heel stabiel (altijd zonnig).
  • Soms is het heel onstabiel (storm, regen, zon in één uur).
  • Soms is er een duidelijke trend (het wordt steeds kouder).

  TIME splitst de test op in deze specifieke patronen. Ze zeggen: "Laten we kijken welke AI het beste is in het voorspellen van stormen, en welke het beste is in het voorspellen van stabiel weer."

  Dit is als een kokentest waarbij je zegt: "Deze kok is een meester in soep, maar hij faalt totaal bij salades." Dat geeft veel meer inzicht dan alleen een algemene score. Ze gebruiken een soort "stempel-systeem" om de data te groeperen op basis van hun eigenschappen.

3. Wat hebben ze ontdekt?

Ze hebben 12 van de slimste AI-koks (modellen) tegen elkaar laten strijden in deze nieuwe keuken.

• De Winnaars: Modellen zoals Chronos-2 en TimesFM 2.5 deden het het beste.
• De Les: Nieuwere modellen zijn echt beter, niet alleen omdat ze op de oude toetsen hebben "gecramd".
• De Nuance: Sommige modellen zijn supergoed in stabiele situaties, maar vallen tegen als het chaotisch wordt. Andere modellen zijn juist heel goed in het voorspellen van plotselinge veranderingen.

Samenvatting

TIME is de nieuwe, eerlijke toets voor AI-voorspellers.

1. Het gebruikt verse, onbekende data zodat niemand kan "leren voor het examen".
2. Het stelt realistische vragen die passen bij de echte wereld.
3. Het kijkt niet alleen naar het eindcijfer, maar naar waarom een model goed of slecht is (bijv. goed bij trends, slecht bij chaos).

Het is alsof we stoppen met het testen van koks met dezelfde oude, bekende recepten, en ze in plaats daarvan een nieuwe, schone keuken geven met verse ingrediënten en echte klanten om te bedienen. Zo weten we eindelijk wie de echte meesterkok is.

Technische samenvatting

1. Het Probleem

De opkomst van Time Series Foundation Models (TSFMs) heeft de evaluatielandschap van tijdreeksvoorspelling verschoven van dataset-specifiek modelleren naar generaliseerbare taak-evaluatie (zero-shot). Echter, de auteurs stellen dat bestaande benchmarks fundamentele tekortkomingen vertonen die de betrouwbaarheid en bruikbaarheid van deze nieuwe modellen in de weg staan:

• Beperkte Data-samenstelling: Bestaande benchmarks zijn sterk afhankelijk van verouderde, hergebruikte datasets (legacy sources). Dit leidt tot het risico van "data leakage", waarbij modellen tijdens het vooraf trainen (pre-training) al toegang hebben gehad tot de testdata, waardoor de zero-shot evaluatie onbetrouwbaar wordt.
• Gecompromitteerde Data-integriteit: Veel datasets bevatten kwaliteitsproblemen zoals extreme outliers, ontbrekende waarden of irrelevante variabelen, die vaak niet rigoureus worden gecontroleerd.
• Niet-gealigneerde Taakformuleringen: De huidige benchmarks gebruiken vaak starre, mechanische instellingen (bijv. vaste voorspellinghorizons) die losstaan van de real-world operationele context en de daadwerkelijke voorspelbaarheid van variabelen.
• Beperkt Analyse-perspectief: Evaluaties zijn vaak gebaseerd op statische meta-labels (zoals domein of frequentie) op dataset-niveau. Dit negeert intrinsieke tijdsreekspatronen (zoals trendsterkte of seizoensgebondenheid) en biedt weinig inzicht in waarom een model presteert of hoe het zich gedraagt bij specifieke tijdsdynamieken.

2. Methodologie

Het paper introduceert TIME, een nieuwe generatie, taakgerichte benchmark die is ontworpen om deze gaten te dichten. De aanpak bestaat uit drie hoofdblokken:

A. Benchmark Constructie (Data & Taken)

• Nieuwe Data: TIME bevat 50 frisse datasets uit diverse bronnen (overheidsportalen, industriële partners, open-access wedstrijden) die nog niet of zelden zijn gebruikt in eerdere benchmarks.
• Human-in-the-Loop Pipeline: Een strikt proces voor data-integriteit wordt toegepast:
  1. Automatische Screening: Een pipeline voert timestamp-correctie, regelgebaseerde validatie, statistische tests (Ljung-Box voor witte ruis), extreme outlier-verwijdering (via IQR) en correlatiecontroles uit.
  2. Menselijke Besluitvorming: Experts en LLM's beoordelen de resultaten om te onderscheiden tussen echte data-corruptie en betekenisvolle domeinspecifieke kenmerken.
• Context-gealigneerde Taken: Voorspellingstaken worden niet willekeurig ingesteld, maar afgestemd op de specifieke operationele vereisten van elk dataset (bijv. juiste frequentie en voorspellinghorizon gebaseerd op het domein).

B. Evaluatie Strategie: Pattern-Level Analyse

In plaats van alleen op dataset-niveau te evalueren, introduceert TIME een patroon-gedreven evaluatie:

• Structuurkenmerken: Elke variabele wordt ontleed via STL-decompositie (Seasonal, Trend, Remainder) om interpreteerbare kenmerken te extraheren.
• Geselecteerde Kenmerken:
  • Trend: Sterkte (F1) en Lineariteit (F2).
  • Seizoensgebondenheid: Sterkte (F3) en Correlatie tussen cycli (F4).
  • Restant: Autocorrelatie (F5).
  • Globaal: Complexiteit (spectrale entropie, F6) en Stationariteit (ADF-test, F7).
• Binair Encoding: Kenmerken worden omgezet in een binaire code (0 of 1) gebaseerd op een mediaan-drempel. Variabelen met dezelfde code worden gegroepeerd.
• Retrieval & Aggregatie: Voor elk specifiek patroon worden de resultaten van alle bijbehorende variabelen geaggregeerd. Dit biedt inzicht in modelcapaciteiten voor specifieke tijdsdynamieken, ongeacht het oorspronkelijke dataset.

C. Experimenteel Setup

• Modellen: 12 representatieve TSFMs worden geëvalueerd (o.a. TimesFM 2.5, Chronos-2, Moirai 2.0, Toto, TiRex).
• Protocol: Strict zero-shot evaluatie (geen fine-tuning) met een rolling-window strategie.
• Metrics: MASE (Mean Absolute Scaled Error) en CRPS (Continuous Ranked Probability Score), genormaliseerd ten opzichte van een Seasonal Naive baseline.

3. Belangrijkste Bijdragen

1. TIME Benchmark: Een schaal van 50 frisse datasets en 98 voorspellingstaken die data-leakage uitsluiten en real-world context integreren.
2. Pattern-Level Evaluatie: Een nieuw perspectief dat modellen evalueert op basis van intrinsieke tijdsreekspatronen in plaats van ruwe dataset-labels, wat leidt tot generaliseerbaarder inzichten.
3. Interactieve Leaderboard: Een multi-granulair dashboard dat kwantitatieve resultaten combineert met kwalitatieve visualisatie om de interpretatie en actieerbaarheid van resultaten te verbeteren.
4. Rigoureuze Data Pipeline: Een bewezen methode voor het cureren van hoge-kwaliteit, schone tijdreeksdata met menselijke en geautomatiseerde validatie.

4. Resultaten

De evaluatie van de 12 modellen op TIME levert de volgende inzichten op:

• Top Performers: Chronos-2 en TimesFM 2.5 presteren consistent het beste over alle taken (laagste MASE en CRPS). Nieuwere iteraties van modellen overtreffen hun voorgangers, wat aantoont dat de benchmark echte vooruitgang vastlegt en niet alleen overfitting op oude data.
• Patroon-specifieke Inzichten:
  • Trend: Modellen presteren beter op variabelen met sterke en lineaire trends.
  • Seizoensgebondenheid: Er is een grote spreiding in prestaties bij sterke seizoenspatronen; betere modellen kunnen deze signalen effectiever modelleren.
  • Stationariteit: Modellen tonen verschillende voorkeuren; sommige excelleren bij niet-stationaire data (bijv. Toto), terwijl anderen beter zijn bij stationaire data (bijv. Chronos-2).
  • Complexiteit: Bij hoge complexiteit (hoge entropie) naderen de prestaties van modellen elkaar, terwijl bij lage complexiteit de verschillen duidelijker zijn.
• Ranking Variatie: De rangschikking van modellen verandert significant afhankelijk van het aggregatieniveau (taak vs. patroon), wat aantoont dat één enkele leaderboard-rangschikking onvoldoende is voor een volledig beeld.

5. Betekenis en Impact

Het paper "It's TIME" markeert een paradigmaverschuiving in de tijdreeksvoorspelling:

• Betrouwbaarheid: Door het gebruik van frisse data en strikte zero-shot protocollen, elimineert TIME het risico van data-contaminatie, wat essentieel is voor het eerlijk beoordelen van foundation modellen.
• Interpreteerbaarheid: De verschuiving van dataset-niveau naar patroon-niveau evaluatie helpt onderzoekers en practitioners te begrijpen voor welke soorten tijdreeksen een model geschikt is, in plaats van alleen een algemene score te geven.
• Praktische Toepasbaarheid: Door taken te aligneren met real-world operationele contexten, maakt de benchmark de resultaten directer toepasbaar in industriële scenario's.
• Toekomstige Richting: Het paper legt de basis voor verdere ontwikkeling van taak-specifieke metrics en fijnmazigere patroon-analyses, en biedt een open-source platform (leaderboard) voor de gemeenschap om modellen verder te testen en te vergelijken.

Kortom, TIME biedt de noodzakelijke infrastructuur om de volgende generatie tijdreeksmodellen objectief, eerlijk en diepgaand te evalueren.