Technische Samenvatting: Fidel-TS: Een High-Fidelity Multimodaal Benchmark voor Tijdreeksvoorspelling

Probleemstelling

De evaluatie van modellen voor tijdreeksvoorspelling wordt momenteel gehinderd door een gebrek aan hoogwaardige benchmarks, wat leidt tot overschatte beoordelingen van modelvoortgang. Bestaande benchmarks lijden aan drie hoofdprobleemcategorieën:

1. Unimodale Beperkingen: Traditionele datasets (bijv. ETT, ECL, M4) zijn vaak kleinschalig, verouderd en hebben vage variabele samenstellingen. Cruciaal is dat hun langdurige publieke beschikbaarheid een aanzienlijk risico heeft gecreëerd voor pre-training contaminatie voor Large Language Models (LLM's), wat hun waargenomen voorspellingscapaciteiten mogelijk opblaast.
2. Multimodale Gebreken: Vroege multimodale benchmarks (bijv. TimeMMD) erven contaminatierisico's over en introduceren nieuwe methodologische fouten. Ze vertrouwen vaak op retrospectief opgehaalde tekstuele data (bijv. nieuws, rapporten), wat leidt tot temporale lekkage (toegang tot toekomstige informatie) en beschrijvingslekkage (tekst die de grondwaarheid expliciet vermeldt). Bovendien maken ze vaak gebruik van data met lage frequentie (maandelijks/wekelijks), wat de datavolume beperkt en de evaluatie van complexe scenario's met hoge frequentie verhindert.
3. Structurele Ambiguïteit: Bestaande benchmarks onderscheiden vaak niet duidelijk tussen "Onderwerpen" (bijv. specifieke sensoren of regio's) en "Kanalen" (variabelen), wat het moeilijk maakt om de generalisatie van modellen naar nieuwe, onzichtbare entiteiten binnen een systeem rigoureus te evalueren.

Methodologie: Het Fidel-TS Kader

Om deze tekortkomingen aan te pakken, formaliseren de auteurs drie kernprincipes van high-fidelity benchmarking en construeren Fidel-TS, een nieuwe, grootschalige benchmark die hierop is gebaseerd.

Kernprincipes

1. Integriteit van Data Bronnen: De benchmark maakt uitsluitend gebruik van real-time, authenticatie-geschermde API-datastromen. Dit waarborgt de actualiteit, voldoende omvang en hoge frequentie (sub-uurlijks) van de data, en mitigeert inherent pre-training contaminatie door data te betrekken uit beperkte API's in plaats van openbare repositories.
2. Lekvrij Ontwerp: Tekstuele modaliteiten zijn beperkt tot verifieerbaar geplande exogene informatie, zoals weersvoorspellingen en controle-evenementen (bijv. onderhoudsplanningen). Dit zorgt ervoor dat tekstuele data beschikbaar op het tijdstip van voorspelling strikt verifieerbaar is, waardoor temporale en beschrijvingslekkage die vaak voorkomen bij open-ended nieuwsophaling, worden voorkomen.
3. Structurele Duidelijkheid: De benchmark implementeert een strikte demarcatie tussen Onderwerpen (distincte entiteiten zoals sensoren of kamers) en Kanalen (variabelen zoals snelheid of temperatuur). Deze architectuur maakt een rigoureuze evaluatie van generalisatie mogelijk door te trainen op waargenomen onderwerpen en te testen op vastgehouden, onzichtbare onderwerpen.

Data Curation Pipeline

De constructie van Fidel-TS omvat een pipeline die ruwe API-stromen vertaalt naar gestructureerde datasets:

• Omgaan met Imperfecties: Ruis van sensoren in de echte wereld en ontbrekende waarden worden behouden. Korte gaten worden geïnterpoleerd, terwijl lange gaten worden behandeld als "Sensor Downtime"-evenementen, gemarkeerd met nulwaarden en bijbehorende tekstuele beschrijvingen (bijv. "sensor downtime"), waardoor datakwaliteitsproblemen worden omgezet in contextuele kenmerken.
• Tekstuele Integratie: Statische metadata (beschrijvingen van dataset/onderwerp/kanaal) en dynamische, tijd-uitgelijnde evenementen (weer, controlelogs) worden samengevoegd tot een Dynamische Event Database, waarbij strikte temporale uitlijning met numerieke tijdstempels wordt gewaarborgd.
• Evaluatiescenario's: De benchmark biedt meerdere datasetvariaties:
  • -h: Gedownsampt naar uurlijkse frequentie voor uniformiteit.
  • -mini: Kleinere subsets gemaakt via importance sampling (gestratificeerd op multimodale afhankelijkheid) om LLM-evaluatie computatief haalbaar te maken zonder bias in te brengen.
  • -obs / -hid: Waargenomen (trainings-) en Verborgen (test-) subsets om generalisatie op onderwerpniveau te evalueren (zero-shot transfer naar nieuwe sensoren/kamers).

Belangrijkste Bijdragen

1. Formalisatie van Principes: Het artikel vestigt een formeel kader voor high-fidelity tijdreeksbenchmarking, met nadruk op data-integriteit, lekvrij ontwerp en structurele duidelijkheid.
2. Lancering van Fidel-TS: De introductie van een nieuwe, grootschalige benchmark met frisse, data met hoge frequentie en lek-vrije data over diverse domeinen (Fotovoltaïek, Hernieuwbare Energie, Atmosferische Fysica, Verkeer, Stroomnet, HVAC).
3. Unificatie van Evaluatiekaders: Een uitgebreid kader dat compatibel is met diverse modaliteiten (unimodaal, multimodaal, LLM-gebaseerd) en architecturen, waardoor een eerlijke vergelijking mogelijk is over het spectrum van voorspellingsmodellen.

Experimentele Resultaten

De auteurs evalueerden een breed scala aan modellen, waaronder domeinspecifieke unimodale modellen (DLinear, PatchTST, iTransformer), foundation-modellen (Chronos, TimeMoE, Sundial), multimodale modellen (GPT4MTS, FIATS) en diverse LLM's (Qwen-serie, DeepSeek-R1, Chattime).

Belangrijkste Bevindingen

1. Unimodale Prestaties: Geen enkel unimodaal model domineert consequent over alle datasets. Bovendien blijken Tijdreeks Foundation Modellen (TSFM's) niet de beweerde robuuste zero-shot voorspellingscapaciteit te vertonen; hun prestaties verslechteren aanzienlijk naarmate de voorspellingshorizon uitbreidt, waarbij ze vaak onderpresteren ten opzichte van gespecialiseerde modellen die zijn getraind op specifieke datasets.
2. Multimodale Winsten: De effectiviteit van multimodale voorspelling is sterk afhankelijk van modelarchitectuur en de relevantie van tekstuele invoer. Modellen zoals FIATS, die tekst binnen de voorspellingshorizon gebruiken als expliciete staat-gids, bereiken state-of-the-art prestaties. Daarentegen blijven modellen die tekst slechts behandelen als historische covariaten (bijv. GPT4MTS) vaak achter bij unimodale baselines. Ablatiestudies bevestigen dat modellen semantische context actief benutten in plaats van tekst te behandelen als een generieke regularisator.
3. LLM-beperkingen: Hoewel de prestaties van LLM's correleren met algemene redeneervermogens, blijven zelfs domein-gefinetuned varianten instabiel. Onder realistische, contextrijke en lek-vrije langetermijnomstandigheden:
   • LLM's die gebruikmaken van directe prompting lijden aan ernstige precisie- en betrouwbaarheidsproblemen.
   • Pass-rates dalen aanzienlijk bij langere voorspellingshorizons, multivariate invoer en dichte tekstuele contexten.
   • De meeste LLM's blijven achter bij toegewijde voorspellingsmodellen, wat suggereert dat eerdere benchmarks mogelijk te vereenvoudigde taken boden of leden onder datalekken.

Betekenis

Het artikel stelt dat Fidel-TS een prestatielandschap onthult dat verschilt van eerdere benchmarks, waardoor evaluatiebias inherent aan eerdere werken aan het licht komt. Door een rigoureus, lek-vrij standaard te vestigen, beogen de auteurs:

• De overschatting van modelcapaciteiten te corrigeren, met name met betrekking tot LLM's en zero-shot foundation-modellen.
• Een realistischere beoordeling van generalisatiecapaciteiten te bieden via splitsing op onderwerpniveau.
• De onderzoeksgemeenschap aan te moedigen betrouwbaardere, echt generaliseerbare benchmarkmethoden te ontwikkelen die aansluiten bij real-world implementatiescenario's.

Het werk concludeert dat hoewel vooruitgang in tijdreeksvoorspelling evident is, de huidige evaluatiestandaarden niet hebben bijgehouden met modelvoortgang, wat de high-fidelity aanpak zoals gepresenteerd in Fidel-TS noodzakelijk maakt.