Are We Winning the Wrong Game? Revisiting Evaluation Practices for Long-Term Time Series Forecasting

Dit artikel betoogt dat de huidige evaluatiepraktijken voor langetermijnvoorspelling van tijdreeksen te zeer gefocust zijn op marginale verbeteringen in puntsgewijze foutmaten, en pleit voor een meerdimensionale benadering die statistische nauwkeurigheid, structurele coherentie en besluitvormingsrelevantie integreert om de aandacht te verschuiven van het winnen van benchmarks naar het bevorderen van zinvolle voorspellingen.

De kern

Kort samengevat: Zijn we de verkeerde wedstrijd aan het winnen?

Stel je voor dat je een kok bent die de beste soep ter wereld maakt. Maar in plaats van te kijken of de soep lekker smaakt, of dat hij gezond is, of dat hij de honger van je gasten stilt, wordt je alleen beoordeeld op één ding: hoe nauwkeurig je de temperatuur van de soep in graden Celsius hebt gemeten.

Als je soep 0,01 graad warmer is dan die van je concurrent, win je de wedstrijd. Je krijgt een prijs, je naam komt op een lijstje bovenaan, en iedereen roept dat jij de "beste soepkok" bent.

Maar wat als die extra 0,01 graad betekent dat je de soep hebt verbrand? Of dat je de smaak hebt vergeten? Of dat je de soep hebt gemaakt voor een gast die juist koude soep wil?

Dat is precies wat deze paper zegt over voorspellen van tijdreeksen (zoals het voorspellen van energieverbruik, verkeersdrukte of beurskoersen). De onderzoekers, Thanapol Phungtua-eng en Yoshitaka Yamamoto, vinden dat we de verkeerde wedstrijd aan het spelen zijn.

De huidige situatie: De "Scorebord-Game"

Op dit moment kijken wetenschappers naar modellen die de toekomst voorspellen. Ze testen deze modellen op een paar standaard datasets (zoals elektriciteitsverbruik) en kijken alleen naar één cijfer: hoe groot is de fout? (Meestal gemeten als MSE of MAE).

• Het probleem: Als een model de fout met 0,001 verkleint, wordt het "de beste".
• Het gevaar: Modellen gaan zich specialiseren in het winnen van die specifieke test. Ze gaan "leren" hoe ze die test moeten hacken, in plaats van echt te begrijpen hoe de wereld werkt. Het is alsof een student alleen leert om de juiste antwoorden op een meerkeuzetoets te raden, zonder de stof daadwerkelijk te begrijpen.

Waarom dit een probleem is (Met een paar analogieën)

1. De Weervoorspelling die te glad is
Stel je voor dat je een model hebt dat het weer voorspelt. Het ene model zegt: "Morgen is het 20 graden, met een kans op een plotseling onweer om 14:00 uur." Het andere model zegt: "Morgen is het een gemiddelde van 19,5 graden, zonder onweer."
Op de testlijst wint het tweede model, omdat het gemiddelde dichter bij de echte temperatuur ligt. Maar in de echte wereld is het eerste model veel waardevoller! Als je een picknick plant, wil je weten over dat onweer. Het "winnende" model heeft de structuur van het weer genegeerd om het gemiddelde cijfer te verbeteren.

2. De Auto die alleen op de testbaan rijdt
De huidige modellen zijn als racewagens die perfect zijn afgesteld op één specifieke racebaan (de benchmark-datasets). Ze gaan razendsnel over die ene baan. Maar als je ze op een modderige weg of in de sneeuw zet, zakken ze direct in. De onderzoekers zeggen: "We moeten niet kijken hoe snel ze op de testbaan zijn, maar hoe goed ze rijden in de echte, chaotische wereld."

3. De Kunst die alleen op kleur wordt beoordeeld
Stel je voor dat je een schilderij maakt. De jury kijkt alleen naar hoe nauwkeurig de verfkleur overeenkomt met een foto. Een schilder die een prachtig, emotioneel landschap schildert met een beetje abstractie, krijgt een lagere score dan een schilder die een saaie, exacte kopie maakt. De "kunst" (de betekenis en structuur) wordt genegeerd omdat de "meting" (de kleur) het enige telt.

Wat is de oplossing? Een nieuwe manier van kijken

De auteurs stellen voor dat we stoppen met alleen naar dat ene cijfer te kijken. In plaats daarvan moeten we naar drie dingen kijken:

1. De Nauwkeurigheid (Statistiek): Ja, kloppen de getallen? (Dit is de huidige manier, maar niet de enige).
2. De Structuur (De "Geest" van de data): Behoudt het model de trends? Ziet het model de seizoenen? Begrijpt het plotselinge veranderingen? Als een model een trendlijn tekent die logisch is, maar net niet perfect op elk puntje past, is dat misschien beter dan een model dat op elk puntje past maar de lijn volledig verdraait.
3. De Bruikbaarheid (Wat doet het voor mij?): Is de voorspelling nuttig voor de beslissing? Als een model helpt om een stroomnet niet te laten crashen, of om een beleggingsrisico te beheren, dan is het goed, zelfs als het cijfer op de test niet perfect is.

Conclusie: Van "Winnaar" naar "Begrip"

De boodschap van deze paper is simpel maar krachtig:
We moeten stoppen met jagen naar het hoogste punt op een scorebord.

In plaats daarvan moeten we vragen: "Wat leert dit model ons over de wereld?" en "Helpt dit ons betere beslissingen te nemen?"

Als we dit doen, verandert de wetenschap van een wedstrijd in een race (waar alleen de snelste telt) naar een zoektocht naar waarheid (waar het begrip van de dynamiek telt). We willen geen modellen die alleen de test kunnen hacken, maar modellen die echt begrijpen hoe tijd, trends en veranderingen werken.

Kortom: We winnen de wedstrijd, maar we verliezen de zin ervan. Tijd om de regels van het spel te veranderen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Are We Winning the Wrong Game? Revisiting Evaluation Practices for Long-Term Time Series Forecasting" in het Nederlands.

Probleemstelling

Het artikel identificeert een fundamenteel probleem in het onderzoeksveld van Long-Term Time Series Forecasting (LTSF). Het veld is verworden tot een "GAME" die wordt gedreven door benchmarks, waarbij succes uitsluitend wordt gemeten aan de hand van marginale verbeteringen in geaggregeerde, punt-voor-punt foutmetrieken, zoals MSE (Mean Squared Error) en MAE (Mean Absolute Error).

De auteurs betogen dat deze op metrieken gerichte regime structureel in strijd is met de bredere doelstellingen van voorspelling in de echte wereld:

1. Vervorming van doelen: Wat wordt gemeten, wordt geoptimaliseerd. Onderzoekers richten zich steeds meer op het verbeteren van leaderboard-ranglijsten in plaats van op het modelleren van de onderliggende temporele dynamiek.
2. Gebrek aan structurele validiteit: Het minimaliseren van de gemiddelde fout garandeert niet dat een model belangrijke structurele eigenschappen behoudt, zoals trendstabiliteit, seizoensgebonden coherentie of robustheid tegen regime-verschuivingen.
3. Specialisatie vs. Generalisatie: Prestaties op een klein aantal canonieke datasets (zoals ETT en Weather) leiden mogelijk tot modellen die gespecialiseerd zijn in de statistieken van deze benchmarks, maar niet goed generaliseren naar diverse real-world scenario's.
4. Voorspelling ≠ Kromme aanpassing: In veel toepassingen (zoals energievoorziening of financiën) is het belangrijker om de algemene trend of regime-verschuivingen te begrijpen dan om elke korte-termijn fluctuatie of ruis exact na te bootsen. Het huidige evaluatiesysteem straft echter modellen die ruis gladstrijken (en dus structureel consistenter zijn) af omdat hun punt-voor-punt fout hoger is.

Methodologie

Het artikel is een conceptueel en kritisch onderzoek (een position paper) en geen experimenteel onderzoek met nieuwe modellen. De methodologie bestaat uit:

• Analyse van het huidige evaluatieparadigma: De auteurs analyseren hoe evaluatieprotocollen (geïntroduceerd door werken zoals Informer) de onderzoeksagenda hebben bepaald.
• Identificatie van incentives: Ze onderzoeken hoe de dominantie van MSE/MAE de incentives voor onderzoekers vormt, wat leidt tot "curve fitting" in plaats van dieper inzicht.
• Conceptueel kader: Ze stellen een nieuw, multidimensionaal evaluatiekader voor dat verder gaat dan enkel numerieke rangschikking. Dit kader is gebaseerd op drie complementaire dimensies die de kwaliteit van voorspellingen moeten beoordelen.

Kernbijdragen

De belangrijkste bijdrage van het artikel is het voorstellen van een multidimensionaal evaluatieperspectief dat de huidige "monocultuur" van metrieken moet doorbreken. Dit perspectief bestaat uit drie pijlers:

1. Statistische Fideliteit (Statistical Fidelity):

   • Voorspellingen moeten nog steeds worden geëvalueerd op hoe goed ze overeenkomen met waargenomen waarden onder gestandaardiseerde condities.
   • De auteurs pleiten voor het gebruik van geschaalde fouten (bijv. MASE) en probabilistische maatstaven (bijv. CRPS) om vergelijkingen over verschillende datasets mogelijk te maken, naast het behoud van computationele efficiëntie als een praktische metriek.

2. Structurele Coherentie (Structural Coherence):

   • Dit is een nieuwe dimensie die de uitlijning van de voorspelling met de onderliggende temporele structuur evalueert.
   • Sleutelaspecten: Behoud van trends, consistentie van seizoenspatronen en robustheid tegen regime-verschuivingen.
   • Methode: In plaats van alleen een gemiddelde fout te kijken, moeten voorspellingen worden getoetst op hun vermogen om deze structurele componenten te behouden. Dit kan worden gedaan met diagnostische tools zoals trendsterkte-analyse, seizoenssterkte en tests op randomiteit.

3. Beslissingsniveau Relevantie (Decision-Level Relevance):

   • Voorspelling dient vaak als input voor downstream beslissingen. De evaluatie moet daarom kijken naar de bruikbaarheid voor domeinspecifieke doelen.
   • Voorbeelden: Robustheid onder distributieveranderingen, asymmetrische foutkosten (waarbij een onderschatting duurder is dan een overschatting), en risicobewust beslissen.
   • Een model dat beter past bij operationele planning of risicomanagement, kan waardevoller zijn dan een model met de laagste MSE.

Daarnaast stellen de auteurs een verschuiving voor in rapportage: van leaderboard-rangschikking naar diagnostische rapportage. Dit betekent het analyseren van prestaties per "sliding window" in plaats van globale gemiddelden, om te begrijpen waar en waarom een model faalt of slaagt (bijv. tijdens anomalieën of abrupte shifts).

Resultaten en Observaties

Omdat het een conceptueel artikel is, worden er geen nieuwe numerieke resultaten van een nieuw model gepresenteerd. De "resultaten" zijn de volgende observaties en conclusies:

• Geen universele kampioen: Bestaande literatuur (zoals Brigato et al.) toont aan dat er geen enkel model is dat consistent alle andere modellen verslaat op alle datasets en tijdsintervallen. De zoektocht naar een "state-of-the-art" model is dus misplaatst.
• Benchmarks als beperkende factor: De huidige benchmarks (zoals ETT, Weather) vormen slechts een beperkt subset van de diversiteit aan temporeel gedrag in de echte wereld. Optimalisatie voor deze benchmarks leidt tot specialisatie in plaats van robuuste generalisatie.
• Diagnostische variabiliteit: Door voorspellingen per venster te analyseren (in plaats van te aggregeren), blijkt dat hoge fouten vaak het gevolg zijn van structurele onregelmatigheden in de data (anomalieën) en niet per se van een slecht model. Een model dat deze onregelmatigheden gladstrijkt, kan structureel superieur zijn, maar scoort slecht op MSE.

Betekenis en Impact

De betekenis van dit artikel ligt in de oproep tot een culturele verschuiving binnen de LTSF-gemeenschap:

• Herdefiniëring van succes: Succes moet niet worden gemeten aan de hand van marginale verbeteringen in leaderboard-tabelletjes, maar aan de hand van het begrip van temporele dynamiek en de praktische toepasbaarheid van de voorspellingen.
• Contextbewustzijn: Evaluatie moet context-afhankelijk en doelgericht zijn. Een model voor energievoorspelling heeft andere eisen (stabiliteit, trendbehoud) dan een model voor financiële trading (risicobeheer).
• Toekomstige richting: Het artikel daagt onderzoekers uit om te stoppen met het jagen op de volgende 0,001 verbetering in MSE en in plaats daarvan te focussen op diagnostische rapportage, structurele validiteit en de impact op downstream beslissingen.

Kortom, het artikel waarschuwt dat we mogelijk het verkeerde spel winnen: we zijn uitstekend geworden in het winnen van benchmarks, maar verliezen mogelijk het zicht op de echte waarde van tijdreeksvoorspelling voor de maatschappij en de industrie.