Rolling-Origin Validation Reverses Model Rankings in Multi-Step PM10 Forecasting: XGBoost, SARIMA, and Persistence

Dit onderzoek toont aan dat het gebruik van een rollende-validatieprotocol in plaats van een statische splitsing de prestatieranking van PM10-voorspellingsmodellen omkeert, waarbij XGBoost minder betrouwbaar blijkt dan een persistentie-baseline, terwijl SARIMA consistent positieve vaardigheid behoudt.

De kern

De Verborgen Valstrik in Voorspellingen: Waarom de "Slimste" Model soms de Slechtste is

Stel je voor dat je een weerman bent die de luchtkwaliteit (PM10) moet voorspellen voor de komende week. Je wilt weten of de lucht straks schoon is of vol stof, zodat je kunt adviseren: "Blijf binnen" of "Ga lekker fietsen".

Er zijn drie "profs" die je kunt inhuren om dit te doen:

1. De Trager (Persistence): Deze zegt simpelweg: "Morgen zal het net zo zijn als vandaag."
2. De Statistieker (SARIMA): Deze kijkt naar oude patronen en seizoenen.
3. De AI-Genie (XGBoost): Een supermoderne machine learning-tool die enorme hoeveelheden data kan analyseren en complexe patronen ziet die mensen niet zien.

In de wetenschappelijke wereld wordt vaak gedacht dat de AI-Genie altijd de winnaar is. Maar dit onderzoek toont aan dat dit een groot misverstand kan zijn, afhankelijk van hoe je de proef neemt.

De Proef: Een Vaste Foto vs. Een Live Video

Het onderzoek doet iets heel slimme: het vergelijkt twee manieren om de modellen te testen.

1. De Vaste Foto (Static Split)
Stel je voor dat je een foto maakt van de afgelopen 5 jaar. Je deelt deze foto in tweeën: de eerste helft is de "leertijd" en de tweede helft is de "toets".

• Wat er gebeurt: De AI-Genie leert van de eerste helft en scoort fantastisch op de tweede helft.
• Het resultaat: De AI-Genie wint met gemak van de Trager en de Statistieker.
• Het probleem: In het echte leven krijg je geen hele foto tegelijk. Je krijgt de informatie dag voor dag. Als je de AI-Genie alleen op een vaste foto test, heeft hij soms "geleerd" van dingen die hij op dat moment nog niet zou hebben kunnen zien (zoals het weer van morgen in de training). Dit is alsof je een speler laat oefenen met een antwoordboekje.

2. De Live Video (Rolling-Origin)
Nu doen we het echt. We spelen de video af, dag voor dag.

• De regels: Elke maand maken we een nieuwe voorspelling. We trainen het model alleen met de data die we op dat moment al hebben. We kijken nooit in de toekomst.
• Het resultaat: Hier gebeurt het wonderlijke. De AI-Genie (XGBoost) zakt door de vloer. Op korte termijn (1 tot 3 dagen) doet hij soms slechter dan de simpele Trager die zegt: "Het blijft zoals het is."
• De verrassing: De Statistieker (SARIMA) blijkt juist de meest betrouwbare te zijn. Deze blijft consistent goed presteren, zelfs als de AI-Genie in de war raakt.

De Grootste Les: De "Zichtbaarheidslimiet"

De auteurs introduceren een nieuw concept: de Zichtbaarheidslimiet (in het paper Predictability Horizon of H*).
Dit is het aantal dagen vooruit dat je kunt voorspellen voordat je model net zo goed (of slecht) is als de simpele Trager.

• Bij de Vaste Foto: De AI-Genie zag eruit alsof hij 7 dagen vooruit kon kijken.
• Bij de Live Video: De AI-Genie faalde op dag 1 en 3. Hij kon eigenlijk niet beter voorspellen dan de simpele Trager op de momenten die echt belangrijk zijn voor beslissingen.

Waarom is dit belangrijk voor jou?

Stel je voor dat je een auto koopt.

• De verkoper laat je een video zien van de auto die perfect rijdt op een gesloten circuit (de Vaste Foto).
• Maar als je de auto in de regen op een drukke weg rijdt (de Live Video situatie), blijkt hij te slippen en te falen.

Dit onderzoek zegt: "Kijk niet alleen naar de mooie video van de verkoper."

Voor luchtkwaliteitsvoorspellingen betekent dit:

1. Complexiteit is niet altijd beter: Een heel ingewikkeld AI-model is niet per se beter dan een simpel statistisch model als het gaat om dagelijkse beslissingen.
2. Testen moet realistisch zijn: Als je modellen test, moet je ze testen alsof ze in het echt werken (dag na dag, zonder in de toekomst te kijken). Anders krijg je een vals gevoel van veiligheid.
3. De simpele Trager is een sterke tegenstander: In een wereld waar de lucht vaak hetzelfde blijft als de dag ervoor, is het soms slimmer om gewoon uit te gaan van "het blijft zoals het is" dan om te vertrouwen op een complexe berekening die fouten maakt.

Kortom: Soms is de "slimme" computer een beetje te slim voor zijn eigen bestwil en raakt hij in de war. De ouderwetse, betrouwbare statistiek wint het in dit geval, omdat hij niet probeert te raden wat er morgen is, maar zich houdt aan wat hij zeker weet.

Technische samenvatting

Probleemstelling

Veel studies over luchtvervuiling (zoals PM10) rapporteren prestatiewinsten van geavanceerde machine learning-modellen (zoals XGBoost) ten opzichte van traditionele statistische methoden. Echter, deze evaluaties vertonen vaak twee kritieke tekortkomingen die de operationele bruikbaarheid in de praktijk vertroebelen:

1. Staticeren splitsen: Studies gebruiken vaak één vaste train-test verdeling. Dit negeert het dynamische proces van operationele voorspellingssystemen, waar modellen periodiek worden bijgewerkt naarmate nieuwe data beschikbaar komt.
2. Gebrek aan realistische benchmarks: Veel studies missen een vergelijking met een "persistence" (volharding) baseline. In sterk autocorrelerende milieu-series (waar de waarde van morgen vaak dicht bij die van vandaag ligt) kan een model een lagere absolute fout hebben, maar toch geen operationele meerwaarde bieden ten opzichte van het simpele aannemen dat de huidige waarde blijft bestaan.

De kernvraag is niet alleen of een model de gemiddelde fout verlaagt, maar of het operationele vaardigheid (skill) behoudt ten opzichte van een naieve baseline over een reeks van voorspellingstermijnen (1 tot 7 dagen), onder realistische, sequentiële update-condities.

Methodologie

De auteurs evalueren drie voorspelfamilies voor dagelijkse PM10-concentraties in Elche (Zuid-Spanje) over de periode 2017–2024 (2.350 observaties):

1. Persistence: De baseline die aannemt dat de toekomstige waarde gelijk is aan de meest recente waarneming.
2. SARIMA: Een klassiek statistisch model (Seasonal Autoregressive Integrated Moving Average) dat lineaire structuren en seizoensinvloeden modelleert.
3. XGBoost: Een geavanceerd machine learning-algoritme (Extreme Gradient Boosting) dat niet-lineaire relaties en interacties kan modelleren.

Evaluatieprotocollen:
Het onderzoek vergelijkt twee validatiebenaderingen:

• Static Chronological Split: Een enkele train-test verdeling (2017-2022 trainen, 2023 testen).
• Rolling-Origin Evaluation: Een realistischere aanpak waarbij het voorspellingsoogpunt (origin) maandelijks verschuift. Het model wordt bij elke stap opnieuw getraind op de tot dat moment beschikbare data (expanderend venster), met strikte "train-only" preprocessing om data-lekkage te voorkomen.

Metingen:

• Absolute fout: RMSE en MAE.
• Persistence-relative skill ($SS_m(h)$): Gedefinieerd als $1 - \frac{Err_m(h)}{Err_{pers}(h)}$. Een positieve waarde betekent dat het model beter presteert dan de persistence-baseline.
• Voorspelbaarheidshorizon ($H^*$): Gedefinieerd als het maximale tijdsbestek ($h$) waarbij de skill positief blijft ($SS_m(h) > 0$).

Belangrijkste Bijdragen

1. Reproduceerbaar evaluatieontwerp: Een framework dat onderscheid maakt tussen echte voorspellende vaardigheid en artefacten veroorzaakt door statische validatie en niet-causale preprocessing.
2. Operationele interpretatie van $H^*$: De introductie van de voorspelbaarheidshorizon als een maatstaf voor operationele bruikbaarheid, in plaats van alleen het kijken naar aggregate foutmaten.
3. Empirisch bewijs voor ranking-reversie: Het aantonen dat de rangschikking van modellen niet invariant is voor het evaluatieontwerp. Wat er onder statische splitsen als superieur lijkt, kan onder realistische omstandigheden ondermaats presteren.

Resultaten

De resultaten tonen een opmerkelijke omkering van de modelrangschikking afhankelijk van het gebruikte validatieprotocol:

• Onder statische splitsing:

  • XGBoost presteerde overal beter dan de persistence-baseline (skill $SS$ tussen 0,23 en 0,30) voor alle horizons (1-7 dagen).
  • Dit suggereerde een voorspelbaarheidshorizon $H^* = 7$ en een uniforme superioriteit van XGBoost.

• Onder rolling-origin evaluatie (realistisch scenario):

  • XGBoost: De prestaties verslechterden aanzienlijk. Op korte en middellange termijn (dag 1 en 3) was de skill negatief of dicht bij nul. XGBoost presteerde systematisch slechter dan de persistence-baseline op deze momenten. De skill werd pas positief op langere horizons (dag 5-7).
  • SARIMA: In tegenstelling tot XGBoost behield SARIMA een positieve skill over het volledige bereik van 1 tot 7 dagen.
  • Ranking Omkering: Onder realistische omstandigheden presteerde SARIMA consistent beter dan XGBoost op alle voorspellingstermijnen. De klassieke statistische methode bleek robuuster dan het complexe machine learning-model.

Betekenis en Conclusie

De studie heeft belangrijke implicaties voor zowel onderzoekers als beleidsmakers op het gebied van luchtkwaliteit:

1. Validatieontwerp is cruciaal: Conclusies over modelsuperioriteit zijn sterk afhankelijk van het validatieprotocol. Statische splitsen kunnen de operationele meerwaarde van complexe modellen (zoals XGBoost) sterk overschatten.
2. Complexiteit is geen garantie voor prestatie: Een model met meer flexibiliteit (XGBoost) is niet per se beter dan een goed gekalibreerd statistisch model (SARIMA) in een omgeving met sterke autocorrelatie, zeker niet onder realistische update-condities.
3. Rol van de Persistence-baseline: Het vergelijken met een persistence-baseline is essentieel om te bepalen of een model daadwerkelijk "informatieve" voorspellingen doet die actie rechtvaardigen, in plaats van slechts statistische ruis te modelleren.
4. Interpretatie van $H^*$: De voorspelbaarheidshorizon $H^*$ moet niet als een enkel getal worden gezien, maar in combinatie met het volledige profiel van de skill over de tijd. Een model kan een hoge $H^*$ hebben, maar toch onbetrouwbaar zijn op korte termijn.

Conclusie: Voor operationele luchtvervuilingvoorspelling moeten evaluaties worden uitgevoerd met een rolling-origin protocol en train-only preprocessing. Alleen dan kan worden vastgesteld of een model echt operationele waarde toevoegt boven de simpelste mogelijke voorspelling. De auteurs pleiten ervoor om $H^*$ en persistence-relative skill als standaardrapportage te gebruiken naast traditionele foutmaten.