Do Stationarity Transformations Actually Improve Time Series Forecasts? A Controlled Experimental Evaluation

Technische Samenvatting: Verbeteren Stationariteitstransformaties Time-Series Voorspellingen? Een Gecontroleerde Experimentele Evaluatie

Probleemstelling
Stationariteitstransformaties (bijvoorbeeld differentiëren, log-transformaties, seizoensaanpassingen) zijn een standaard voorbewerkingsstap in time-series forecasting, geworteld in de aanname dat veel klassieke modellen (AR, ARMA) stationaire input vereisen om correct te functioneren. Er is echter een gebrek aan gecontroleerd empirisch bewijs dat evalueert of het bereiken van stationariteit via voorbewerking de voorspellingnauwkeurigheid daadwerkelijk verbetert. De meeste bestaande studies passen ofwel vaste pipelines toe zonder vergelijking, of vertrouwen op real-world data waar het ware data-genererende proces (DGP) onbekend is, waardoor het onmogelijk is om te bepalen of een transformatie de juiste vorm van niet-stationariteit aanpakt. Deze studie adresseert de kloof tussen theoretische voorbewerkingsredenering en empirische voorspelprestaties.

Methodologie
De auteurs voerden een volledig gekruiste factoriële experiment uit met 3.528 configuraties:

• Datasets: 11 synthetische time series met bekende DGPs die specifieke niet-stationariteitspatronen isoleren (lineaire trend, seizoensgebondenheid, heteroscedasticiteit, autoregressieve structuren, random walks en combinaties) en 1 real-world dataset (TSA Checkpoint Travel Numbers). Synthetische series waren 200 observaties lang met een wekelijkse frequentie.
• Transformaties: 14 configuraties werden getest, waaronder enkele transformaties (geen, eerste differentiëren, seizoensgebonden differentiëren, fractioneel differentiëren, log, Box-Cox) en pipeline-combinaties (bijvoorbeeld log + verschil).
• Modellen: 7 voorspellingsmodellen die drie categorieën bestrijken: die traditioneel stationariteit veronderstellen (AR, ARMA), die gedeeltelijke stationariteitsbehandeling hebben (ARIMA), en die geen stationariteit vereisen (ETS, Holt-Winters, Prophet, Gradient Boosting/LightGBM).
• Evaluatie: Voorspellingen werden gegenereerd voor horizons van 4, 12 en 24 weken. Nauwkeurigheid werd gemeten met de Symmetrische Gemiddelde Absolute Percentage Fout (sMAPE) op de originele schaal (na inverse transformatie).
• Stationariteitsmeting: Een consensusratio afgeleid van tien statistische tests (die trend, variantie en seizoensgebondenheid bestrijken) werd gebruikt om stationariteit te kwantificeren, met domeinspecifieke uitsluitingsregels om spurious resultaten te voorkomen.
• Analyse: De studie hanteerde mediatiestudie om het causale pad te ontleden: Transformatie $\rightarrow$ Stationariteit $\rightarrow$ Voorspellingnauwkeurigheid.

Belangrijkste Resultaten

1. Algemene Verslechtering: In tegenstelling tot de standaardpraktijk verslechterden het toepassen van stationariteitstransformaties over het algemeen de voorspellingnauwkeurigheid. Differentiëren-gebaseerde transformaties (eerste, seizoensgebonden, fractioneel) fungeerden als hoogdoorlaatfilters, verwijderden voorspelbare laagfrequente signalen en verhoogden de sMAPE aanzienlijk.
2. De Uitzondering voor Variantiestabilisatie: De primaire uitzondering was variantiestabilisatie (log- en Box-Cox-transformaties). Op heteroscedastische data verbeterden deze transformaties de nauwkeurigheid in 60–65% van de gevallen door schendingen van modelaannames aan te pakken zonder het voorspellende signaal te verzwakken.
3. Gekoppeld versus Niet-Gekoppeld: Zelfs wanneer een transformatie "gekoppeld" was aan de bekende niet-stationariteit (bijvoorbeeld differentiëren van een lineaire trend), verbeterde het voorspellingen slechts in 18% van de gevallen. In veel "handboek"-gevallen, zoals differentiëren van een serie met een lineaire trend, verslechterde de nauwkeurigheid in alle geteste gevallen omdat het voorspelbare trendsignaal werd verwijderd.
4. Modelonafhankelijkheid: De negatieve impact van differentiëren bleef bestaan over alle modelfamilies, inclusief AR en ARMA. Moderne implementaties van deze modellen bevatten vaak interne trendparametrisering, wat de praktische noodzaak van extern differentiëren vermindert.
5. Mediatiebevindingen: Mediatieanalyse bevestigde dat hoewel transformaties succesvol de trendstationariteit verhoogden (Pad A), een hogere trendstationariteit geassocieerd was met slechtere voorspellingnauwkeurigheid (Pad B). Het mechanisme werd geïdentificeerd als signaalverzwakking. Daarentegen was het bereiken van variantiestationariteit positief geassocieerd met verbeterde nauwkeurigheid.
6. Real-world Validatie: Resultaten op de TSA-luchthavenpassagiersdata bevestigden de synthetische bevindingen. Differentiëren was de schadelijkste transformatie, terwijl een combinatie van variantiestabilisatie en seizoensaanpassing de beste resultaten opleverde.

Betekenis en Claims
Het artikel beweert dat de relatie tussen stationariteit en voorspellingnauwkeurigheid genuanceerder is dan conventionele voorbewerkingspipelines veronderstellen. De auteurs betogen dat:

• Signaal versus Stationariteit: Het bereiken van statistische stationariteit niet gelijkstaat aan verbeterde voorspelbaarheid. Transformaties die niet-stationariteit verwijderen, verwijderen vaak het leerbare signaal dat nodig is voor extrapolatie.
• Empirisch boven Theoretisch: De selectie van transformaties moet worden geleid door empirische out-of-sample evaluatie in plaats van theoretische aannames over stationariteit.
• Selectieve Voorbewerking: Beoefenaars moeten onderscheid maken tussen signaalbehoudende transformaties (variantiestabilisatie) en signaalsupprimerende transformaties (differentiëren). Differentiëren moet met voorzichtigheid worden toegepast in plaats van als standaardstap, terwijl variantiestabilisatie een robuuste strategie blijft voor heteroscedastische data.

De studie concludeert dat hoewel stationariteit een fundamentele theoretische eigenschap blijft voor inferentie en modelstabiliteit, het geen betrouwbare proxy is voor het maximaliseren van out-of-sample voorspellende nauwkeurigheid in moderne forecasting-pipelines.