Stabilizing distribution-free probabilistic forecasts

Technische Samenvatting: Stabilisatie van Distributie-vrije Probabilistische Voorspellingen

Probleemstelling
Probabilistische voorspellingen voor meerdere stappen vooruit worden frequent bijgewerkt zodra nieuwe waarnemingen beschikbaar komen; een proces dat doorgaans de voorspellingskwaliteit verbetert vanwege de kortere horizon. Deze updates introduceren echter "voorspelling-ontstabiliteit" (ook wel voorspellingschurn, inconsistentie of sprongachtigheid genoemd), gedefinieerd als de variabiliteit in voorspellingen voor dezelfde doelperiode die gegenereerd zijn vanuit verschillende oorsprongstijdstippen. Deze instabiliteit kan kostbare herzieningen van operationele plannen (bijvoorbeeld voor voorraadbeheer of planning van hernieuwbare energie) teweegbrengen en het vertrouwen in voorspellingssystemen ondermijnen. Hoewel eerder onderzoek stabiliteit heeft aangepakt bij puntvoorspellingen of voor Gaussische probabilistische voorspellingen (waarbij distributieparameters gesloten-vorm instabiliteitsmaten toelaten), bestaat er een lacune in methoden voor distributie-vrije probabilistische voorspelling. In niet-parametrische settings zijn gesloten-vorm uitdrukkingen voor distributieverschil niet beschikbaar, wat het moeilijk maakt om stabiliteit direct te integreren in de optimalisatie van globale neurale voorspellingsmodellen zonder restrictieve distributie-aannames op te leggen.

Methodologie
De auteurs stellen StableSQF voor, een methode die voorspellingstabiliteit direct integreert in de training van distributie-vrije probabilistische tijdreeksmodellen. De aanpak bestaat uit twee hoofdbestanddelen:

1. Spline Quantiel Functie (SQF) Voorspeller:

   • In plaats van vaste quantielen of parametrische distributies te voorspellen, leert het model direct de volledige conditionele quantielfunctie $F^{-1}(\alpha)$ voor meerdere voorspellinghorizons tegelijkertijd (directe multi-horizon strategie).
   • De quantielfunctie wordt gemodelleerd met behulp van lineaire isotone regressie-splines. De spline-parameters (intercepten en hellingen) zijn output van een diep neuronaal netwerk (gebaseerd op een dubbel residu stapelarchitectuur vergelijkbaar met N-BEATS).
   • Deze representatie zorgt ervoor dat de quantielfunctie monotoon stijgend is (voorkomend dat quantielen elkaar kruisen) en maakt de generatie van willekeurige continue outputdistributies mogelijk zonder vooraf gedefinieerde distributie-aannames.
   • Training minimaliseert de gemiddelde geschaalde Continuous Ranked Probability Score (CRPS).

2. StableSQF Optimalisatie:

   • Om stabiliteit te induceren, vullen de auteurs de verliesfunctie aan met een strafterm gebaseerd op de $p$-Wasserstein-afstand ($W_p$) tussen voorspellingen voor dezelfde doelperiode gegenereerd vanuit opeenvolgende oorsprongstijdstippen (bijvoorbeeld $t$ en $t-1$).
   • Omdat het model expliciete functionele vormen (splines) output in plaats van gestalde distributies, kan de Wasserstein-afstand direct worden berekend via discretisatie van de quantielfuncties.
   • De samengestelde verliesfunctie is:
     $$\mathcal{L} = (1-\lambda) \cdot \text{Kwaliteit} + \lambda \cdot \text{Instabiliteit}$$
     waarbij $\lambda \in [0, 1]$ de afweging controleert.
   • Gerichte Stabilisatie: De methode ondersteunt quantiel-gewogen Wasserstein-afstanden. Door een gewichtsfunctie $v(\alpha)$ toe te passen op het integraal, kan de straf zich richten op specifieke delen van de distributie (bijvoorbeeld de staarten voor voorraadveiligheidsvoorraad of het centrum voor aggregatieplanning), waardoor gebruikers stabiliteit kunnen prioriteren waar deze het meest belangrijk is voor downstream beslissingen.

Belangrijkste Bijdragen

• Distributie-vrije Stabiliteit: Het artikel introduceert de eerste methode om direct te optimaliseren voor stabiliteit in distributie-vrije probabilistische voorspellingen, waardoor de noodzaak voor Gaussische aannames of datatransformaties wordt verwijderd.
• Gecombineerde Optimalisatie: Het toont aan dat stabiliteit kan worden geïntegreerd als een expliciet doel tijdens de modeltraining via een samengestelde verliesfunctie, in plaats van uitsluitend te vertrouwen op post-processing.
• Flexibele Richting: Het gebruik van op splines gebaseerde quantielfuncties maakt selectieve stabilisatie van specifieke distributiegebieden (staarten versus centrum) mogelijk via quantiel-gewogen straffen.
• Theoretisch Kader: Het werk breidt het concept van minimalisatie van "voorspellingchurn" uit van puntvoorspellingen en Gaussische distributies naar algemene probabilistische settings.

Experimentele Resultaten
De methode werd geëvalueerd op twee datasets met onderscheidende statistische eigenschappen: de M4 maandelijkse dataset (gladde reeksen) en de M5 items dataset (bevat intermitterende en klontige vraag).

• Kwaliteit-Stabiliteit Afweging: De resultaten tonen aan dat StableSQF de voorspellingstabiliteit aanzienlijk kan verminderen (gemeten door de 1-Wasserstein-afstand) met slechts een marginale verlies in voorspellingskwaliteit (gemeten door CRPS). Bijvoorbeeld, een toename van 1% in CRPS leverde ongeveer een reductie van 30% in instabiliteit op voor M4 en 65% voor M5.
• Pareto-efficiëntie: StableSQF-modellen liggen over het algemeen op of nabij de Pareto-grens van kwaliteit versus stabiliteit. Hoewel post-processing methoden (zoals interpolatie van voorspellingen uit verschillende oorsprongstijdstippen) extreme stabiliteit kunnen bereiken, lijden ze vaak onder hogere kwaliteitsverliezen dan StableSQF voor matige stabiliteitsniveaus.
• Gerichte Stabilisatie: Experimenten met quantiel-gewogen straffen bevestigden dat de methode stabilisatie-inspanningen effectief kan sturen. Het gebruik van een staart-gerichte straf ($sW^t_1$) verminderde staartinstabiliteit aanzienlijk, maar ten koste van de voorspellingskwaliteit in de staart, terwijl centrum-gerichte straffen ($sW^c_1$) stabiliteit over de distributie in evenwicht brachten.
• Vergelijking met Baselines: StableSQF presteerde beter dan standaard baselines (ETS, seizoensgebonden naïef, gemiddelde) en gestabiliseerde varianten met post-processing in termen van de efficiëntie van de kwaliteit-stabiliteit afweging.

Betekenis en Beweringen
De auteurs beweren dat hun werk een praktische oplossing biedt voor de inherente afweging tussen voorspellingsnauwkeurigheid en stabiliteit. Zij benadrukken dat hoewel voorspellingupdates over het algemeen de nauwkeurigheid verbeteren, de resulterende instabiliteit operationeel kostbaar kan zijn en schadelijk voor het gebruikersvertrouwen. Door directe optimalisatie van stabiliteit binnen een distributie-vrij kader mogelijk te maken, stelt StableSQF praktici in staat om:

1. De Afweging te Controleren: De balans tussen nauwkeurigheid en stabiliteit expliciet af te stemmen op basis van de specifieke kosten van planherzieningen versus de voordelen van nauwkeurigheid.
2. Inspanningen te Focussen: Stabiliteit te prioriteren in specifieke delen van de voorspellingsdistributie die relevant zijn voor downstream besluitvorming (bijvoorbeeld het stabiliseren van bovenste quantielen voor voorraadbeheer).
3. Complexiteit te Verminderen: De noodzaak voor complexe post-processing pipelines te vermijden door stabiliteit direct in de modelarchitectuur te verwerken.

Het artikel concludeert dat hoewel het volledig elimineren van instabiliteit post-processing kan vereisen, StableSQF een flexibele, ingebouwde mechanisme biedt om inherent stabielere voorspellingen te genereren met minimale kwaliteitsdegradatie, waardoor het een waardevol hulpmiddel is voor operationele planning in dynamische omgevingen.