Technisch Overzicht: Online Forecast Reconciliatie met Lineaire Modellen

Probleemstelling

Forecast reconciliatie is een techniek die wordt gebruikt om coherentie te waarborgen tussen voorspellingen van tijdreeksen die hiërarchische structuren bezitten. Deze structuren leggen lineaire restricties op (bijv. de som van subregionale belastingen moet gelijk zijn aan de totale regionale belasting). Hoewel traditionele reconciliatiemethoden (zoals Optimal Combination) succesvol zijn geweest in offline settings, vertrouwen ze vaak op Ordinary Least Squares (OLS) of Generalized Least Squares (GLS) die batchverwerking van historische gegevens vereisen.

In praktische toepassingen, zoals de voorspelling van de belasting van stadsverwarming, moeten voorspellingen regelmatig worden bijgewerkt naarmate er nieuwe observaties beschikbaar komen. Bestaande online en adaptieve methoden voor hiërarchische forecasting vertrouwen vaak op specifieke shrinkage-schatters (bijv. MinT met Ledoit-Wolf shrinkage), maar missen mogelijk een verenigd kader voor recursieve parameterschatting, onzekerheidskwantificering en de expliciete modellering van foutcorrelaties binnen een multivariate setting. De uitdaging ligt in het ontwikkelen van een kader dat online, adaptief leren ondersteunt voor hiërarchische tijdreeksen, terwijl het tegelijkertijd een strikte onzekerheidskwantificering biedt voor zowel parameters als voorspellingen.

Methodologie

1. Formalisering van Hiërarchieën via Grafen

De auteurs formaliseren hiërarchische structuren als gerichte bomen $H = (Y, E)$, waarbij knopen systeemtoestanden vertegenwoordigen en randen sommatierestricties definiëren.

• Sommatiematrix ($S$): Gedefinieerd op basis van de bereikbaarheid van onderste knopen (bladeren) vanaf bovenste knopen. De hiërarchische restricties worden uitgedrukt als $Sy_{bot} = y_{top}$, waarbij $y_{bot}$ en $y_{top}$ vectoren zijn van respectievelijk de toestanden op het onderste en bovenste niveau.
• Reconciliatie Doel: Het doel is om een projectiematrix $P$ te vinden zodat gereconcilieerde voorspellingen $\tilde{y}_t = S P \hat{y}_t$ voldoen aan de hiërarchische restricties, waarbij $\hat{y}_t$ de base-voorspellingen vertegenwoordigt.

2. Multivariate Lineair Model met Matrix Normale Verdeling

De kern van het voorgestelde kader behandelt forecast reconciliatie als een lineair model (LM) probleem.

• Model Formulering: In plaats van uit te gaan van onafhankelijke residuen, maken de auteurs gebruik van een multivariaat lineair model waarbij de residuen een Matrix Normale verdeling volgen:
  $$Y = X\theta + E, \quad E \sim MN(0, U, V)$$
  Hier is $Y$ de responsmatrix (fouten van de base-voorspellingen op het onderste niveau), $X$ de designmatrix geconstrueerd uit het verschil tussen de top- en bottom-base-voorspellingen, $\theta$ de reconciliatiegewichten, $U$ de rij-covariantie (temporele correlatie), en $V$ de kolom-covariantie (cross-sectionele correlatie).
• Verbinding met Møller et al. (2024a): Het kader bouwt voort op het resultaat dat reconciliatie kan worden gesteld als een LM in de base-voorspelfouten op het onderste niveau. Dit maakt de toepassing van standaard LM-theorie op hiërarchische reconciliatie mogelijk.

3. Regularisatie en Ridge Regressie

Parameterschatting wordt gepositioneerd als een ridge regressieprobleem om collineariteit aan te pakken en stabiliteit te garanderen.

• Doelfunctie: De auteurs minimaliseren een gewogen Mahalanobis-type norm:
  $$J(\theta) = \|X\theta - Y\|_{P,R}^2 + \|\theta - \theta_0\|_{Q,R}^2$$
  Deze formulering verbindt ridge regressie, Bayesiaanse schatting (Maximum A Posteriori) en shrinkage-methoden.
• Shrinkage Interpretatie: Door specifieke priors te kiezen voor $\theta_0$ en $Q$, herstelt de ridge-oplossing de MinT shrinkage-schatter. De auteurs verkennen ook eenvoudigere priors, zoals $\theta_0 = 0$, wat overeenkomt met een bottom-up benadering in het limiet van sterke regularisatie.

4. Recursieve Inferentie voor Online Settings

Om online forecasting mogelijk te maken, leiden de auteurs recursieve update-vergelijkingen af die geïnspireerd zijn door Recursive Least Squares (RLS).

• Aannames: De methode gaat ervan uit dat residuen onafhankelijk zijn over de tijd ($U$ is diagonaal) en maakt gebruik van exponentiële weging ($P$ is een diagonale matrix met afnemende gewichten $\lambda^{t-s}$).
• Update Vergelijkingen: De voldoende statistieken ($K_t, L_t, H_t$) worden recursief bijgewerkt op elk tijdstap $t$:
  $$K_{t+1} = \lambda K_t + x_{t+1}x_{t+1}^\top$$
  $$L_{t+1} = \lambda L_t + x_{t+1}y_{t+1}^\top$$
  $$H_{t+1} = \lambda^2 H_t + u_{t+1}x_{t+1}x_{t+1}^\top$$
  Dit maakt efficiënte parameterupdates mogelijk zonder de gehele historie opnieuw te verwerken.
• Onzekerheidskwantificering: Het kader biedt de predictieve distributie voor nieuwe observaties, inclus\ de covariantie van de gereconcilieerde voorspellingen, afgeleid van de eigenschappen van de matrix normale verdeling.

5. Implementatie

De methodologie is geïmplementeerd in de open-source Python package PyOnlineForecast. De implementatie behandelt reconciliatie als een composiete transformatie die:

1. Base-voorspellingen splitst in top- en bottom-niveaus.
2. Design- en responsmatrices construeert (rekening houdend met back-shifting voor temporele hiërarchieën).
3. De recursieve ridge regressie toepast om de base-voorspelfouten op het onderste niveau te voorspellen.
4. Voorspellingen aggregeert en verschuift om coherente gereconcilieerde voorspellingen te produceren.

Belangrijkste Bijdragen

1. Verenigd Kader: Het artikel presenteert een kader dat hiërarchische forecast reconciliatie verenigt met multivariate lineaire modellen, waarbij gebruik wordt gemaakt van matrix normale verdelingen om residuen te karakteriseren.
2. Online en Adaptief Algoritme: Het leidt een recursief inferentieschema af gebaseerd op ridge regressie, wat efficiënte online updates van reconcisatieparameters en onzekerheidsschattingen mogelijk maakt.
3. Grafentheoretische Formalisering: Hiërarchieën worden formeel gedefinieerd met behulp van grafentheorie en transitieve afsluiting om de sommatiematrix te construeren, wat een rigoureuze structurele definitie biedt.
4. Open Source Implementatie: De auteurs bieden de PyOnlineForecast package aan, die een praktisch hulpmiddel vormt voor het implementeren van deze methoden, losjes gebaseerd op de R onlineforecast package.
5. Theoretische Verbindingen: Het artikel bespreekt expliciet de verbindingen tussen ridge regressie, Bayesiaanse schatting en shrinkage-schatters (MinT) in de context van hiërarchische reconciliatie.

Resultaten: Case Study Stadsverwarmingsbelasting

De voorgestelde methodologie werd gedemonstreerd in een case study betreffende de voorspelling van de belasting van stadsverwarming (DH) voor drie gebieden in Aarhus, Denemarken, met een temporele hiërarchie (uurlijkse, 6-uurlijkse, 12-uurlijkse en 24-uurlijkse aggregaties).

• Prestatieverbetering: Forecast reconciliatie verbeterde de nauwkeurigheid consistent over alle regio's, aggregatieniveaus en forecast horizons vergeleken met de base-voorspellingen. De relatieve reductie in Root Mean Squared Error (RRMSE) was positief in alle geteste scenario's.
• Update Frequentie: De studie vergeleken het bijwerken van parameters elke uur (Main Case) versus elke 24 uur (Cases 1-3).
  • Uurlijkse Updates: Leverden de beste voorspellende prestaties en stabiele variantieschattingen op.
  • Dagelijkse Updates: Resulteerden in minder stabiele variantieschattingen en over het algemeen lagere nauwkeurigheid. De auteurs schrijven dit toe aan de verminderde frequentie van parameteradaptatie aan systeemveranderingen.
• Effecten van Regularisatie:
  • Voor korte horizonten verbeterde hogere regularisatie (het naar nul/bottom-up duwen van gewichten) de prestaties, waarschijnlijk omdat base-voorspellingen voor korte horizonten al accuraat en dynamisch zijn.
  • Voor langere horizonten leverde lagere regularisatie betere resultaten op, omdat het reconcisatieproces effectief gebruik maakte van de structuur van de hiërarchie om base-voorspelfouten te corrigeren.
• Onzekerheid: Het recursieve schema volgde de variantie van voorspellingsfouten succesvol, hoewel de auteurs opmerken dat de schattingsonzekerheid van de variantie-matrix $V$ zelf niet volledig werd doorgevoerd in de predictieve distributie in de huidige implementatie.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het bieden van een referentie voor het implementeren van forecast reconciliatie via multivariate lineaire modellen in een online setting.

• Praktisch Nut: Het kader adresseert de praktische behoefte aan regelmatige forecast updates in dynamische systemen (zoals stadsverwarming) waar data sequentieel binnenkomt.
• Flexibiliteit: Door reconciliatie te formuleren als een geregulariseerd lineair model, staat de aanpak het gebruik van diverse regularisatietechnieken toe (bijv. Lasso, Elastic Net) en onzekerheidskwantificeringsmethoden die verder gaan dan de standaard MinT.
• Bescheidenheid: De auteurs erkennen beperkingen, zoals de aanname van onafhankelijke residuen in de recursieve afleiding en het potentieel voor kunstmatige autocorrelatie in temporele hiërarchieën door herhaalde observaties. Zij suggereren dat toekomstig werk algemenere covariantiestructuren (bijv. tensor normale verdelingen) en meer geavanceerde variantieschatting-priors kan verkennen.

Het werk toont aan dat online hiërarchische forecasting haalbaar en voordelig is, met name wanneer parameterupdates frequent zijn en regularisatie is afgestemd op het forecast horizon en het aggregatieniveau.