Modeling the uncertainty on the covariance matrix for probabilistic forecast reconciliation

Technische Samenvatting: Modellering van Onzekerheid in de Covariantiematrix voor Probabilistische Forecast Reconciliatie

Probleemstelling
Bij hiërarchische tijdreeksvoorspellingen zijn basisprognoses die onafhankelijk worden gegenereerd voor verschillende niveaus van een hiërarchie vaak niet coherent (d.w.z. ze tellen niet correct op). Forecast reconciliatie past deze basisprognoses aan om te voldoen aan lineaire aggregatiebeperkingen. De standaardbenadering voor probabilistische reconciliatie is Minimum Trace (MinT), die steunt op de covariantiematrix van de fouten van de basisprognoses ($W$).

Een kritieke beperking van huidige MinT-implementaties is dat $W$ wordt geschat uit in-sample residuals en vervolgens wordt behandeld als een bekende, vaste parameter. Deze praktijk negeert de schattingsonzekerheid die inherent is aan $W$, vooral wanneer het aantal tijdreeksen groot is ten opzichte van de steekproefgrootte. Dit leidt tot een onderschatting van de variantie van de predictieve verdeling, wat resulteert in voorspellingsintervallen (PI's) die systematisch te smal zijn en de nominale dekking niet bereiken. Hoewel recente werken reconciliatie hebben gecombineerd met conformale voorspelling om dekking te corrigeren, bestaat er geen bestaand kader dat expliciet de onzekerheid van de covariantiematrix zelf binnen het reconciliatieproces modelleert.

Methodologie: t-Rec
De auteurs stellen t-Rec voor, een Bayesiaanse reconciliatiemethode die expliciet de onzekerheid van de covariantiematrix $W$ modelleert. De methodologie verloopt als volgt:

1. Bayesiaanse Formulering: In plaats van een puntenschatting voor $W$ te gebruiken, behandelen de auteurs deze als een stochastische variabele. Zij hanteren een Inverse-Wishart (IW)-priorverdeling voor $W$ en veronderstellen dat de in-sample residuals conditioneel Gaussisch zijn gegeven $W$.
2. Afwijzing van de Posterior: Door gebruik te maken van de conjugatie tussen de Inverse-Wishart-prior en de Gaussische likelihood, wordt de posteriorverdeling van $W$ analytisch afgeleid.
3. Incoherente Predictieve Verdeling: Door $W$ te marginaliseren uit de gezamenlijke posterior, leiden de auteurs de incoherente posterior predictieve verdeling af. In tegenstelling tot standaard MinT, dat een multivariate Gaussische verdeling oplevert, resulteert deze integratie in een multivariate t-verdeling. Deze verdeling bezit van nature zwaardere staarten, wat rekening houdt met de onzekerheid in $W$.
4. Reconciliatie via Conditionering: De incoherente multivariate t-verdeling wordt gereconcilieerd door te conditioneren op de hiërarchische beperkingen (het snijden van de verdeling over de coherente deelruimte). Door gebruik te maken van de sluitingseigenschappen van de multivariate t-verdeling onder affiene transformaties en conditionering, leiden de auteurs een gesloten uitdrukking af voor de gereconcilieerde verdeling, die een multivariate t-verdeling blijft.
5. Specificatie van Parameters:
   • De schaalmatrix van de prior ($\Psi_0$) wordt geconstrueerd met behulp van de covariantie van residuals van eenvoudige benchmarkmethoden (naïef en seizoensgebonden naïef), geselecteerd via de KPSS-seizoensgebondenheidstest.
   • De vrijheidsgraden ($\nu_0$) worden geoptimaliseerd via Bayesiaanse Leave-One-Out (LOO) cross-validatie om de out-of-sample log-score te maximaliseren. De auteurs merken op dat deze optimalisatie computatie-efficiënt is dankzij de Sherman-Morrison-formule.

Belangrijkste Bijdragen

• Analytische Oplossing: Het artikel biedt de eerste bekende analytische oplossing voor probabilistische forecast reconciliatie via conditionering wanneer de basisprognoses niet strikt Gaussisch zijn (specifiek, wanneer covariantieonzekerheid wordt gemodelleerd), wat uitbreidt boven het Gaussische geval waarin reconciliatie samenvalt met MinT.
• Gesloten Multivariate t: De methode levert een gereconcilieerde predictieve verdeling in gesloten vorm op die een multivariate t-verdeling is, waardoor de behoefte aan computereisende steekproeftechnieken (zoals MCMC) die typisch nodig zijn voor niet-Gaussische reconciliatie, wordt vermeden.
• Adaptieve Intervallengte: In tegenstelling tot MinT, dat voorspellingsintervallen altijd verkleint ten opzichte van basisprognoses, staat t-Rec toe dat intervallen verbreden bij hoge incoherentie of hoge schattingsonzekerheid, wat leidt tot betrouwbaardere dekking.
• Implementatie: De methode is geïmplementeerd in het R-pakket bayesRecon.

Empirische Resultaten
De auteurs hebben t-Rec geëvalueerd tegen MinT op drie datasets: een nieuwe Zwitserse toerismedataset (26 kantons + totaal), en twee Australische toerismedatasets (maandelijks en kwartaal).

• Puntprognoses: t-Rec en MinT presteren vergelijkbaar wat betreft de Gemiddelde Kwadratische Fout (MSE), wat aangeeft dat het modelleren van covariantieonzekerheid de nauwkeurigheid van puntprognoses niet verslechtert.
• Probabilistische Prognoses: t-Rec presteert consistent beter dan MinT op probabilistische metrieken:
  • Voorspellingsintervallen: t-Rec produceert bredere intervallen die dekkingpercentages bereiken die dichter bij de nominale niveaus liggen (bijvoorbeeld 88% dekking voor 95% PI's versus 83% voor MinT in de Zwitserse dataset).
  • Score-regels: t-Rec bereikt lagere (betere) Continuous Ranked Probability Scores (CRPS) en Mean Interval Scores (MIS), vooral bij hogere betrouwbaarheidsniveaus (95%), vanwege de zwaardere staarten van de t-verdeling.
  • Gecombineerde Prestatie: De Energy Score (ES) geeft eveneens de voorkeur aan t-Rec, wat wijst op een betere kalibratie van de gezamenlijke predictieve verdeling.
• Ablatiestudie: Vergelijkingen met varianten (bijvoorbeeld t-Rec-MAP, dat een puntenschatting van $W$ gebruikt) bevestigen dat de verbetering specifiek voortkomt uit het marginaliseren over de posterior van $W$ in plaats van het gebruik van een puntenschatting.

Betekenis en Claims
Het artikel claimt dat t-Rec een meer principieel kwantificeren van onzekerheid biedt door parameteronzekerheid direct in de predictieve verdeling te integreren. De auteurs stellen dat hun aanpak "voorspellingsintervallen consistent verbetert ten opzichte van MinT-reconciliatie" terwijl een vergelijkbare nauwkeurigheid van puntprognoses wordt behouden.

De auteurs zijn bescheiden wat betreft de reikwijdte van hun claims:

• Zij erkennen dat de effectiviteit van t-Rec afhankelijk is van de specificatie van de prior-schaalparameter $\Psi_0$, wat suboptimaal kan zijn voor complexe reeksen met meerdere seizoensgebondenheid.
• Zij wijzen op beperkingen van de Inverse-Wishart-prior in hoogdimensionale settings en suggereren toekomstig werk aan moderne priors.
• De huidige analyse is beperkt tot cross-sectionele hiërarchieën, waarbij temporele en cross-temporele uitbreidingen voor toekomstig onderzoek worden gelaten.

De kernbijdrage is de demonstratie dat het behandelen van de covariantiematrix als een vaste parameter in MinT leidt tot te zelfverzekerde prognoses, en dat een Bayesiaanse behandeling die een multivariate t-verdeling oplevert, een computatie-efficiënt en statistisch superieur alternatief biedt voor probabilistische reconciliatie.