Hierarchical Bayes meets hierarchical forecasting: A flexible framework for level-focused forecasts

Technische Samenvatting: Hiërarchische Bayes ontmoet Hiërarchische Forecasting

Probleemstelling
Hiërarchische forecasting is essentieel voor besluitvorming in complexe systemen waar voorspellingen op lagere niveaus coherent moeten aggregeren naar hogere niveaus (bijv. regionale vraag die optelt tot nationale totalen). De huidige state-of-the-art methoden, zoals Minimum Trace (MinT) reconciliatie, werken doorgaans als een post-processing stap. Ze genereren onafhankelijke basisvoorspellingen en reconciliëren deze vervolgens om coherentie te waarborgen. Deze aanpak heeft verschillende beperkingen:

1. Scheiding van Schatting en Coherentie: De vereiste van coherentie wordt niet opgenomen in de onderliggende parameterschatting, wat betekent dat het model niet leert van de hiërarchische structuur tijdens de training.
2. Uitdagingen bij Covariantieschatting: Probabilistische reconciliatie (bijv. de uitbreiding van MinT naar distributies) vereist het schatten van de covariantie-matrix van voorspellingsfouten, wat computationeel moeilijk en vaak instabiel is voor multi-step horizonten.
3. Gebrek aan Besluitvormingsfocus: Bestaande methoden behandelen alle niveaus doorgaans als gelijkwaardig of optimaliseren voor globale foutreductie, waarbij geen rekening wordt gehouden met scenario's waarin specifieke niveaus belangrijker zijn voor besluitvormingsuitkomsten of waar strikte coherentie minder belangrijk is dan nauwkeurigheid op een specifiek niveau.
4. Kalibratieproblemen: Post-hoc reconciliatie kan coherentie afdwingen ten koste van de kalibratie van de voorspelling, wat leidt tot slecht gekalibreerde probabilistische voorspellingen, zelfs als het basismodel goed gespecificeerd is.

Methodologie
De auteurs stellen een volledig Bayesiaans hiërarchisch forecasting framework voor dat informatie delen, coherentiebeperkingen en besluitvormingsgerichte weging direct in het trainingsproces van het model integreert. De methodologie bestaat uit drie kerncomponenten:

1. Bayesiaanse Hiërarchische Priors:
   In plaats van parameters voor elke reeks onafhankelijk te schatten, maken de auteurs gebruik van een hiërarchische priorstructuur waarbij parameters ($\theta_i$) voor individuele reeksen worden getrokken uit een populatieverdeling die wordt gedefinieerd door hyperparameters ($\phi$). Dit faciliteert gedeeltelijke informatie-pooling, waardoor reeksen op hetzelfde niveau en over verschillende niveaus (ouder-kind knopen) informatie kunnen delen. Dit is bijzonder gunstig voor reeksen met ruisachtige of incomplete data, omdat zij worden geïnformeerd door gerelateerde reeksen.

2. Zachte Coherentie-straf (Soft Coherence Penalty):
   In plaats van harde beperkingen op te leggen, introduceert het framework een zachte straf op incoherentie binnen de likelihood-functie. Het verschil tussen de som van de lagere niveaus en de overeenkomstige bovenliggende reeks ($d_t$) wordt gemodelleerd als een Gaussische distributie $N(0, \sigma^2_{coh})$.

• De likelihood wordt vermenigvuldigd met deze strafterm: $p(d|\sigma^2_{coh}I_T)$.
• De parameter $\sigma_{coh}$ regelt de striktheid van de straf. Een kleinere $\sigma_{coh}$ dwingt een striktere coherentie af.
• Deze "zachte" aanpak maakt het mogelijk om een balans te vinden tussen nauwkeurigheid en coherentie, waardoor onrealistische voorspellingen worden vermeden wanneer het model verkeerd gespecificeerd is. Het elimineert de noodzaak om complexe multi-step covariantie-matrices te schatten die vereist zijn voor MinT.

3. Niveau-weging (Power Posteriors):
   Om de variërende belangrijkheid van verschillende niveaus voor besluitvorming aan te pakken, passen de auteurs een weegfactor $\lambda_i$ toe op de likelihood van specifieke reeksen of niveaus.

• Door $\lambda_i > 1$ in te stellen, geeft het model prioriteit aan nauwkeurigheid op specifieke niveaus (bijv. het totale nationale niveau of een specifiek reisdoel).
• Dit wordt geïmplementeerd met behulp van een power posterior-benadering, waarbij de data van het gefocuste niveau effectief wordt opgewogen ten opzichte van andere niveaus.
• Dit stelt het globale model in staat om te worden geoptimaliseerd voor specifieke besluitvormingsuitkomsten, terwijl de zachte coherentiebeperkingen behouden blijven.

De volledige posterieure verdeling combineert de hiërarchische prior, de gewogen likelihood en de coherentie-straf.

Belangrijkste Bijdragen

• Geïntegreerd Framework: Het artikel introduceert een verenigd Bayesiaans framework dat parameterschatting, informatie-pooling en coherentiehandhaving simultaan uitvoert, in plaats van als een post-hoc correctie.
• Zachte Coherentie: Het stelt een distributionele beperking voor die incoherentie zachtjes bestraft, wat een flexibele afruil biedt tussen modelpassing en aggregatiebeperkingen zonder de noodzaak van covariantie-matrix schatting voor multi-step horizonten.
• Besluitvormingsbewuste Focus: De methodologie introduceert een mechanisme om hiërarchische niveaus differentiëel te wegen op basis van hun relevantie voor besluitvormingsuitkomsten, waardoor de hiërarchie wordt geoptimaliseerd voor nauwkeurigheid op specifieke niveaus van belang.
• Diagnostische Capaciteit: De aanpak dient als een diagnostisch instrument; als het model zelfs met strikte straffen geen coherentie kan bereiken, duidt dit op model-misspecificatie in plaats van enkel een falende reconciliatie.

Resultaten
Het framework is geëvalueerd op zowel gesimuleerde data (wel-gespecificeerde en mis-gespecificeerde ARMA/ETS-modellen) als echte Australische binnenlandse toerismegegevens (een 5-niveau hiërarchie van regio's, zones, staten en reisdoeleinden).

• Coherentie: De Bayesiaanse hiërarchische aanpak verminderde inherent de gemiddelde en distributionele incoherentie vergeleken met onafhankelijke modellen, zelfs voordat er straffen werden toegepast. Het toepassen van de zachte straf verminderde de incoherentie verder aanzienlijk.
• Nauwkeurigheid (Gesimuleerde Data):
  • In wel-gespecificeerde modellen presteerden onafhankelijke Bayesiaanse modellen het best, aangezien de hiërarchische shrinkage de schattingen licht wegbiast van de ware parameters. Echter, de Bayesiaanse aanpak met coherentie-straffen presteerde beter dan MinT wat betreft de probabilistische dekking.
  • In mis-gespecificeerde modellen toonde de hiërarchische aanpak voordelen, met name bij het wegen van niveaus met een betere datakwaliteit (bijv. de onderste niveaus). Het wegen van het bovenste niveau in een mis-gespecificeerd scenario verslechterde de algehele prestaties, wat het belang van data-/modelkwaliteit in het gefocuste niveau benadrukt.
• Nauwkeurigheid (Australische Toerismegegevens):
  • De hiërarchische Bayesiaanse modellen presteerden beter dan onafhankelijke Bayesiaanse modellen en MinT-reconciliatie over de meeste metrieken (RMSSE, ES, CRPS).
  • Niveau-weging: Modellen die naar specifieke niveaus waren gewogen (bijv. "Totaal" of "Doeleinden") behaalden de beste prestaties op die specifieke niveaus en verbeterden vaak ook de prestaties op naburige niveaus vergeleken met ongewogen modellen.
  • Kalibratie: MinT-reconciliatie resulteerde in significante onder-dekking (slechte kalibratie) op de bovenste niveaus. De voorgestelde Bayesiaanse aanpak behield een betere kalibratie, hoewel niveau-gewogen modellen een lichte onder-dekking vertoenden op gefocuste niveaus door verhoogde zekerheid, wat binnen acceptabele grenzen bleef (binnen 5% van de 95% doelstelling).
  • Detectie van Mis-specificatie: Het onvermogen van het model om te convergeren met zeer strikte coherentie-straffen op de toerismegegevens suggereerde model-misspecificatie (waarschijnlijk door niet-gemodelleerde covariaten in het ETS-model), wat de bruikbaarheid van het framework als diagnostisch middel demonstreert.

Significantie en Claims
Het artikel claimt dat de primaire significantie ligt in het verschuiven van hiërarchische forecasting van een post-processing reconcatietaak naar een geïntegreerd modelleringsproces. Door coherentie en besluitvormingsprioriteiten direct in de Bayesiaanse parameterschatting in te bedden:

1. Verbetert het de informatiedeling zowel binnen als over verschillende hiërarchische niveaus, wat leidt tot betere parameterschattingen, vooral in scenario's met schaarse of ruisachtige data.
2. Biedt het flexibele controle over de afruil tussen nauwkeurigheid en coherentie, waardoor forecasters de mogelijkheid hebben om besluitvormingsrelevante niveaus prioriteit te geven zonder rigide coherentie af te dwingen die de kwaliteit van de voorspelling verslechtert.
3. Vermijdt het de computationele en statistische valkuilen van covariantie-matrix schatting voor multi-step probabilistische reconciliatie.
4. Biedt het een diagnostisch perspectief: als een zachte straf geen coherentie kan bereiken, signaleert dit dat het onderliggende model mis-gespecificeerd is, wat aanzet tot een herwaardering van de modelkeuze in plaats van het af te dwingen van een suboptimale reconciliatie.

De auteurs concluderen dat hoewel hun aanpak uitblinkt in het balanceren van nauwkeurigheid en coherentie, deze het meest effectief is wanneer het onderliggende model redelijk goed gespecificeerd is of wanneer er gefocust wordt op niveaus met een hoge datakwaliteit. Ze erkennen dat in kleine steekproeven de weging-aanpak tot enige posterieure miskalibratie kan leiden, maar beargumenteren dat de winst in gefocuste voorspellende prestaties dit kosten-baten aspect overtreft.