Hierarchical Bayes meets hierarchical forecasting: A flexible framework for level-focused forecasts

Sintesi Tecnica: L'approccio Bayesiano Gerarchico incontra la Previsione Gerarchica

Definizione del Problema
La previsione gerarchica è essenziale per il processo decisionale in sistemi complessi dove le previsioni ai livelli inferiori devono aggregarsi coerentemente ai livelli superiori (ad esempio, la domanda regionale che somma ai totali nazionali). Gli attuali metodi allo stato dell'arte, come la riconciliazione Minimum Trace (MinT), operano tipicamente come una fase di post-elaborazione. Essi generano previsioni di base indipendenti e poi le riconciliano per garantire la coerenza. Questo approccio presenta diversi limiti:

1. Separazione tra Stima e Coerenza: Il requisito di coerenza non è incorporato nella stima dei parametri sottostante, il che significa che il modello non apprende dalla struttura gerarchica durante l'addestramento.
2. Sfide nella Stima della Covarianza: La riconciliazione probabilistica (ad esempio, estendendo MinT alle distribuzioni) richiede la stima della matrice di covarianza degli errori di previsione, il che è computazionalmente difficile e spesso instabile per orizzonti multi-step.
3. Mancanza di Focus Decisionale: I metodi esistenti generalmente trattano tutti i livelli allo stesso modo o ottimizzano la riduzione dell'errore globale, fallendo nel considerare scenari in cui determinati livelli sono più critici per gli esiti decisionali o dove la coerenza rigorosa è meno importante rispetto all'accuratezza di un livello specifico.
4. Problemi di Calibrazione: La riconciliazione post-hoc può imporre la coerenza a scapito della calibrazione della previsione, portando a previsioni probabilistiche scarsamente calibrate anche se il modello di base è ben specificato.

Metodologia
Gli autori propongono un framework di previsione gerarchica completamente bayesiano che integra la condivisione delle informazioni, i vincoli di coerenza e la ponderazione orientata alle decisioni direttamente nel processo di addestramento del modello. La metodologia si compone di tre componenti principali:

1. Prior Gerarchici Bayesiani:
   Invece di stimare i parametri per ogni serie in modo indipendente, gli autori impiegano una struttura di prior gerarchica in cui i parametri ($\theta_i$) per le singole serie sono estratti da una distribuzione di popolazione definita da iperparametri ($\phi$). Ciò facilita la condivisione parziale delle informazioni (partial information pooling), permettendo alle serie allo stesso livello e attraverso diversi livelli (nodi genitore-figlio) di condividere informazioni. Questo è particolarmente vantaggioso per le serie con dati rumorosi o incompleti, poiché vengono informate da serie correlate.

2. Penalità di Coerenza "Soft":
   Invece di imporre vincoli rigidi, il framework introduce una penalità "soft" sull'incoerenza all'interno della funzione di verosimiglianza. La differenza tra la somma delle serie di livello inferiore e la corrispondente serie di livello superiore ($d_t$) è modellata come una distribuzione Gaussiana $N(0, \sigma^2_{coh})$.

• La verosimiglianza è moltiplicata per questo termine di penalità: $p(d|\sigma^2_{coh}I_T)$.
• Il parametro $\sigma_{coh}$ controlla la severità della penalità. Un valore di $\sigma_{coh}$ più piccolo impone una coerenza più stretta.
• Questo approccio "soft" permette al modello di bilanciare accuratezza e coerenza, evitando previsioni irrealistiche quando il modello è mal specificato. Elimina la necessità di stimare complesse matrici di covarianza multi-step richieste da MinT.

3. Ponderazione dei Livelli (Power Posteriors):
   Per affrontare la variabile importanza dei diversi livelli per il processo decisionale, gli autori applicano un fattore di ponderazione $\lambda_i$ alla verosimiglianza di specifiche serie o livelli.

• Impostando $\lambda_i > 1$, il modello dà priorità all'accuratezza in livelli specifici (ad esempio, il totale nazionale o uno specifico scopo di viaggio).
• Ciò viene implementato utilizzando un approccio di "power posterior", che consiste nell'aumentare il peso dei dati del livello focalizzato rispetto agli altri.
• Questo consente di ottimizzare il modello globale per specifici esiti decisionali pur mantenendo vincoli di coerenza soft.

La distribuzione a posteriori completa combina il prior gerarchico, la verosimiglianza ponderata e la penalità di coerenza.

Contributi Chiave

• Framework Integrato: Il documento introduce un framework bayesiano unificato che esegue simultaneamente la stima dei parametri, la condivisione delle informazioni e l'applicazione della coerenza, anziché una correzione post-hoc.
• Coerenza Soft: Propone un vincolo distributivo che penalizza dolcemente l'incoerenza, offrendo un compromesso flessibile tra l'adattamento del modello e i vincoli di aggregazione senza richiedere la stima della matrice di covarianza per orizzonti multi-step.
• Focus Orientato alle Decisioni: La metodologia introduce un meccanismo per ponderare differenzialmente i livelli gerarchici in base alla loro rilevanza per gli esiti decisionali, ottimizzando la gerarchia per l'accuratezza nei livelli di interesse.
• Capacità Diagnostica: L'approccio funge da strumento diagnostico; se il modello non riesce a raggiungere la coerenza anche con penalità strette, ciò indica una mal specificazione del modello piuttosto che un semplice fallimento della riconciliazione.

Risultati
Il framework è stato valutato sia su dati simulati (modelli ARMA/ETS ben specificati e mal specificati) sia su dati reali del turismo domestico australiano (una gerarchia a 5 livelli di regioni, zone, stati e scopi di viaggio).

• Coerenza: L'approccio gerarchico bayesiano ha ridotto intrinsecamente l'incoerenza media e distributiva rispetto ai modelli indipendenti, anche prima di applicare le penalità. L'applicazione della penalità soft ha ulteriormente ridotto lamente l'incoerenza in modo significativo.
• Accuratezza (Dati Simulati):
  • Nei modelli ben specificati, i modelli bayesiani indipendenti hanno ottenuto le prestazioni migliori, poiché il restringimento (shrinkage) gerarchico ha leggermente distorto le stime rispetto ai parametri reali. Tuttavia, l'approccio bayesiano con penalità di coerenza ha superato MinT in termini di copertura probabilistica.
  • Nei modelli mal specificati, l'approccio gerarchico ha mostrato benefici, in particolare ponderando i livelli con migliore qualità dei dati (ad esempio, i livelli inferiori). Ponderare il livello superiore in uno scenario mal specificato ha peggiorato le prestazioni complessive, evidenziando l'importanza della qualità dei dati/modello nel livello focalizzato.
• Accuratezza (Dati sul Turismo Australiano):
  • I modelli bayesiani gerarchici hanno superato i modelli bayesiani indipendenti e la riconciliazione MinT nella maggior parte delle metriche (RMSSE, ES, CRPS).
  • Ponderazione dei Livelli: I modelli ponderati verso livelli specifici (ad esempio, "Totale" o "Scopi") hanno ottenuto le migliori prestazioni in quei livelli specifici e hanno spesso migliorato le prestazioni nei livelli adiacenti rispetto ai modelli non ponderati.
  • Calibrazione: La riconciliazione MinT ha prodotto una significativa sotto-copertura (scarsa calibrazione) ai livelli superiori. Il proposto approccio bayesiano ha mantenuto una migliore calibrazione, sebbene i modelli ponderati per livello abbiano mostrato una leggera sotto-copertura nei livelli focalizzati a causa dell'aumento della confidenza, che rimaneva comunque entro limiti accettabili (entro il 5% del target del 95%).
  • Rilevamento della Mal Specificazione: L'incapacità del modello di convergere con penalità di coerenza molto strette sui dati turistici ha suggerito una mal specificazione del modello (probabilmente dovuta a covariate non modellate nel modello ETS), dimostrando l'utilità del framework come strumento diagnostico per i limiti del modello.

Significatività e Rivendicazioni
Il documento sostiene che la sua principale significatività risieda nello spostamento della previsione gerarchica da un compito di riconciliazione post-elaborazione a un processo di modellazione integrato. Incorporando la coerenza e le priorità decisionali direttamente nella stima dei parametri bayesiani:

1. Migliora la condivisione delle informazioni sia all'interno che attraverso i livelli gerarchici, portando a migliori stime dei parametri, specialmente in scenari con scarsità di dati o rumorosi.
2. Fornisce un controllo flessibile sul compromesso tra accuratezza e coerenza, consentendo ai previsori di dare priorità ai livelli rilevanti per le decisioni senza imporre rigidamente una coerenza che degradi la qualità della previsione.
3. Evita i problemi computazionali e statistici della stima della matrice di covarianza per la riconciliazione probabilistica multi-step.
4. Offre una prospettiva diagnostica: se una penalità soft non riesce a raggiungere la coerenza, segnala che il modello sottostante è mal specificato, sollecitando una rivalutazione della scelta del modello piuttosto che forzare una riconciliazione subottimale.

Gli autori concludono che, sebbene il loro approccio eccella nel bilanciare accuratezza e coerenza, è più efficace quando il modello sottostante è ragionevolmente ben specificato o quando ci si focalizza su livelli con dati di alta qualità. Riconoscono che, in campioni di piccole dimensioni, l'approccio di ponderazione può portare a una certa miscalibrazione della distribuzione a posteriori, ma sostengono che i guadagni nella performance predittiva focalizzata superino questo costo.