Stabilizing distribution-free probabilistic forecasts

Riepilogo Tecnico: Stabilizzazione di Previsioni Probabilistiche Libere da Distribuzione

Enunciato del Problema
Le previsioni probabilistiche multi-orizzonte vengono frequentemente aggiornate man mano che diventano disponibili nuove osservazioni, un processo che tipicamente migliora la qualità delle previsioni grazie a orizzonti temporali più brevi. Tuttavia, questi aggiornamenti introducono "instabilità delle previsioni" (denominata anche churn, incoerenza o irrequietezza delle previsioni), definita come la variabilità delle previsioni per lo stesso periodo target generate in momenti diversi (origini). Tale instabilità può innescare revisioni costose dei piani operativi (ad esempio, gestione delle scorte, programmazione dell'energia rinnovabile) e erodere la fiducia nei sistemi di previsione. Sebbene ricerche precedenti abbiano affrontato la stabilità nella previsione puntuale o per previsioni probabilistiche Gaussiane (dove i parametri distribuzionali consentono metriche di instabilità in forma chiusa), esiste un vuoto nei metodi per la previsione probabilistica libera da distribuzione. In contesti non parametrici, le espressioni in forma chiusa per la dissimilarità distribuzionale non sono disponibili, rendendo difficile integrare direttamente la stabilità nell'ottimizzazione di modelli neurali globali di previsione senza imporre assunzioni distribuzionali restrittive.

Metodologia
Gli autori propongono StableSQF, un metodo che integra la stabilità delle previsioni direttamente nell'addestramento di modelli di serie temporali probabilistici liberi da distribuzione. L'approccio consta di due componenti principali:

1. Previsione tramite Funzione Quantilica a Spline (SQF):

   • Invece di prevedere quantili fissi o distribuzioni parametriche, il modello apprende direttamente l'intera funzione quantilica condizionata $F^{-1}(\alpha)$ per molteplici orizzonti di previsione simultaneamente (strategia multi-orizzonte diretta).
   • La funzione quantilica è modellata utilizzando spline di regressione isotona lineare. I parametri delle spline (intercette e pendenze) sono output di una rete neurale profonda (basata su un'architettura di stacking doppiamente residuale simile a N-BEATS).
   • Questa rappresentazione garantisce che la funzione quantilica sia monotona crescente (prevenendo l'incrocio dei quantili) e consente la generazione di distribuzioni di output continue arbitrarie senza assunzioni distribuzionali predefinite.
   • L'addestramento minimizza il Continuous Ranked Probability Score (CRPS) medio scalato.

2. Ottimizzazione StableSQF:

   • Per indurre stabilità, gli autori arricchiscono la funzione di perdita con un termine di penalità basato sulla distanza $p$-Wasserstein ($W_p$) tra le previsioni per lo stesso periodo target generate in origini adiacenti (ad esempio, $t$ e $t-1$).
   • Poiché il modello produce forme funzionali esplicite (spline) anziché distribuzioni campionate, la distanza di Wasserstein può essere calcolata direttamente mediante discretizzazione delle funzioni quantiliche.
   • La funzione di perdita composita è:
     $$\mathcal{L} = (1-\lambda) \cdot \text{Qualità} + \lambda \cdot \text{Instabilità}$$
     dove $\lambda \in [0, 1]$ controlla il compromesso.
   • Stabilizzazione Mirata: Il metodo supporta distanze di Wasserstein pesate per quantili. Applicando una funzione di peso $v(\alpha)$ all'integrale, la penalità può essere focalizzata su parti specifiche della distribuzione (ad esempio, le code per le scorte di sicurezza o il centro per la pianificazione aggregata), consentendo agli utenti di dare priorità alla stabilità dove è più cruciale per le decisioni a valle.

Contributi Chiave

• Stabilità Libera da Distribuzione: Il lavoro introduce il primo metodo per ottimizzare direttamente la stabilità nelle previsioni probabilistiche libere da distribuzione, eliminando la necessità di assunzioni Gaussiane o trasformazioni dei dati.
• Ottimizzazione Congiunta: Dimostra che la stabilità può essere integrata come obiettivo esplicito durante l'addestramento del modello tramite una funzione di perdita composita, piuttosto che affidarsi esclusivamente al post-processing.
• Targeting Flessibile: L'uso di funzioni quantiliche basate su spline consente la stabilizzazione selettiva di specifiche regioni distribuzionali (code vs. centro) attraverso penalità pesate per quantili.
• Quadro Teorico: Il lavoro estende il concetto di minimizzazione del "churn delle previsioni" dalle previsioni puntuali e distribuzioni Gaussiane a contesti probabilistici generali.

Risultati Sperimentali
Il metodo è stato valutato su due dataset con proprietà statistiche distinte: il dataset M4 mensile (serie lisce) e il dataset M5 articoli (contenente domanda intermittente e irregolare).

• Compromesso Qualità-Stabilità: I risultati mostrano che StableSQF può ridurre significativamente l'instabilità delle previsioni (misurata dalla distanza 1-Wasserstein) con una perdita marginale nella qualità delle previsioni (misurata dal CRPS). Ad esempio, un aumento dell'1% nel CRPS ha prodotto una riduzione dell'instabilità di circa il 30% per M4 e del 65% per M5.
• Efficienza di Pareto: I modelli StableSQF si collocano generalmente sulla o vicino alla frontiera di Pareto di qualità contro stabilità. Sebbene i metodi di post-processing (come l'interpolazione delle previsioni da origini diverse) possano raggiungere una stabilità estrema, spesso comportano perdite di qualità superiori rispetto a StableSQF per livelli di stabilità moderati.
• Stabilizzazione Mirata: Gli esperimenti che utilizzano penalità pesate per quantili hanno confermato che il metodo può dirigere efficacemente gli sforzi di stabilizzazione. L'uso di una penalità focalizzata sulle code ($sW^t_1$) ha ridotto significativamente l'instabilità delle code, ma a scapito della qualità delle previsioni nelle code, mentre le penalità focalizzate sul centro ($sW^c_1$) hanno bilanciato la stabilità attraverso l'intera distribuzione.
• Confronto con i Baseline: StableSQF ha superato i baseline standard (ETS, naive stagionale, media) e le varianti stabilizzate tramite post-processing in termini di efficienza del compromesso qualità-stabilità.

Significato e Affermazioni
Gli autori affermano che il loro lavoro fornisce una soluzione pratica al compromesso intrinseco tra accuratezza delle previsioni e stabilità. Sottolineano che, sebbene gli aggiornamenti delle previsioni migliorino generalmente l'accuratezza, la conseguente instabilità può essere costosa a livello operativo e dannosa per la fiducia degli utenti. Abilitando l'ottimizzazione diretta della stabilità all'interno di un quadro libero da distribuzione, StableSQF consente ai professionisti di:

1. Controllare il Compromesso: Regolare esplicitamente l'equilibrio tra accuratezza e stabilità in base ai costi specifici delle revisioni dei piani rispetto ai benefici dell'accuratezza.
2. Focalizzare gli Sforzi: Dare priorità alla stabilità in parti specifiche della distribuzione delle previsioni rilevanti per le decisioni a valle (ad esempio, stabilizzare i quantili superiori per la gestione delle scorte).
3. Ridurre la Complessità: Evitare la necessità di pipeline di post-processing complesse integrando direttamente la stabilità nell'architettura del modello.

Il lavoro conclude che, sebbene l'eliminazione completa dell'instabilità possa richiedere un post-processing, StableSQF offre un meccanismo flessibile e integrato per generare previsioni intrinsecamente più stabili con una degradazione minima della qualità, rendendolo uno strumento prezioso per la pianificazione operativa in ambienti dinamici.