Analyzing the retraining frequency of global forecasting models: towards more stable forecasting systems

Riassunto Tecnico: Analisi della frequenza di retraining dei modelli di forecasting globali

1. Il Problema (Problem Statement)

Nel contesto del forecasting su larga scala (es. retail, energia), i modelli vengono spesso aggiornati (retraining) non appena nuovi dati diventano disponibili. Esiste tuttavia un conflitto latente tra accuratezza (quanto la previsione è vicina al valore reale) e stabilità (quanto le previsioni rimangono coerenti nel tempo).

L'instabilità delle previsioni può causare gravi problemi operativi, come l'effetto bullwhip nelle catene di approvvigionamento o la perdita di fiducia nei sistemi decisionali. Tradizionalmente, si è ipotizzato che esista un trade-off inevitabile: aggiornare il modello per migliorare l'accuratezza ne aumenta necessariamente la volatilità (instabilità). Inoltre, la letteratura esistente si è concentrata quasi esclusivamente sulla stabilità delle previsioni puntuali (point forecasts), trascurando la stabilità delle previsioni probabilistiche (probabilistic forecasts), fondamentali per la gestione del rischio.

2. Metodologia (Methodology)

Lo studio adotta un approccio sperimentale rigoroso basato su:

• Dataset: Vengono utilizzati tre dataset massivi e diversificati: M4 (serie storiche eterogenee), M5 (domanda retail di Walmart) e VN1 (vendite e-commerce settimanali).
• Modelli: L'analisi confronta 10 modelli di forecasting globale (5 basati su Machine Learning tradizionale come XGBoost e CatBoost, e 5 basati su Deep Learning come N-BEATS e NHITS) con due modelli locali classici (ARIMA ed ETS) per evidenziare le differenze strutturali.
• Scenari di Retraining: Viene testata una gamma di strategie, dal retraining continuo (ogni nuovo dato) a strategie periodiche (es. ogni 7, 30, 90 giorni) fino al nessun retraining.
• Metriche di Accuratezza: Per le previsioni puntuali viene usato l'RMSSE (Root Mean Squared Scaled Error); per quelle probabilistiche, la SMQL (Scaled Multi-Quantile Loss).
• Metriche di Stabilità (Innovazione):
  • Per le previsioni puntuali: sMAPC (symmetric Mean Absolute Percentage Change).
  • Per le previsioni probabilistiche: L'autore propone una nuova metrica, la SMQC (Scaled Multi-Quantile Change), una metrica model-agnostic, distribution-free e scale-free che misura la variazione dei quantili tra origini di previsione consecutive.
• Quantificazione dell'Incertezza: Per rendere i modelli non probabilistici capaci di fornire intervalli di confidenza, viene utilizzato il framework della Conformal Inference.

3. Contributi Chiave (Key Contributions)

1. Studio sistematico della stabilità: È il primo studio esaustivo che analizza la stabilità dei modelli globali sia in termini puntuali che probabilistici.
2. Nuova metrica SMQC: Introduzione di un metodo standardizzato per valutare la stabilità delle distribuzioni di probabilità senza richiedere la densità completa della distribuzione.
3. Smentita del trade-off accuratezza-stabilità: Dimostrazione che, nei modelli globali, l'accuratezza e la stabilità non sono obiettivi necessariamente in conflitto.
4. Linee guida pratiche: Fornitura di raccomandazioni su frequenze di retraining ottimali per bilanciare performance e costi computazionali.

4. Risultati (Results)

• Stabilità vs Retraining: I risultati mostrano che meno frequente è il retraining, maggiore è la stabilità delle previsioni. Il retraining continuo introduce spesso una volatilità inutile senza fornire guadagni significativi in termini di accuratezza.
• Modelli Globali vs Locali: Mentre nei modelli locali (ARIMA/ETS) esiste un trade-off netto (migliorare la stabilità degrada drasticamente l'accuratezza), i modelli globali sono intrinsecamente più robusti. Grazie al cross-learning (apprendimento tra serie diverse), i modelli globali mantengono un'accuratezza elevata anche con aggiornamenti meno frequenti, migliorando contemporaneamente la stabilità.
• Previsioni Probabilistiche: La stabilità probabilistica è leggermente più sensibile al retraining rispetto a quella puntuale, ma anche in questo caso, i modelli globali mostrano una resilienza notevole.
• Ottimizzazione: Per i dati giornalieri, un intervallo di retraining di 21-30 giorni rappresenta il compromesso ideale; per i dati settimanali, si può arrivare fino a 8 settimane.

5. Significato e Implicazioni (Significance)

Il paper ha implicazioni profonde sia teoriche che pratiche:

• Efficienza Operativa: Le aziende possono ridurre i costi computazionali e il consumo energetico (fino al 75%) riducendo la frequenza di retraining senza sacrificare la precisione.
• Affidabilità Decisionale: Implementando strategie di retraining periodico, le organizzazioni ottengono previsioni più stabili, riducendo le fluttuazioni nei piani di inventario e logistica.
• Cambio di Paradigma: Lo studio invita la comunità scientifica a spostare l'attenzione dalla sola accuratezza verso una valutazione che includa la stabilità-consapevolezza (stability-aware forecasting).