📊 statistics

End-to-end probabilistic hierarchical forecasting of large hierarchies via probabilistic top-down

Il documento introduce e2eTD, un metodo veloce e scalabile per generare previsioni probabilistiche coerenti di serie temporali gerarchiche di grandi dimensioni predicendo direttamente un piccolo sottoinsieme di serie aggregate e propagandole al livello inferiore tramite un nuovo algoritmo di campionamento top-down probabilistico, raggiungendo prestazioni allo stato dell'arte su principali dataset del settore retail con un costo computazionale minimo.

Autori originali: Lorenzo Zambon, Dario Azzimonti, Giorgio Corani

Pubblicato 2026-06-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Lorenzo Zambon, Dario Azzimonti, Giorgio Corani

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il manager di una catena massiccia di supermercati. Devi sapere quanto latte, pane e cereali ordinare per ogni singolo punto vendita, ogni singolo giorno.

È un incubo di numeri. Hai migliaia di prodotti (SKU) in centinaia di negozi. Se provi a prevedere le vendite per ogni singolo articolo in ogni singolo negozio, i dati sono sporchi. Alcuni giorni un articolo specifico vende 100 unità; altri giorni ne vende zero. È come cercare di prevedere il percorso esatto di una singola goccia di pioggia durante un temporale. È troppo rumoroso, troppo "intermittente" e troppo difficile da fare correttamente.

Tuttavia, se guardi il quadro generale — ad esempio, le vendite totali di latte in tutto il paese — quel numero è molto più fluido e facile da prevedere. È come osservare il temporale dallo spazio: puoi vedere il modello anche se non riesci a tracciare ogni singola goccia.

Il Problee: Il dilemma delle "Mappe Conflittuali"
I rivenditori di solito cercano di risolvere questo problema in due modi, ma entrambi presentano dei difetti:

L'approccio "Bottom-Up" (dal basso verso l'alto): Prevedi prima ogni singolo articolo, poi li sommi. È lento, costoso e, poiché i singoli articoli sono così disordinati, il totale finale è spesso errato.
L'approccio "Top-Down" (dall'alto verso il basso): Prevedi prima il grande totale, poi ipotizzi come suddividerlo. È veloce, ma la "suddivisione" viene spesso fatta con regole rigide e datate che non tengono conto dell'incertezza.

Il risultato? Ti ritrovi con un piano in cui il totale per il paese dice "1 milione di unità", ma la somma dei piani di tutti i tuoi negozi dice "900.000 unità". Questo è un problema di coerenza. È come avere una mappa dove la distanza da New York a Boston è di 200 miglia, ma la distanza da New York a Philadelphia più quella da Philadelphia a Boston è di 300 miglia. Non puoi prendere buone decisioni commerciali con una mappa rotta.

La Soluzione: e2eTD (Il "Smart Middle-Man")
Il documento introduce un nuovo metodo chiamato e2eTD. Immaginalo come un intelligente intermediario probabilistico che colma il divario tra il grande quadro fluido e i dettagli disordinati.

Ecco come funziona, passo dopo passo:

Scegli i target "facili": Inveve di cercare di prevedere i singoli articoli disordinati (il fondo), e2eTD prevede solo una piccola fetta gestibile degli strati intermedi "fluidi" (circa lo 0,3% dei dati). È come un meteorologo che prevede solo il fronte generale della tempesta, non ogni singola goccia di pioggia.
Crea un "Piano di Gruppo": Crea una previsione probabilistica per questi strati fluidi. Ciò significa che non dice solo "Venderemo 1.000 unità"; dice "Siamo sicuri al 90% che venderemo tra 900 e 1.100 unità".
Lo "Smart Split" (Suddivisione Probabilistica Top-Down): Questa è la vera forza del documento. Di solito, quando si suddivide un numero grande in numeri piccoli, si usa un rapporto fisso (ad esempio, "Il Negozio A riceve sempre il 10%"). e2eTD è più intelligente. Guarda la storia e dice: "Quando il totale era 1.000, il Negozio A ha solitamente ricevuto tra il 9% e l'11%, il Negozio B ha ricevuto il resto, e tendono a muoversi insieme".
- Utilizza uno strumento matematico chiamato Copula (pensa alla "colla" che tiene insieme le relazioni tra i negozi) per simulare migliaia di possibili scenari.
- Suddivide casualmente la grande previsione in piccoli pezzi, ma rispetta la "danza" storica tra i negozi. Se il Negozio A ha solitamente un picco quando il Negozio B cala, la simulazione lo sa.
Il "Controllo" (Riconciliazione): Infine, somma tutti i piccoli pezzi. Poiché è partito da un numero grande coerente e ha suddiviso con cura, i piccoli pezzi si sommano automaticamente al numero grande. Nessun conflitto. Nessuna mappa rotta.

Perché è importante?

Velocità: Il documento afferma che questo metodo è incredibilmente veloce. Su un laptop standard, può elaborare un dataset con 300.000 serie temporali (come il dataset Favorita) in circa 20 minuti. Altri metodi che cercano di farlo con reti neurali complesse potrebbero richiedere supercomputer o ore di tempo.
Accuratezza: Quando testato contro dati reali (i dataset M5 e Favorita), e2eTD ha superato quasi tutti gli altri metodi. Se questo metodo fosse stato inserito nella famosa competizione di previsione M5, si sarebbe classificato all'11° posto su 892 squadre.
Gestione del Rischio: Poiché produce previsioni "probabilistiche" (intervalli di possibilità), i rivenditori possono prendere decisioni più sicure. Possono dire: "Abbiamo bisogno di scorte sufficienti per coprire il 95% degli scenari peggiori", invece di limitarsi a indovinare la media.

In sintesi
e2eTD è un modo veloce ed efficiente per prevedere la domanda per le grandi catene di vendita al dettaglio. Evita la confusione di prevedere ogni singolo articolo concentrandosi prima sui totali fluidi e prevedibili. Poi, utilizza un intelligente algoritmo di "suddivisione" basato sulla cronologia per distribuire questi totali verso il basso ai singoli articoli, assicurando che i numeri piccoli si sommino sempre perfettamente ai numeri grandi. È come costruire una casa ponendo prima una fondamenta perfetta e poi posizionando con cura i mattoni, invece di cercare di indovinare dove va ogni singolo mattone sperando che il tetto si adatti.

Riepilogo Tecnico: Previsione Gerarchica Probabilistica End-to-end tramite Top-Down Probabilistico (e2eTD)

1. Definizione del Problema

Le operazioni di vendita al dettaglio e della catena di approvvigionamento si affidano alle previsioni della domanda per decisioni che vanno dal riapprovvigionamento a livello di prodotto alla pianificazione della capacità a livello di punto vendita. Queste previsioni devono soddisfare due requisiti critici, spesso contrastanti:

Natura Probabilistica: Per consentire un processo decisionale consapevole del rischio (ad es. la definizione delle scorte di sicurezza), le previsioni devono fornire distribuzioni predittive complete piuttosto che stime puntuali singole.
Coerenza: Le previsioni attraverso la gerarchia di aggregazione (ad es. SKU, Negozio, Regione, Totale) devono essere coerenti. La previsione per un nodo genitore deve essere uguale alla somma delle previsioni dei suoi figli.

Gli approcci esistenti affrontano sfide significative di scalabilità e modellazione in grandi gerarchie caratterizzate da domanda intermittente (serie a livello inferiore sparse e con eccesso di zeri):

A due fasi (Forecast-then-Reconcile): Sebbene efficaci per le previsioni puntuali, la riconciliazione probabilistica è computazionalmente costosa per grandi gerarchie. Spesso si basa su assunzioni restrittive (ad es. la gaussianità) che non si adattano ai dati di conteggio intermittenti o richiede inversioni di matrici ad alta dimensionalità.
Modelli Neurali End-to-End: Producono previsioni coerenti ma richiedono tipicamente architetture complesse, hardware specializzato (GPU) e un significativo sforzo di ingegneria, rendendoli poco pratici per una distribuzione rapida e su larga scala.
Top-Down Tradizionale: Sebbene scalabile, i metodi top-down standard spesso si basano su proporzioni storiche deterministiche, fallendo nel catturare l'incertezza e la dipendenza tra le serie necessaria per la coerenza probabilistica.

Il documento identifica una lacuna per un metodo che sia veloce, scalabile e capace di produrre previsioni probabilistiche coerenti per grandi gerarchie con serie inferiori intermittenti senza richiedere hardware specializzato.

2. Metodologia: e2eTD

Il metodo proposto, e2eTD (end-to-end Top-Down), genera previsioni probabilistiche coerenti modellando solo un piccolo sottoinsieme di serie di livello superiore fluide e propagando i campioni verso il basso tramite un nuovo algoritmo top-down probabilistico.

Flusso di Lavoro Principale

Il metodo procede in cinque fasi (illustrate nella Fig. 2 del documento):

Selezione delle Serie Superiori: Invece di prevedere tutte le serie inferiori, e2eTD seleziona una piccola sub-gerarchia di serie superiori fluide e prevedibili (circa lo 0,3% del totale delle serie negli esperimenti). Questo sottoinsieme deve formare una sub-gerarchia che copra tutte le serie inferiori.
Previsione Probabilistica: Le previsioni probabilistiche sono generate indipendentemente per le serie superiori selezionate. Gli autori utilizzano l'Exponential Smoothing (ETS) con selezione automatica del modello, capace di incorporare regressori esogeni (ad es. festività, promozioni).
Riconciliazione: Per garantire la coerenza tra le serie superiori selezionate, viene applicato un passaggio di riconciliazione probabilistica Gaussiana. Questo combina le previsioni indipendenti in una distribuzione normale multivariata congiunta. I campioni vengono estratti da questa distribuzione riconciliata al livello più basso della sub-gerarchia selezionata.
Campionamento Top-Down Probabilistico (Novità): Questo è il contributo principale. Inveve di utilizzare proporzioni storiche fisse, l'algoritmo modella le proporzioni di disaggregazione come distribuzioni congiunte.
- Modellazione: Per ogni coppia di serie oggetto di divisione, il metodo stima la distribuzione congiunta dei loro conteggi storici. Le marginali sono adattate come Poisson o Binomiale Negativa (a seconda della dispersione) e la dipendenza è modellata utilizzando una copula di Plackett.
- Campionamento: Dato un campione $z$ da un nodo superiore, l'algoritmo estrae una coppia $(a, b)$ tale che $a+b=z$ . La probabilità di ogni divisione è determinata dal condizionamento della distribuzione congiunta stimata sul vincolo $A+B=z$ .
- Ricorsione: Questo processo viene applicato ricorsivamente (tramite divisione binaria) dalle serie superiori selezionate verso il basso fino al livello inferiore. Fondamentalmente, l'algoritmo preserva la dipendenza tra le serie ereditata dal passaggio di riconciliazione non rimescolando gli indici dei campioni.
Aggregazione: I campioni congiunti risultanti al livello inferiore vengono sommati utilizzando la matrice di aggregazione per ottenere previsioni probabilistiche coerenti per tutti i livelli della gerarchia.

Strategie Computazionali

Per garantire la scalabilità a centinaia di migliaia di serie:

Batching: L'algoritmo calcola i pesi di campionamento per valori interi unici dei campioni superiori una sola volta, invece di iterare su ogni singolo campione.
Parallelizzazione: La previsione delle serie di livello superiore e il campionamento top-down per diverse branche della gerarchia sono parallelizzati su core CPU.
Stima Efficiente: Il metodo utilizza il moment matching per i parametri marginali e l'inversione della correlazione di rango di Spearman per il parametro della copula, evitando la costosa stima di massima verosimiglianza (MLE).

3. Contributi Chiave

Coerenza Probabilistica Scalabile: e2eTD ottiene previsioni probabilistiche coerenti per gerarchie con ~300k serie (dataset Favorita) in meno di 20 minuti su un laptop standard, senza hardware specializzato.
Algoritmo Top-Down Probabilistico: Il documento introduce un meccanismo di campionamento che tratta le proporzioni di disaggregazione come distribuzioni congiunte (tramite copule) anziché rapporti deterministici, preservando la dipendenza tra le serie e garantendo la coerenza a tutti i livelli.
Gestione dell'Intermittenza: Prevedendo solo le serie superiori fluide e inducendo naturalmente l'intermittenza durante il passaggio di campionamento top-down, il metodo evita le difficoltà di modellare direttamente le serie inferiori sparse e con eccesso di zeri.
Validazione Empirica: Il metodo è valutato sui due più grandi dataset retail disponibili pubblicamente (M5 e Favorita), dimostrando prestazioni superiori rispetto ai principali baseline scalabili.

4. Risultati Sperimentali

Gli autori hanno valutato e2eTD contro cinque metodi concorrenti (Empirical Distribution, Seasonal Empirical, WLS Reconciliation, Long et al. (2025) e HINT) sui dataset M5 e Favorita.

Accuratezza (WSPL): e2eTD ha ottenuto il più basso Weighted Scaled Pinball Loss (WSPL) in tutti i livelli di aggregazione su entrambi i dataset.
- Su M5, e2eTD si sarebbe classificato all'11° posto su 892 team nella competizione M5 Uncertainty.
- Su Favorita, ha superato significativamente tutti i concorrenti, inclusi gli approcci basati su reti neurali.
- Il metodo ha mantenuto un'alta accuratezza anche al livello inferiore (SKU-negozio), dove si sarebbe classificato al 7° posto tra i primi 50 team di M5.
Efficienza Computazionale:
- M5 (~30k serie): ~4,5 minuti.
- Favorita (~160k serie): ~17 minuti.
- Al contrario, i metodi neurali (HINT) richiedevano GPU, e i metodi di riconciliazione (WLS) scalavano male, richiedendo molto più tempo sui dataset più grandi.
Studio di Ablazione:
- Riconciliazione: Rimuovere il passaggio di riconciliazione del livello superiore ha degradato significativamente le prestazioni (+8,8% WSPL su M5), confermando il valore della combinazione di informazioni tra i livelli.
- Copula: L'uso di una copula indipendente (ignorando la dipendenza tra le serie) ha avuto un effetto trascurabile su M5 ma ha aumentato l'errore su Favorita, suggerendo che le strutture di dipendenza variano a seconda del dataset.
- Regressori Esogeni: L'inclusione di covariate (festività, promozioni) ha migliorato significativamente le prestazioni su M5, ma ha avuto un effetto minimo su Favorita.

5. Significato e Rivendicazioni

Il documento posiziona e2eTD come una soluzione pratica per la "preoccupazione operativa di primo ordine" del costo delle previsioni nel settore retail.

Impatto Operativo: Gli autori osservano che i grandi rivenditori potrebbero dover aggiornare miliardi di previsioni quotidianamente. Passare da metodi pesanti a e2eTD potrebbe far risparmiare decine di milioni di dollari annualmente e ridurre l'impronta ambientale (CO2e) delle pipeline di previsione.
Supporto alle Decisioni: Fornendo previsioni probabilistiche coerenti, il metodo consente decisioni consapevoli del rischio (ad es. ottimizzazione delle scorte di sicurezza) che sono coerenti tra i livelli strategici, tattici e operativi.
Modestia: Gli autori riconoscono i limiti, come l'assunzione di approssimativa stazionarietà nelle proporzioni del livello inferiore e la selezione manuale della sub-gerarchia superiore. Suggeriscono che il lavoro futuro potrebbe includere criteri rigorosi per la selezione della sub-gerarchia e una modellazione più sofisticata delle proporzioni variabili nel tempo.

In sintesi, e2eTD colma il divario tra la necessità di previsioni probabilistiche coerenti e i vincoli computazionali delle operazioni retail su larga scala, offrendo un'alternativa veloce, accurata ed efficiente dal punto di vista dell'hardware rispetto agli approcci neurali e di riconciliazione esistenti.