Horizon-dependent forecast ranking under structural change: a rolling-origin benchmark for global COVID-19 incidence

Lo studio dimostra che, in presenza di cambiamenti strutturali nei dati epidemiologici globali del COVID-19, la valutazione delle previsioni deve essere specifica per l'orizzonte temporale e che i modelli di base semplici, in particolare la deriva, spesso superano modelli statistici più complessi come ARIMA, ETS e Prophet.

L'essenziale

Immagina di dover prevedere il meteo per la settimana prossima, ma con una sfida enorme: il clima non solo cambia ogni giorno, ma le regole stesse del meteo si stanno riscrivendo mentre parliamo. Inoltre, i termometri che usiamo per misurare la temperatura vengono aggiunti e migliorati giorno dopo giorno.

Questo è esattamente il problema affrontato da questo studio sui numeri dei contagi da COVID-19 nel mondo durante la prima parte della pandemia (gennaio-luglio 2020).

Ecco una spiegazione semplice di cosa hanno scoperto gli autori, usando qualche metafora.

1. Il Problema: Prevedere il futuro in un mondo che cambia

Prevedere quanti nuovi casi ci saranno domani, tra una settimana o due settimane, è come cercare di guidare un'auto su una strada che cambia forma mentre guidi. A volte la strada si allarga, a volte si restringe, e a volte i segnali stradali (i dati) arrivano in ritardo o sono confusi perché nuovi paesi iniziano a segnare i loro numeri.

Gli scienziati volevano capire: qual è il metodo migliore per fare queste previsioni? Esiste un "super-algoritmo" magico che vince sempre?

2. L'Esperimento: La gara di previsione

Gli autori hanno messo alla prova diversi "campioni" in una gara di previsione. Hanno usato un metodo chiamato "Rolling-Origin" (o "partenza rotante").

• L'analogia: Immagina di essere un allenatore di calcio. Invece di guardare solo la partita di ieri per prevedere quella di domani, fai fare ai tuoi giocatori un allenamento ogni giorno: guardano i dati fino a oggi, fanno una previsione per domani, poi guardano cosa è successo davvero, aggiornano i dati e riprovano per il giorno dopo. Lo fanno per mesi.
• Questo metodo è molto più realistico rispetto a quelli che usano un solo "taglio" di dati (come guardare solo i primi 6 mesi per prevedere i secondi 6).

3. I Competitor: Chi ha partecipato?

Hanno confrontato tre tipi di strategie:

1. I Semplicisti (Le Baseline):
   • Naive (Ingenuo): "Domani sarà uguale a oggi."
   • Seasonal Naive (Ingenuo Stagionale): "Domani sarà uguale allo stesso giorno della settimana scorsa."
   • Drift (Deriva): "Domani continuerà a salire (o scendere) con la stessa velocità di oggi."
   • Metafora: Sono come un ciclista che guarda solo la ruota davanti a sé o guarda il cielo per capire se piove. Semplici, ma spesso efficaci.
2. I Matematici (Modelli Statistici):
   • ARIMA ed ETS: Modelli complessi che cercano schemi nascosti nei numeri, come un detective che cerca indizi in una stanza piena di carte.
3. Il "Famoso" (Prophet):
   • Un modello molto popolare creato da Facebook, famoso per essere facile da usare. È come un oracolo moderno che promette di vedere il futuro.

4. La Grande Scoperta: Non esiste un vincitore unico

Il risultato più importante è che non c'è un vincitore assoluto. La vittoria dipende da quanto lontano vuoi guardare nel futuro (l'orizzonte temporale).

• Per domani (1 giorno): Il modello "Deriva" (Drift) e quello "Ingenuo" (Naive) sono stati imbattibili. Sembrava che i modelli complessi non riuscissero a battere la semplice logica: "se oggi sale, domani salirà ancora un po'".
• Per 3 giorni: Qui ha vinto il modello "Stagionale" (Seasonal Naive). Sembra che ci fosse un piccolo ritmo settimanale (magari legato a quando i laboratori riportavano i dati) che i modelli semplici avevano catturato meglio dei complessi.
• Per 1 e 2 settimane (7-14 giorni): Il modello "Deriva" (Drift) ha continuato a dominare, ma il modello statistico "ETS" ha iniziato a fare molto meglio rispetto ad ARIMA.
• Il caso Prophet: Il modello "famoso" (Prophet) è stato un disastro per le previsioni puntuali (i numeri esatti). È stato così incerto che ha dato previsioni con intervalli di errore così larghi da essere quasi inutili (come dire: "Domani pioverà tra 0 e 1000 mm"). Ha avuto una copertura alta solo perché i suoi "paracadute" erano enormi.

5. Perché i modelli semplici hanno vinto?

Gli autori spiegano che, quando i dati sono molto rumorosi e cambiano velocemente (come in una pandemia globale), i modelli complessi tendono a "sovrappensare" (overthinking). Cercano schemi che non esistono o si confondono con il rumore di fondo.

• Metafora: Immagina di cercare di prevedere il traffico in una città in espansione. Un modello complesso cerca di calcolare ogni singolo semaforo e incidente. Un modello semplice dice: "Il traffico sta aumentando, quindi domani sarà più alto". Spesso, la risposta semplice è più affidabile perché non si perde in dettagli che cambiano ogni minuto.

6. Le Lezioni per il Futuro

Questo studio ci insegna tre cose fondamentali:

1. Il "quando" è importante: Non puoi dire "questo modello è il migliore". Devi dire "questo modello è il migliore per prevedere tra 3 giorni". È come dire che un'auto da corsa è veloce in pista, ma un fuoristrada è meglio sulla sabbia.
2. Non sottovalutare i semplici: In situazioni di caos (come una pandemia), i modelli semplici e trasparenti sono spesso più robusti e affidabili di quelli complessi e opachi.
3. Attenzione ai dati: I numeri cambiano non solo perché il virus cambia, ma anche perché i paesi iniziano a contare meglio. Bisogna fare attenzione a non confondere un cambiamento nel conteggio con un cambiamento reale del virus.

In sintesi

Questo studio ci dice che, quando si tratta di prevedere l'andamento di un'epidemia in un mondo che cambia rapidamente, la semplicità spesso batte la complessità. E soprattutto, bisogna sempre chiedersi: "Per quanto tempo devo prevedere?", perché la risposta cambia il vincitore della gara.

Sommario tecnico

Titolo: Previsione dell'incidenza epidemica dipendente dall'orizzonte temporale sotto cambiamento strutturale: un benchmark a origine rotante per l'incidenza globale di COVID-19

1. Il Problema

La previsione a breve termine dell'incidenza delle malattie infettive è estremamente complessa quando le serie temporali di sorveglianza sono altamente non stazionarie e soggette a cambiamenti strutturali (es. nuove varianti, cambiamenti comportamentali) ed evoluzioni nelle condizioni di segnalazione dei dati.
Durante la pandemia di COVID-19, i modelli di previsione sono stati ampiamente utilizzati, ma le serie di incidenza mostrano variazioni brusche di livello e crescita. Un problema centrale è che la qualità delle previsioni può deteriorarsi rapidamente quando il processo generatore dei dati cambia. Le valutazioni tradizionali basate su un singolo split "training-test" possono essere fragili se coincidono con fasi atipiche. Inoltre, le classifiche dei modelli spesso variano significativamente a seconda dell'orizzonte temporale di previsione e della fase epidemica, rendendo difficile identificare un unico modello "migliore" in assoluto.

2. Metodologia

Lo studio ha implementato un benchmark statistico trasparente sull'incidenza giornaliera globale di COVID-19 dal 22 gennaio al 27 luglio 2020 (188 giorni), utilizzando dati aggregati globali (Johns Hopkins University).

• Protocollo di Valutazione: È stato utilizzato un protocollo di backtesting a origine rotante (rolling-origin o walk-forward). Questo approccio simula la previsione in tempo reale: i modelli vengono ri-stimati ad ogni istante $t$ utilizzando solo i dati disponibili fino a $t-1$ e le previsioni vengono valutate su orizzonti multipli ($h \in \{1, 3, 7, 14\}$ giorni).
• Obiettivo di Previsione: L'obiettivo principale è l'incidenza giornaliera ($y_t$ = nuovi casi). Per la stabilità della varianza in alcuni modelli, è stata utilizzata la trasformazione $z_t = \log(1 + y_t)$.
• Modelli Confrontati:
  • Baseline di Persistenza: Naive (persistenza dell'ultimo valore), Seasonal Naive (ripetizione del valore della settimana precedente), Drift (estrapolazione della tendenza storica media).
  • Modelli Statistici Trasformati: ARIMA(log1p) e ETS(log1p) (Modelli di Espansione Esponenziale dello Stato Spaziale) stimati sulla serie trasformata.
  • Modello di Riferimento Probabilistico: Prophet(log1p), utilizzato principalmente per analizzare il comportamento degli intervalli di previsione.
• Segmentazione dei Regimi: Sono stati identificati retrospettivamente dei punti di rottura (breakpoints) sulla serie trasformata per stratificare gli errori di previsione in diverse fasi strutturali (Regimi), senza utilizzare queste informazioni per l'addestramento dei modelli (evitando il data leakage).
• Analisi di Robustezza: Sono state condotte analisi di sensitività su:
  • Configurazioni alternative di segmentazione dei regimi.
  • Politiche di finestra di addestramento (finestra espansiva vs. finestra scorrevole/sliding).
  • Sottocampioni stabilizzati per la copertura (escludendo la fase iniziale di espansione del numero di paesi segnalanti).
  • Definizioni alternative dell'obiettivo (differenze prime dei casi confermati cumulativi).
• Metriche: Accuratezza valutata tramite MAE, RMSE, sMAPE e MASE. Confronti statistici effettuati tramite il test di Diebold-Mariano (DM).

3. Contributi Chiave

1. Benchmark Orizzonte-Specifico: Dimostrazione che la classifica dei modelli dipende fortemente dall'orizzonte temporale ($h$), rendendo inadeguata una valutazione aggregata unica.
2. Valutazione Consapevole dei Regimi: Introduzione di una stratificazione retrospettiva degli errori basata su cambiamenti strutturali rilevati nella serie, permettendo di analizzare le prestazioni in diverse fasi dell'epidemia.
3. Robustezza del Design: Verifica che le conclusioni principali rimangano stabili nonostante variazioni nelle definizioni dei regimi, nelle finestre di addestramento e nelle definizioni dei dati target.
4. Insight Empirici: Evidenza che le basi semplici (baselines) rimangono difficili da superare nei dati di sorveglianza epidemica, specialmente in condizioni di non stazionarietà.

4. Risultati Principali

• Dipendenza dall'Orizzonte Temporale:
  • Drift: Ha ottenuto le prestazioni migliori (MAE più basso) agli orizzonti di 1, 7 e 14 giorni.
  • Seasonal Naive: Ha superato tutti gli altri modelli all'orizzonte di 3 giorni, suggerendo la persistenza di effetti settimanali di segnalazione anche nelle serie aggregate globali.
  • Modelli Trasformati: ARIMA(log1p) è stato competitivo agli orizzonti brevi (1-3 giorni), mentre ETS(log1p) ha mostrato prestazioni superiori a 7 e 14 giorni.
  • Prophet: Non è stato competitivo per la previsione puntuale (MAE e RMSE molto elevati). Ha raggiunto una copertura nominale alta (80%) solo producendo intervalli di previsione estremamente ampi, indicando una quantificazione dell'incertezza eccessivamente conservativa.
• Significatività Statistica: I test di Diebold-Mariano hanno confermato che:
  • Il modello Drift supera significativamente ARIMA e ETS a 1, 7 e 14 giorni.
  • ETS(log1p) supera significativamente ARIMA(log1p) agli orizzonti più lunghi (7 e 14 giorni).
• Analisi di Robustezza:
  • Le posizioni dei punti di rottura sono state stabili nelle configurazioni alternative.
  • L'uso di finestre scorrevoli (sliding windows) ha migliorato le prestazioni di ETS(log1p) agli orizzonti medi e lunghi rispetto alla finestra espansiva, evidenziando un compromesso tra adattamento e stabilità.
  • L'analisi su sottocampioni con copertura stabile (escludendo la fase iniziale di espansione della segnalazione) ha modificato leggermente le classifiche a breve termine (ETS ha superato Naive a 3 giorni), ma la dipendenza dall'orizzonte e la competitività delle basi semplici sono rimaste valide.

5. Significato e Implicazioni

• Necessità di Valutazione Specifica per Orizzonte: Non esiste un modello "migliore" universale per le serie epidemiche. La scelta del modello deve essere guidata dall'orizzonte temporale specifico richiesto dall'operatività (es. monitoraggio giornaliero vs. pianificazione della capacità ospedaliera a 2 settimane).
• Rivalutazione delle Basi Semplici: Modelli semplici come Drift e Naive non devono essere considerati meri riferimenti teorici, ma costituiscono benchmark competitivi e difficili da battere in contesti di sorveglianza con dati non stazionari e rumorosi.
• Importanza del Protocollo di Valutazione: I protocolli a origine rotante sono essenziali per valutare le prestazioni in condizioni reali di cambiamento strutturale, evitando conclusioni fragili derivanti da split di dati casuali.
• Qualità degli Intervalli di Previsione: L'analisi di Prophet evidenzia che una alta copertura degli intervalli non garantisce utilità operativa se gli intervalli sono troppo ampi (mancanza di "sharpness"). La valutazione probabilistica deve considerare sia la calibrazione che la precisione.
• Impatto sulla Sanità Pubblica: Questi risultati supportano l'uso di benchmark rigorosi e trasparenti nella pianificazione sanitaria, sottolineando che le semplificazioni dei dati (aggregazione globale, cambiamenti nelle pratiche di segnalazione) influenzano le prestazioni dei modelli tanto quanto la dinamica epidemiologica stessa.

In conclusione, lo studio dimostra che in scenari epidemici complessi e non stazionari, la semplicità e l'adattabilità (come nel caso del modello Drift) spesso prevalgono sulla complessità strutturale, e che la valutazione delle previsioni deve essere rigorosamente stratificata per orizzonte temporale e contesto strutturale.