Evaluation of Deep Learning Based Early Warning Indicators of Epidemic Outbreaks

Sintesi Tecnica: Valutazione degli Indicatori di Allerta Precoce Basati sul Deep Learning per le Epidemie

Problema
Nei sistemi epidemici, rilevare le "transizioni critiche" o le biforcazioni — specificamente il punto in cui il numero di riproduzione di base ($R_0$) attraversa l'unità, spostando una malattia dall'estinzione alla persistenza — è fondamentale per la preparazione alle epidemie. Sebbene gli indicatori statistici tradizionali (ad esempio, l'autocorrelazione al lag-1, la varianza) possano segnalare il rallentamento critico (CSD) in prossimità di queste transizioni, essi generalmente falliscono nel prevedere gli stati futuri o nel classificare il tipo specifico di biforcazione (ad esempio, fold, Hopf, transcritica).

Recenti approcci di deep learning (DL), come quelli di Bury et al. (addestrati su ODE generiche) e Chakraborty/Miry (addestrati su simulazioni stocastiche basate su SIR), hanno mostrato potenziale nel rilevare e classificare le biforcazioni. Tuttavia, questi modelli affrontano limitazioni significative quando applicati a dati del mondo reale:

1. Gap di Generalizzazione: I modelli addestrati su modelli matematici generici o specifiche configurazioni di rumore spesso non riescono a rilevare le biforcazioni in dati epidemici reali caratterizzati da livelli di rumore e fattori demografici variabili.
2. Mancanza di Valutazione Rigorosa: Non è stata effettuata alcuna valutazione sistematica di questi modelli DL pre-addestrati su dati di sorveglianza reali a livello statale che coprano diverse regioni geografiche.
3. Incertezza Operativa: Rimane poco chiaro come questi modelli si comportino sotto diverse strategie di finestratura dei dati (windowing) richieste per la previsione online e in tempo reale.

Metodologia
Gli autori hanno sviluppato una pipeline completa per valutare i modelli di predizione di biforcazione DL pre-addestrati su un dataset curato dal CDC relativo alle ospedalizzazioni settimanali per influenza in tutti i 50 stati degli Stati Uniti, Washington D.C. e aggregati nazionali (luglio 2022 – inizio 2025).

• Preparazione dei Dati:
  • Pre-elaborazione: Per corrispondere ai requisiti di addestramento dei modelli di Bury et al., gli autori hanno applicato una rigorosa pipeline di pre-elaborazione: (1) Detrending tramite un filtro Lowess (span 0.2) per rimuovere i trend lenti preservando le strutture di fluttuazione; (2) Normalizzazione dividendo i residui per il valore assoluto medio del dataset.
  • Etichettatura della Ground Truth: Poiché non erano disponibili dati coerenti sull'intervallo seriale per la stima di $R_t$ a livello statale, i punti di biforcazione della ground truth sono stati identificati a livello nazionale utilizzando il pacchetto EpyEstim (approccio dell'equazione di rinascita Bayesiana). Per la valutazione a livello statale, sono stati definiti due intervalli di biforcazione manuali basati sui trend nazionali: Intervallo A (t=108–118) e Intervallo B (t=127–140).
• Modelli Valutati:
  • Bury et al. (2021): Un'architettura CNN-LSTM addestrata su 500.000 serie temporali da ODE generiche che presentano biforcazioni fold, Hopf e transcritiche.
  • Chakraborty/Miry (2024–2025): Modelli ri-addestrati su simulazioni stocastiche basate su SIR che incorporano rumore bianco additivo, rumore ambientale moltiplicativo e rumore demografico.
• Strategie di Finestratura (Windowing): Lo studio ha valutato sistematicamente come i modelli si comportano sotto diverse strategie di costruzione dei tensori di input per la predizione online:
  • Finestra Rotante (Rolling Window - Ultimi 100): Il metodo originale che utilizza solo gli ultimi 100 punti.
  • Finestra Espandente (Expanding Window): La finestra cresce dall'inizio della serie fino al punto corrente (limitata a 100).
  • Finestra Mobile a Lunghezza Fissa (Fixed-Length Moving Window): Una finestra scorrevole di 100 punti attraverso l'intera serie.
  • Finestra Rotante più Breve (Shorter Rolling Window): Lunghezza 50 con zero-padding.
  • Input Multi-Biforcazione (Multi-Bifurcation Input): Alimentazione di finestre che spaziano su molteplici punti di biforcazione.

Risultati Chiave
La valutazione ha rivelato che le prestazioni del modello dipendono fortemente dalla strategia di finestratura e dallo specifico intervallo di biforcazione.

• Metriche di Prestazione: La strategia della Finestra Espandente (che mantiene l'intero contesto storico della serie fino al punto corrente, con un limite di 100 punti) ha prodotto le migliori prestazioni in tutte le metriche:
  • Accuratezza: 90,09%
  • Precisione: 72,86%
  • Recall: 96,23%
  • F1 Score: 82,93%
  • Specificità: 88,05%
• Confronto tra le Strategie:
  • La Finestra Rotante originale (ultimi 100 punti) ha ottenuto un'accuratezza (63,48%) e una precisione (17,35%) significativamente inferiori.
  • Le strategie che esponevano il modello a molteplici punti di biforcazione all'interno di un singolo tensore di input hanno generalmente diminuito l'accuratezza per i singoli intervalli, ma non hanno necessariamente degradato le prestazioni aggregate se il primo punto di svolta era sufficientemente coperto.
• Discrepanza tra gli Intervalli: I modelli hanno dimostrato un'alta coerenza nel rilevare la prima grande biforcazione (Intervallo A), con tassi di veri positivi di 51/53 località. Le prestazioni sono diminuite nell'Intervallo B (34/53 località), probabilmente perché la tempistica della seconda ondata variava significativamente per stato, rendendo difficile definire una singola finestra di valutazione che includesse tutti i picchi senza essere troppo ampia. I modelli hanno performato meglio quando la dinamica del mondo reale era strettamente simile alla distribuzione dei dati di addestramento.

Significatività e Rivendicazioni
L'articolo sostiene che i modelli di deep learning pre-addestrati per la rilevazione delle biforcazioni possono generalizzare a dati influenzali reali a livello statale e sono capaci di predizione online/in tempo reale, a condizione che la strategia di finestratura dell'input sia ottimizzata.

• Importanza Contestuale: Lo studio dimostra che mantenere l'intero contesto temporale della serie (tramite una finestra espandente) è superiore all'uso dei soli punti dati più recenti, suggerendo che la "memoria" dell'approccio del sistema al punto di svolta è critica per le capacità di riconoscimento del modello.
• Viabilità Operativa: Le conclusioni indicano che questi modelli sono adatti per l'applicazione nella sorveglianza del mondo reale, sebbene gli autori notino che la precisione in alcune configurazioni è stata influenzata dai falsi positivi, suggerendo la necessità di una calibrazione delle soglie per il deployment operativo.
• Framework Alternativi: Il documento discute brevemente i modelli di Markov Regime Switching (MRS) come un framework promettente per il rilevamento delle transizioni epidemiche, sebbene una valutazione comparativa completa sia riservata ai lavori futuri.

Gli autori concludono che, sebbene questi modelli siano promettenti, la loro accuratezza è subordinata alla somiglianza tra le dinamiche di biforcazione del mondo reale e i dati di addestramento, e che una selezione attenta della strategia di finestratura dell'input è essenziale per massimizzare le prestazioni di rilevamento.