From Raw Data to Reliable Predictions: The Significance of Data Processing in COVID-19 Modelling

Questo studio dimostra che l'implementazione di una pipeline di preelaborazione dei dati personalizzata, che include la trasformazione dei totali settimanali in aggiornamenti giornalieri, il rilevamento localizzato degli outlier, la verifica delle dipendenze computazionali e la selezione iterativa delle caratteristiche, migliora significativamente l'accuratezza dei modelli predittivi sulla mortalità da COVID-19 rispetto alle metodologie standard.

L'essenziale

Immagina di dover prevedere il futuro, ma hai a disposizione un libro di storia scritto in modo confuso, con pagine strappate, numeri scritti a caso e alcune frasi che non hanno senso. È esattamente la situazione in cui si trovavano i ricercatori quando hanno cercato di prevedere quanti morti avrebbe causato il COVID-19 in India.

Questo studio racconta la storia di due modi diversi di preparare questi "numeri" prima di usarli per fare previsioni: il Metodo Standard (la via di mezzo, quella che usa la maggior parte delle persone) e il Metodo Personalizzato (la ricetta segreta creata dagli autori).

Ecco come funziona, spiegato in modo semplice:

1. Il Problema: Un Puzzle Rotto

I dati sul COVID-19 non sono perfetti. Spesso i governi non aggiornano i numeri tutti i giorni, ma aspettano la fine della settimana per dire: "Ecco, in totale abbiamo avuto 100 nuovi casi".

• L'approccio Standard: Prende quei 100 casi e li lascia tutti insieme nell'ultimo giorno della settimana. È come se un negozio di gelati dicesse: "Ho venduto 100 gelati, ma li ho venduti tutti alle 23:59 di domenica". Questo crea un'immagine falsa: i giorni precedenti sembrano vuoti e il giorno finale sembra un'esplosione.
• L'approccio Personalizzato: I ricercatori hanno detto: "Aspetta, non è vero". Hanno preso quei 100 gelati e li hanno distribuiti equamente tra i 7 giorni della settimana. È come se avessero detto: "Probabilmente ne hai venduti circa 14 ogni giorno". Questo rende la storia più realistica.

2. I "Mostri" nei Dati (Gli Outlier)

A volte nei dati ci sono numeri strani, come se un giorno avessero venduto un milione di gelati per errore di battitura.

• L'approccio Standard: Usa un righello rigido. Se un numero è troppo alto o troppo basso rispetto alla media globale, lo cancella o lo aggiusta. È come se un insegnante dicesse: "Se un alunno prende un voto fuori dal comune, lo correggo subito". Il problema è che a volte quel voto "strano" è reale e importante, e cancellandolo si perde un pezzo di verità.
• L'approccio Personalizzato: Guarda il contesto. Usa una "lente d'ingrandimento" che si muove con i dati. Se c'è un picco improvviso ma locale, lo capisce se è reale o un errore, senza distruggere le piccole variazioni naturali che raccontano la vera storia del virus.

3. La Matematica della Coerenza

Alcuni numeri sono collegati tra loro. Ad esempio, il numero di "decessi totali" è la somma di tutti i "decessi nuovi".

• L'approccio Standard: A volte tratta questi numeri come se fossero isolati, riempiendo i buchi con valori medi o zero. È come se qualcuno calcolasse il totale della spesa al supermercato senza sommare i singoli scontrini, ma tirando a indovinare.
• L'approccio Personalizzato: Usa la logica. Se sai quanti nuovi decessi ci sono oggi, calcola il totale sommando tutto ciò che è successo prima. È come costruire un muro: ogni mattone (giorno) deve stare perfettamente sopra quello precedente. Se un mattone manca, lo calcoli basandoti su quelli vicini, non lo inventi a caso.

4. Scegliere gli Strumenti Giusti (Feature Selection)

Immagina di dover preparare una zuppa. Hai 67 ingredienti (colonne di dati).

• L'approccio Standard: Butta dentro tutto, sperando che qualche ingrediente funzioni, ma rischia di creare una zuppa troppo pesante e confusa (dove gli ingredienti si contraddicono tra loro).
• L'approccio Personalizzato: Assaggia ogni ingrediente e sceglie solo i 5 o 6 migliori che danno davvero sapore alla zuppa. Elimina quelli che non servono o che rovinano il gusto.

Il Risultato: Chi ha vinto?

Quando hanno messo alla prova i loro "oracoli" (i modelli di intelligenza artificiale) per prevedere i morti:

• Il Modello Standard (con i dati preparati in modo frettoloso) ha fatto un lavoro mediocre. Immagina un meteorologo che sbaglia la previsione del tempo di 200 gradi! Il suo errore era enorme.
• Il Modello Personalizzato (con i dati puliti, distribuiti e logici) è stato incredibilmente preciso. Ha previsto i numeri con un errore piccolissimo, quasi perfetto.

In sintesi:
Questo studio ci insegna che non basta avere un'intelligenza artificiale potente. Se dai a un genio dei dati sporchi, confusi e sbagliati, otterrai previsioni sbagliate. Se invece prendi il tempo per pulire i dati, correggere gli errori di reporting (come la distribuzione settimanale) e assicurarti che tutto sia coerente, anche un modello semplice può diventare un mago delle previsioni.

È come la differenza tra cucinare con ingredienti freschi e di qualità (Metodo Personalizzato) e cucinare con cibo in scatola scaduto (Metodo Standard): il risultato finale sarà sempre migliore con gli ingredienti giusti.

Sommario tecnico

Titolo: Impatto del Preprocessing Dati Completo sulla Modellazione Predittiva della Mortalità da COVID-19

1. Il Problema

La pandemia di COVID-19 ha creato un'enorme necessità di modelli predittivi accurati per la pianificazione sanitaria e l'allocazione delle risorse. Tuttavia, l'approccio standard alla modellazione predittiva spesso trascura la fase di preprocessing dei dati, concentrandosi eccessivamente sullo sviluppo del modello.
Le carenze principali identificate negli approcci convenzionali includono:

• Distorsione dei dati temporali: I dati riportati settimanalmente (es. nuovi decessi) vengono spesso trattati come dati giornalieri senza correzione, introducendo bias significativi (es. valori zero per 6 giorni e un picco il 7°).
• Rilevamento degli outlier globale: L'uso di soglie fisse (come lo z-score globale) fallisce nel catturare la variabilità locale nelle serie temporali, rimuovendo erroneamente pattern naturali o non identificando anomalie contestuali.
• Inconsistenze computazionali: Ignorare le dipendenze tra le colonne (es. la relazione tra "nuovi casi" e "casi totali") porta a imputazioni errate e perdita di integrità dei dati.
• Selezione delle feature subottimale: La mancata gestione rigorosa della multicollinearità e la selezione non iterativa delle feature possono portare a overfitting o underfitting.

2. Metodologia

Lo studio confronta due pipeline di preprocessing applicate a un dataset di Our World in Data (OWID) focalizzato sull'India (1.680 record dal gennaio 2020 all'agosto 2024). Sono stati testati 10 modelli di regressione (tra cui Linear Regression, Random Forest, Gradient Boosting, MLP, ecc.) utilizzando la convalida incrociata a 5 fold.

A. Pipeline Standard (Baseline)
Utilizza metodi tradizionali:

• Imputazione dei valori mancanti (interpolazione lineare e riempimento con zero).
• Rilevamento degli outlier globale (soglia z-score = 2).
• Selezione delle feature iterativa basata su Correlazione, PFI (Permutation Feature Importance), MI (Mutual Information), SFI (Single Feature Impact) e VIF (Variance Inflation Factor).
• Normalizzazione e scaling.

B. Pipeline Personalizzata (Custom Pipeline)
Introduce quattro innovazioni chiave per gestire le specificità dei dati COVID-19:

1. Imputazione del Pattern Settimanale: Trasforma i totali settimanali riportati in aggiornamenti giornalieri distribuendo il totale settimanale uniformemente su tutti i 7 giorni. Questo corregge il bias di reporting e ripristina la tendenza temporale reale.
2. Rilevamento degli Outlier Locali: Sostituisce lo z-score globale con un approccio a finestra scorrevole (rolling window) di 30 giorni. Questo permette di adattare la soglia di rilevamento alla variabilità locale dei dati, preservando le fluttuazioni naturali e identificando solo le vere anomalie.
3. Elaborazione Computazionale (Computation Processing): Sfrutta le dipendenze matematiche tra le colonne per garantire la coerenza.
   • Calcola colonne "nuove" come differenza tra totali consecutivi.
   • Calcola colonne "totali" come somma cumulativa delle colonne "nuove".
   • Deriva metriche come il "tasso di positività" e i "test per caso" utilizzando equazioni specifiche basate su dati già elaborati, invece di imputare valori costanti.
4. Selezione Iterativa delle Feature: Applica un processo rigoroso che combina PFI, MI, SFI e VIF per eliminare sistematicamente feature ridondanti e collineari, mantenendo solo quelle con il massimo potere predittivo.

3. Contributi Chiave

• Pipeline di Preprocessing Adattiva: Dimostrazione che un preprocessing su misura, che rispetta la struttura temporale e le dipendenze logiche dei dati, è superiore ai metodi generici.
• Correzione del Bias Settimanale: Una metodologia specifica per risolvere il problema dei dati aggregati settimanali nelle serie temporali epidemiche.
• Integrità dei Dati attraverso Dipendenze: L'uso di equazioni deterministiche per generare feature correlate garantisce che il dataset sia matematicamente coerente, riducendo il rumore artificiale.
• Metrica di Valutazione Aggiuntiva: Introduzione della Varianza RMSE per valutare la consistenza delle prestazioni del modello tra set di training, validazione e test, fornendo una misura più robusta della generalizzabilità rispetto alla sola accuratezza.

4. Risultati

I risultati mostrano un miglioramento drastico delle prestazioni con la pipeline personalizzata rispetto a quella standard:

• Prestazioni del Modello Migliore:
  • Pipeline Personalizzata (MLPRegressor): RMSE di 66.556 e $R^2$ di 0.991.
  • Pipeline Standard (DecisionTreeRegressor - il migliore tra gli standard): RMSE di 222.858 e $R^2$ di 0.817.
• Stabilità e Generalizzabilità:
  • La varianza RMSE per l'MLPRegressor nella pipeline personalizzata è estremamente bassa (52.125), indicando un'eccellente stabilità e assenza di overfitting.
  • Lo stesso modello nella pipeline standard ha mostrato una varianza RMSE enorme (13.739,921), segno di instabilità e scarsa generalizzazione.
• Selezione delle Feature: La pipeline personalizzata ha raggiunto prestazioni superiori utilizzando un set di feature più ridotto (5 feature vs 7 nella standard), con punteggi di importanza combinata significativamente più alti e relazioni tra feature più stabili (VIF gestiti efficacemente).

5. Significato e Implicazioni

Questo studio sottolinea che la qualità dei dati e la strategia di preprocessing sono spesso più critiche della scelta dell'algoritmo di machine learning stesso.

• Impatto sulla Gestione della Pandemia: Modelli più accurati permettono una migliore allocazione delle risorse sanitarie e una pianificazione più efficace durante le crisi.
• Applicabilità Trasversale: Sebbene il caso di studio sia specifico per la mortalità da COVID-19 in India, le metodologie (rilevamento locale degli outlier, gestione delle dipendenze computazionali, imputazione di pattern temporali) sono trasferibili ad altri domini che coinvolgono serie temporali complesse e dati epidemiologici o finanziari.
• Riduzione del Bias: L'approccio proposto dimostra come la corretta manipolazione dei dati grezzi possa rivelare pattern nascosti che i metodi standard tendono a cancellare o distorcere.

In conclusione, l'adozione di pipeline di preprocessing personalizzate e rigorose è fondamentale per massimizzare l'affidabilità e l'accuratezza dei modelli predittivi in contesti critici come la salute pubblica.