Quantifying advances in infectious disease forecast skill across seasons and pathogens
Questo studio introduce una nuova metrica di punteggio di abilità che confronta le previsioni con i benchmark di hindcast e di base per dimostrare che le previsioni d'insieme e di squadra per l'influenza e il COVID-19 sono generalmente migliorate in termini di abilità nell'ultimo decennio, nonostante i risultati misti per il COVID-19.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo
Immaginate di cercare di prevedere il tempo tra un mese. Conoscete i pattern generali delle stagioni, ma il percorso specifico di una tempesta, il giorno esatto in cui pioverà o con quanta forza soffierà il vento rimangono un'ipotesi. La previsione delle malattie infettive funziona in modo molto simile. Invece di nuvole e fronti meteorologici, gli scienziati tracciano virus e batteri, utilizzando i dati su quante persone si ammalano, quante sono in ospedale e quante muoiono. L'obiettivo è dare un vantaggio temporale ai funzionari di sanità pubblica, permettendo loro di fare scorta di medicinali, preparare posti letto negli ospedali e avvertire le comunità prima che arrivi un'ondata di malattia. Per oltre un decennio, i ricercatori negli Stati Uniti hanno condotto un enorme esperimento collaborativo per vedere se riescono a migliorare queste previsioni. Hanno raccolto migliaia di previsioni da decine di team diversi, che coprono tutto, dall'influenza stagionale alla pandemia globale di COVID-19. Ma una domanda critica è rimasta sospesa: queste previsioni stanno effettivamente migliorando nel tempo, o stanno solo girando a vuoto?
Per rispondere a questo, un team di ricercatori della Northeastern University e dei Centers for Disease Control and Prevention ha sviluppato un nuovo modo per misurare il successo. In passato, gli scienziati confrontavano le previsioni utilizzando punteggi che indicavano quale modello fosse migliore di un altro per una specifica settimana, ma questi punteggi erano difficili da confrontare tra diverse malattie o diversi anni. Un punteggio che sembrava buono per una stagione influenzale mite poteva sembrare terribile per un anno di pandemia caotico, non perché il modello fosse fallito, ma perché la situazione stessa era più difficile da prevedere. I ricercatori avevano bisogno di un righello che potesse misurare il progresso in modo equo, indipendentemente da quanto fossero disordinati i dati. Hanno creato un "punteggio di abilità" (skill score), una metrica che confronta ogni previsione con due specifici punti di riferimento. Il primo è un "hindcast", ovvero un look-back perfetto. Immaginate di poter vedere il futuro e poi scrivere esattamente ciò che è accaduto, tenendo conto di tutto il rumore e degli errori nella raccolta dei dati. Questo rappresenta il meglio assoluto che chiunque possa fare. Il secondo punto di riferimento è un "baseline", un semplice indovinare che un computer potrebbe fare senza alcuna modellazione complessa. Misurando quanto una vera previsione sia migliore di un semplice indovinare e quanto si avvicini al look-back perfetto, i ricercatori hanno potuto finalmente vedere se il campo stava realmente avanzando.
Il team ha applicato questo nuovo metro di misura a oltre 2,5 milioni di previsioni generate in dieci anni. Hanno esaminato le previsioni per l'influenza simil-influenzale, le ospedalizzazioni e i decessi, nonché obiettivi simili per il COVID-19. Hanno testato queste previsioni contro tre diversi tipi di baseline semplici: una che guardava semplicemente alla storia a lungo termine della malattia, una che assumeva che la settimana successiva sarebbe stata esattamente uguale all'ultima settimana, e una che seguiva il trend recente dei dati. I risultati sono stati chiari per l'influenza stagionale. Lo sforzo collettivo di tutti i team di previsione, noto come ensemble, ha costantemente superato i semplici indovini. Più importante ancora, l'abilità di queste previsioni è migliorata costantemente nel tempo. Una previsione fatta con quattro settimane di anticipo per l'ultima stagione influenzale è stata più accurata di una previsione fatta con un solo mese di anticipo durante il primo anno della sfida. Ciò suggerisce che, man mano che i team hanno avuto più tempo per imparare, più dati da studiare e strumenti migliori da utilizzare, sono diventati realmente più bravi a vedere il futuro dell'influenza.
La storia per il COVID-19 è stata più complicata, riflettendo le sfide uniche di una nuova malattia. Nei primi giorni della pandemia, quando non c'erano quasi dati storici da cui imparare, le previsioni sono state sorprendentemente buone nel prevedere casi e decessi, superando le semplici baseline. Tuttavia, man mano che la pandemia evolveva e le regole del gioco cambiavano — come quando i metodi di test sono cambiati o i sistemi di segnalazione sono stati aggiornati — l'accuratezza delle previsioni è calata. I modelli hanno faticato a tenere il passo con questi cambiamenti improvvisi nel modo in cui i dati venivano raccolti. Mentre le previsioni per le ospedalizzazioni hanno mostrato segni di miglioramento, le previsioni per i casi e i decessi giornalieri non hanno mostrato lo stesso chiaro trend ascendente. Questo evidenzia una lezione chiave: la previsione funziona meglio quando i pattern della malattia sono stabili e i dati sono coerenti. Quando il terreno si sposta sotto i modelli, anche gli algoritmi più intelligenti faticano a trovare la propria posizione.
I ricercatori hanno scoperto che le previsioni di maggior successo non erano solo il risultato di una migliore matematica o di computer più veloci, ma di migliori dati e di una collaborazione sostenuta. Le previsioni dell'influenza hanno beneficiato di decenni di segnalazioni coerenti, permettendo ai modelli di imparare il ritmo delle stagioni. Al contrario, le difficoltà con le previsioni dei casi di COVID-19 erano spesso legate ai cambiamenti nel modo in cui i casi venivano contati, introducendo una confusione che nessun modello poteva facilmente sciogliere. Lo studio ha anche rivelato che, sebbene le migliori previsioni collettive fossero molto forti, molti team individuali hanno ancora faticato a battere le più semplici baseline. Ciò suggerisce che, mentre il campo nel suo insieme sta avanzando, esiste ancora un ampio divario tra i migliori modelli e quelli medi. Il nuovo quadro del punteggio di abilità fornisce un modo per vedere chiaramente questo progresso, separando la difficoltà del compito dalla qualità della previsione. Dimostra che la previsione delle malattie infettive è una scienza in maturazione, che sta imparando a navigare nella realtà disordinata delle malattie umane, ma ci ricorda anche che alcuni dei momenti più imprevedibili della sanità pubblica rimangono appena fuori portata.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.