When does validation design change the answer? A simulation study and two empirical applications in clustered longitudinal health data
Questo studio dimostra che, sebbene la correlazione intra-cluster sia necessaria per la fuga di validazione a livello di riga, la dimensione del cluster agisce come il vincolo determinante nei dati reali, suggerendo che i ricercatori dovrebbero dare priorità alla validazione temporale e utilizzare diagnostiche pre-modellazione per determinare quando siano realmente necessari disegni di validazione più rigorosi.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo della predizione medica, gli scienziati costruiscono modelli informatici per ipotizzare cosa potrebbe accadere in seguito: se un paziente tornerà in ospedale o se si diffonderà un nuovo focolaio di malattie. Per sapere se queste ipotesi siano valide, i ricercatori devono testarle. Il modo standard per farlo è dividere un insieme di dati in due parti: una per istruire il modello e una per testarlo. Ma i dati sanitari del mondo reale sono disordinati. Sono spesso raggruppati (clustered), il che significa che molti record provengono dalla stessa fonte, come più visite dello stesso paziente o diversi rapporti sullo stesso evento di malattia. Se un modello vede lo stesso paziente sia nel gruppo di istruzione che in quello di test, può andare in overfitting. Non impara la malattia; semplicemente memorizza il paziente. Questo dà un falso senso di fiducia, facendo apparire il modello brillante quando in realtà è solo bravo a riconoscere facce familiari. Per anni, la regola empirica è stata quella di mantenere sempre questi gruppi separati durante il test, a prescindere da tutto.
Un nuovo studio mette in discussione questa rigida regola. Ricercatori del Ministero della Difesa Nazionale della Corea del Sud e dell'Università Nazionale di Seoul si sono posti una domanda semplice ma cruciale: questa regola di separazione conta davvero per ogni singolo dataset, o stiamo sprecando energie in alcuni casi? Volevano sapere esattamente quando la scelta di come dividere i dati cambia il risultato finale, e di quanto. Hanno esaminato due situazioni del mondo reale molto diverse: un enorme archivio di rapporti globali su focolai di malattie e una vasta collezione di registri ospedalieri per pazienti diabetici. Eseguendo simulazioni controllate e applicando poi i loro test a questi archivi reali, hanno scoperto che la vecchia regola non è sempre necessaria. Infatti, per i due dataset esaminati, la stretta separazione non ha fatto quasi nessuna differenza al punteggio finale. Il vero pericolo, hanno scoperto, non era il raggruppamento in sé, ma il passare del tempo.
Il team ha iniziato creando migliaia di dataset finti su un computer per comprendere la meccanica del problema. Potevano regolare verso l'alto o verso il basso tre ingredienti specifici: quanto le caratteristiche all'interno di un gruppo si somigliassero, quanto l'esito fosse lo stesso per tutti in un gruppo e quanto le regole del gioco cambiassero nel tempo. Hanno scoperto che quando i dati erano statici e i gruppi erano piccoli, l'overfitting era minimo. Ma quando i gruppi erano grandi e l'esito era identico per tutti i membri del gruppo, l'overfitting diventava grave, gonfiando il punteggio del modello di oltre venti punti. Tuttavia, hanno anche scoperto un quarto fattore, spesso trascurato: la dimensione del gruppo. Anche se i dati all'interno di un gruppo fossero stati perfettamente identici, se il gruppo avesse avuto solo uno o due inserimenti, non ci sarebbe stato nulla con cui il modello potesse andare in overfitting.
Armati di questa comprensione, i ricercatori si sono rivolti al loro primo test del mondo reale: un archivio di ventiquattro anni di rapporti di epidemie della World Health Organization. In questo dataset, un singolo rapporto può generare più righe di dati per diversi paesi. I ricercatori stavano testando un modello per predire se un rapporto menzionasse una specifica categoria di agenti biologici pericolosi. I dati qui erano teoricamente perfetti per l'overfitting: l'esito era identico per ogni riga di un rapporto e le caratteristiche erano altamente correlate. Secondo tutte le vecchie regole, questo avrebbe dovuto essere un disastro per un test standard. Eppure, quando hanno analizzato i numeri, la differenza tra un test standard e uno rigoroso era minima, meno dell'uno per cento. Il motivo era semplice: la maggior parte dei rapporti nell'archivio era composta da singole voci. Non c'erano righe ripetute per far trapelare informazioni. Il modello non aveva possibilità di memorizzare il gruppo perché i gruppi erano quasi sempre isolati.
Hanno poi testato un secondo dataset, questa volta osservando le riammissioni ospedaliere per pazienti diabetici. In questo caso, i gruppi naturali erano i singoli pazienti, molti dei quali erano stati ricoverati più volte. In questo scenario, le caratteristiche erano in parte simili per lo stesso paziente, ma l'esito non lo era. Il fatto che un paziente venisse riammesso un mese dopo non prediceva fortemente se sarebbe stato riammesso il mese successivo. Questo dataset si trovava all'estremo opposto dello spettro: i gruppi erano ripetuti, ma gli esiti non lo erano. Anche in questo caso, la regola della stretta separazione non ha fatto quasi alcuna differenza al punteggio finale. Il modello non poteva andare in overfitting perché conoscere il paziente non aiutava a indovinare l'esito.
La scoperta più sorprendente è emersa quando i ricercatori hanno osservato il tempo. Nell'archivio dei focolai di malattie, hanno confrontato le prestazioni del modello sui dati del passato rispetto ai dati del futuro. Mentre la separazione rigorosa dei gruppi cambiava appena il punteggio, separare i dati per tempo cambiava tutto. Un modello che appariva perfetto nei test interni subiva un calo drastico quando testato su dati di un periodo successivo. Il punteggio scendeva da un alto di 0,96 a un basso di 0,62, un divario enorme che rivelava come il modello avesse fallito nell'adattarsi a come la segnalazione delle malattie fosse cambiata nel corso degli anni. I ricercatori hanno scoperto che la deriva temporale era quaranta volte più dannosa per l'affidabilità del modello rispetto al fallimento della separazione dei gruppi.
Lo studio conclude che l'applicazione automatica e cieca della stretta separazione dei gruppi non è sempre la mossa giusta. È uno strumento che dovrebbe essere usato solo quando sono soddisfatte tre condizioni specifiche: i dati devono avere voci ripetute all'interno dei gruppi, le caratteristiche devono trasportare l'identità del gruppo e l'esito deve essere condiviso all'interno di quel gruppo. Se uno di questi elementi manca, l'impegno per separare i gruppi produce pochissimo beneficio. Invece, i ricercatori sostengono che il vero focus debba essere sulla validazione temporale. Quando i dati provengono da un mondo in continuo mutamento, il test più importante è vedere se il modello funziona su dati del futuro, non solo su dati del passato che sono stati semplicemente rimescolati. Controllando la dimensione dei gruppi e la coerenza degli esiti prima di costruire un modello, gli scienziati possono decidere se investire le loro energie nella separazione dei gruppi o nel test del tempo. Nei due casi studiati, la risposta era chiara: il test del tempo era importante, mentre il test del gruppo non lo era.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.