The declared winner of a clinical prediction model comparison is often decided by the random split: a simulation study
Questo studio di simulazione dimostra che, in presenza delle piccole dimensioni dell'effetto tipiche dei confronti tra modelli di predizione clinica, il "vincitore" dichiarato è frequentemente determinato dalla suddivisione casuale dei dati piuttosto che dalla reale superiorità del modello, portando a margini di performance gonfiati e a un significativo disaccordo tra gli analisti che utilizzano gli stessi dati.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo della ricerca medica, gli scienziati costruiscono costantemente nuovi strumenti per prevedere chi si ammalerà e chi rimarrà in salute. Questi strumenti, noti come modelli di predizione clinica, sono come sofisticate previsioni meteorologiche per il corpo umano, utilizzando i dati dei pazienti per indovinare la probabilità di un evento futuro. Per decidere quale strumento sia il migliore, i ricercatori solitamente li mettono l'uno contro l'altro su un insieme di dati di test. Calcolano un punteggio che misura quanto spesso lo strumento indovina la predizione, e quello con il punteggio più alto viene dichiarato vincitore. Questo processo è il modo standard con cui il campo progredisce, con nuovi studi che annunciano frequentemente che un nuovo algoritmo di machine learning ha battuto un metodo più vecchio e semplice. Tuttavia, le differenze tra questi strumenti sono spesso incredibilmente piccole, talvolta solo una minuscola frazione di un punto percentuale. Quando il divario tra due modelli è così stretto, sorge la domanda: il vincitore dichiarato è davvero migliore, o è stato solo fortunato con il gruppo specifico di pazienti su cui è stato testato?
Uno studio di simulazione recente condotto da Ananya Sharma esplora proprio questa incertezza. La ricerca non coinvolge pazienti reali o nuovi dati medici; utilizza invece un computer per generare migliaia di scenari fittizi in cui vengono confrontati due modelli di predizione. L'obiettivo era vedere quanto spesso il modello che vince la competizione sia realmente quello superiore, e quanto spesso il risultato sia semplicemente un colpo di fortuna causato dal modo casuale in cui i dati sono stati divisi. In queste simulazioni, i ricercatori hanno creato due modelli quasi identici nella loro reale capacità di predire gli esiti. Hanno poi eseguito migliaia di confronti, cambiando la dimensione dei gruppi di test e la specifica divisione casuale dei dati, per vedere quanto spesso il "vincitore" cambiasse o quanto il vantaggio riportato fosse esagerato.
I risultati rivelano un livello di instabilità allarmante nel modo in cui questi confronti vengono attualmente condotti. Quando la vera differenza tra due modelli è molto piccola, che è il caso tipico negli studi medici reali, il vincitore dichiarato è spesso solo un prodotto del caso. In uno scenario in cui i modelli erano quasi identici per abilità, due diversi ricercatori che analizzavano esattamente gli stessi dati ma utilizzando diverse divisioni casuali avrebbero annunciato vincitori diversi quasi la metà delle volte. Anche quando un modello era genuinamente leggermente migliore, un gruppo di test piccolo significava che il modello "migliore" veniva identificato correttamente solo circa due terzi delle volte. Ciò significa che in un numero significativo di studi pubblicati, la conclusione che uno strumento sia superiore a un altro potrebbe essere errata, semplicemente perché i pazienti specifici scelti per il set di test hanno favorito un modello rispetto all'altro per pura fortuna casuale.
Un'altra scoperta importante riguarda la dimensione del margine di vittoria. Quando un modello vince, lo studio ha rilevato che la differenza di prestazione riportata è quasi sempre gonfiata, facendo apparire il divario molto più grande di quanto sia realmente. Ad esempio, se la vera differenza tra due modelli era minuscola, il modello vincitore riportava spesso una differenza superiore al doppio del valore reale. Questo accade perché il processo di selezione del vincitore seleziona naturalmente il modello che ha ottenuto il rumore casuale più favorevole in quel test specifico. È simile al lancio di una moneta: se la lanci dieci volte e ottieni sei teste, potresti affermare che la moneta è truccata, ma il risultato è solo una fluttuazione casuale. Nel contesto di questi modelli medici, la "maledizione del vincitore" significa che il successo riportato è un mix di reale abilità e una grande dose di fortuna statistica, portando i ricercatori a credere di aver trovato una svolta quando hanno principalmente trovato un picco casuale.
Lo studio ha anche esaminato se il problema risieda nel modo in cui i modelli vengono costruiti o nel modo in cui i dati vengono testati. Mantenendo i modelli fissi e cambiando solo il gruppo di test, e poi ri-addestrando i modelli a ogni nuova divisione, i ricercatori hanno scoperto che l'instabilità deriva quasi interamente dal gruppo di test stesso. Ciò suggerisce che rendere i modelli più complici o stabili non risolverà il problema; il problema è che i gruppi di test utilizzati in molti studi sono semplicemente troppo piccoli per distinguere in modo affidabile tra modelli che hanno prestazioni molto vicine. Quando il gruppo di test è piccolo, il rumore casuale nei dati annebbia il debole segnale della differenza reale.
In definitiva, questa ricerca suggerisce che l'abitudine attuale di dichiarare un singolo vincitore basandosi su un unico test è spesso fuorviante. Lo studio raccomanda ai ricercatori di smettere di trattare un singolo confronto come un verdetto finale. Inveve, dovrebbero riportare l'intervallo di incertezza attorno alla differenza e, cosa fondamentale, ripetere il test molte volte con diverse divisioni casuali per vedere quanto spesso ogni modello vince. Se un modello vince solo leggermente più della metà delle volte attraverso molti tentativi, la conclusione onesta è che i due modelli siano effettivamente indistinguibili con gli attuali dati. Finché i gruppi di test non saranno abbastanza grandi da superare questa casualità, o finché gli studi non adotteranno questi metodi di reporting più rigorosi, i "vincitori" delle competizioni di predizione clinica potrebbero essere meno un riflesso della verità medica e più un riflesso del lancio dei dadi.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.