Exact and near-duplicate symptom profiles inflate the reported performance of machine learning classifiers for diabetes: a leakage- aware re-evaluation of the UCI Early-Stage Diabetes dataset

Nel mondo della tecnologia medica, l'apprendimento automatico ha promesso un futuro in cui i computer possano individuare malattie come il diabete semplicemente leggendo un elenco di sintomi. L'idea è potente: un paziente descrive le proprie sensazioni — sete, stanchezza, vista annebbiata — e un algoritmo calcola istantaneamente il proprio rischio, potenzialmente intercettando la malattia prima che causi danni irreversibili. Per costruire questi medici digitali, gli scienziati si affidano a enormi collezioni di dati, dove migliaia di precedenti cartelle cliniche dei pazienti vengono utilizzate per insegnare al computer l'aspetto di una persona malata rispetto a una sana. Lo standard per testare questi sistemi è un metodo chiamato validazione incrociata. Immaginate un insegnante che dà a uno studente un esame di prova, poi una versione leggermente diversa dello stesso esame, per vedere se lo studente ha davvero compreso la materia o se ha solo memorizzato le risposte. Nella comunità scientifica, questo processo dovrebbe rivelare quanto bene un modello si comporterà su nuovi pazienti mai visti prima.

Tuttavia, una recente ri-esaminazione di uno dei dataset più famosi utilizzati a questo scopo ha scoperto un difetto silenzioso nel modo in cui questi test sono stati condotti. Il dataset in questione, raccolto da un ospedale in Bangladesh, contiene i record dei sintomi delle persone e se avessero il diabete. Per anni, i ricercatori hanno usato questi dati per addestrare modelli informatici, riportando tassi di successo che sembravano quasi troppo belli per essere veri, spesso dichiarando livelli di accuratezza compresi tra il 97 e il 99 percento. Questi numeri suggerivano che i modelli fossero quasi perfetti. Ma un team di ricercatori dal Perù ha ora dimostrato che questi punteggi elevati non erano segno di genialità, ma il risultato di un semplice errore nel processo di test. Hanno scoperto che i dati contenevano molte copie identiche del profilo di un paziente e che il modo in cui i test venivano eseguiti permetteva al computer di ottenere le risposte prima ancora che il test iniziasse.

I ricercatori, guidati da William Marin-Rodriguez e dai suoi colleghi, hanno esaminato con attenzione il dataset UCI Early-Stage Diabetes. Questa collezione contiene 520 record, ognuno dei quali descrive l'età di una persona e quindici diversi sintomi, come la minzione frequente o la perdita di peso improvvisa. Quando hanno contato le combinazioni uniche di questi sintomi, hanno trovato qualcosa di sorprendente: tra i 520 record, c'erano solo 251 profili realmente unici. Ciò significa che 269 dei record erano duplicati esatti di altri, e molti altri condividevano gli stessi sintomi differendo solo per l'età. Negli studi originali, quando i dati venivano suddivisi in gruppi di addestramento e di test, questi duplicati identici venivano spesso sparsi casualmente. Un record poteva finire nel gruppo di addestramento, insegnando la risposta al computer, mentre il suo gemello esatto finiva nel gruppo di test. Quando il computer veniva testato su quel gemello, non aveva bisogno di indovinare o diagnosticare; semplicemente riconosceva il pattern che aveva già memorizzato.

Per vedere quanto ciò avesse gonfiato i risultati, il team ha eseguito nuovamente gli stessi modelli informatici, ma questa volta ha cambiato le regole del gioco. Invece di suddividere i dati casualmente, hanno mantenuto tutti i record con lo stesso profilo di sintomi nello stesso gruppo. Ciò ha garantito che se un determinato set di sintomi appariva nei dati di addestramento, quel set esatto non potesse mai apparire nei dati di test. Il computer era costretto a imparare i pattern della malattia piuttosto che limitarsi a memorizzare liste specifiche di pazienti. La differenza nei risultati è stata drammatica. Sotto il vecchio metodo casuale, i modelli raggiungevano punteggi di accuratezza tra il 97 e il 98 percento, eguagliando i lodi riportati dagli anni precedenti. Ma quando i ricercatori hanno imposto le regole più rigorose e prive di "leakage" (perdita di dati), quei numeri di accuratezza sono scesi in un intervallo tra il 90 e il 93 percento. Sebbene ancora impressionanti, questo calo ha rivelato che le precedenti affermazioni di prestazioni quasi perfette erano in gran parte un'illusione creata dalla struttura dei dati.

Lo studio è andato oltre per misurare non solo se i modelli fossero giusti o sbagliati, ma anche quanto fossero sicuri nelle loro previsioni. Hanno osservato una metrica specifica chiamata coefficiente di correlazione di Matthews, che offre un quadro più onesto delle prestazioni quando il numero di persone malate e sane è sbilanciato. Sotto il metodo di test casuale, questo punteggio era artificialmente alto, sovrastimato di ben 0,16 punti per alcuni modelli. Quando i duplicati sono stati rimossi dal set di test, i punteggi sono scesi significativamente. Più importante ancora, la classifica dei modelli è cambiata. Il modello che era stato incoronato come il migliore sotto le vecchie regole, un sistema complesso chiamato "stacking ensemble", è sceso dal primo al ottavo posto sotto le nuove regole. Il modello che ha ottenuto le prestazioni migliori quando testato equamente è stato un altro tipo di algoritmo basato su alberi noto come "Extra Trees". Questo spostamento ha dimostrato che la scelta del "miglior" modello non era un fatto solido, ma il risultato del difettoso metodo di test.

I ricercatori hanno anche investigato cosa accade quando si tiene conto dei "quasi-duplicati". Nel dataset, molte persone condividevano gli stessi identici sintomi ma avevano età diverse. Il team ha testato uno scenario in cui anche questi profili quasi identici venivano mantenuti insieme, impedendo al computer di imparare dai sintomi di un quarantenne per predire il rischio per un quarantacinquenne con gli stessi sintomi. Questo test più rigoroso ha abbassato ulteriormente le prestazioni di ogni singolo modello. Interessante è che un modello molto semplice, che funziona trovando il caso passato più simile, ha ottenuto prestazioni quasi pari a quelle dei modelli complessi sotto il primo test rigoroso, ma le sue prestazioni sono crollate quando i quasi-duplicati sono stati rimossi. Ciò ha suggerito che anche il modello semplice si stava affidando alla ricerca di copie di se stesso nei dati di addestramento piuttosto che comprendere veramente la malattia.

Le implicazioni di questo lavoro si estendono oltre un singolo dataset. I ricercatori sostengono che gli alti numeri di accuratezza riportati in passato per la previsione del diabete siano stati probabilmente gonfiati dallo stesso problema dei record duplicati. Hanno scoperto che la differenza tra i vecchi e i nuovi risultati era abbastanza grande da inghiottire i piccoli miglioramenti che i nuovi studi spesso dichiarano di aver scoperto. Se un nuovo algoritmo dichiara di essere uno o due percento migliore degli altri, quel miglioramento potrebbe essere solo rumore causato dal modo in cui i dati sono stati suddivisi, piuttosto che un vero progresso. Il team ha anche notato che molti dei modelli erano scarsamente calibrati, il che significa che, sebbene potessero essere spesso corretti, i loro punteggi di probabilità non riflettevano la reale probabilità della malattia. Ad esempio, alcuni modelli erano eccessivamente sicuri, mentre altri erano troppo esitanti, il che potrebbe essere pericoloso se un medico si affidasse a quei numeri per prendere una decisione.

Questa ri-valutazione non significa che l'apprendimento automatico non possa aiutare a diagnosticare il diabete, né suggerisce che i modelli siano inutili. Significa semplicemente che i parametri utilizzati per giudicarli sono stati difettosi. I ricercatori sottolineano che le loro conclusioni sono stime interne basate su un dataset specifico e non provano che questi modelli funzionino nelle cliniche del mondo reale. Evidenziano che i dati provengono da un singolo ospedale e mancano di dettagli su come sia stato confermato il diabete, quindi i risultati non possono essere applicati direttamente allo screening generale senza ulteriori test. Tuttavia, lo studio offre una via chiara per procedere. Raccomandano che gli studi futuri debbano controllare la presenza di record duplicati e raggrupparli durante i test, riportare quanto i loro risultati siano incerti ed evitare di dichiarare un singolo "miglior" modello a meno che la differenza non sia statisticamente significativa. Pulendo il processo di test, la comunità scientifica può garantire che i medici digitali del futuro siano giudicati sulla loro vera capacità di apprendere, piuttosto che sulla loro capacità di ottenere le risposte.