Avoiding Data Leakage in Machine Learning Models for Diabetes and Hypertension Classification Using Routine Occupational Health Screening Data
Questo studio dimostra che l'inclusione di predittori che definiscono l'esito, come la glicemia a digiuno e la pressione arteriosa, nei modelli di machine learning per la classificazione di diabete e ipertensione causa un grave data leakage e una performance artificialmente gonfiata, mentre i modelli che escludono tali variabili utilizzando dati di screening occupazionale di routine ottengono un'accuratezza moderata ma clinicamente realistica, evidenziando al contempo il valore predittivo di fattori quali l'età, l'indice di massa corporea e il disagio psicologico.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo della medicina moderna, ai computer viene chiesto sempre più spesso di analizzare i dati di un paziente per prevedere se svilupperà una malattia grave come il diabete o l'ipertensione. Questo campo, noto come apprendimento automatico (machine learning), funziona fornendo al computer migliaia di esempi di persone malate e persone sane, insieme a un lungo elenco di misurazioni come età, peso e risultati degli esami del sangue. Il computer cerca poi di trovare schemi nascosti che collegano queste misurazioni alla malattia. Se il computer impara bene, i medici sperano di poter individuare precocemente le persone a rischio, magari durante un controllo di routine sul lavoro, permettendo la prevenzione prima che una malattia si instauri. Tuttavia, esiste una trappola pericolosa in questo processo chiamata "data leakage" (perdita di dati). Accade quando al computer viene accidentalmente fornito il foglio delle risposte mentre sta ancora cercando di imparare. Se il computer vede un livello di zucchero nel sangue già elevato e poi gli viene chiesto di prevedere se la persona ha il diabete, non sta realmente prevedendo nulla; sta semplicemente leggendo la definizione della malattia. Ciò crea un falso senso di fiducia, facendo sembrare il computer un genio quando in realtà sta solo usando dati non validi.
Un team di ricercatori in Iran ha intrapreso il percorso per costruire un sistema in grado di identificare diabete e ipertensione tra i dipendenti universitari utilizzando i dati raccolti durante i loro screening sanitari annuali. Volevano vedere se questi registri di routine, che includono cose come misurazioni corporee, esami del sangue e persino domande su stress e umore, potessero aiutare a individuare le persone a rischio. Ma il loro obiettivo più importante non era solo costruire un modello, ma dimostrare quanto facilmente i ricercatori possano ingannare se stessi pensando che i loro modelli siano perfetti. Hanno preso un grande gruppo di record dei dipendenti e li hanno divisi in due gruppi per testare le loro idee. Per prima cosa, hanno costruito un modello che includeva ogni singola informazione disponibile, compresi proprio quei valori di zucchero nel sangue e di pressione sanguigna che i medici usano per diagnosticare le malattie. Naturalmente, questo modello ha performato quasi perfettamente, identificando correttamente quasi ogni caso. Sembrava una svolta.
Poi, i ricercatori hanno fatto qualcosa di critico. Hanno costruito un secondo modello che aveva il divieto assoluto di guardare quei numeri specifici di zucchero nel sangue e di pressione sanguigna. Hanno costretto il computer a fare affidamento solo sugli altri indizi, come età, dimensioni corporee e livelli di stress psicologico, per fare la sua ipotesi. Questo secondo modello rappresentava ciò che accadrebbe nel mondo reale, dove un medico potrebbe voler prevedere il rischio prima di eseguire il test diagnostico finale. Quando hanno confrontato i due, la differenza era netta. Il primo modello, che aveva il foglio delle risposte, sosteneva di avere ragione circa il 96 percento delle volte. Il secondo modello, che doveva compiere il duro lavoro della vera previsione, è sceso ad avere ragione circa il 78 percento delle volte. Questo divario di quasi venti punti percentuali non era un piccolo errore; era un'inflazione massiccia causata interamente dal fatto che il computer sbirciava la risposta. Lo studio ha dimostrato che molte precedenti affermazioni di alta accuratezza nella previsione medica potrebbero essere basate sulla stessa base fragile, dove il computer stava semplicemente leggendo la definizione della malattia invece di imparare a riconoscerla.
Oltre a esporre questo difetto metodologico, i ricercatori hanno scoperto che il modello senza il foglio delle risposte manteneva comunque del valore. Anche senza le letture dirette di pressione sanguigna o zucchero, il computer poteva comunque distinguere tra dipendenti sani e a rischio con un grado moderato di accuratezza. Ancora più sorprendente, il computer ha imparato che i fattori psicologici erano indizi potenti. Le variabili che misuravano il disagio psicologico generale, la depressione e l'ansia si sono classificate tra i principali predittori per entrambe le condizioni, apparendo tanto importanti quanto misure fisiche come la circonferenza della vita o l'indice di massa corporea. Ciò suggerisce che la mente e il corpo sono profondamente legati in queste malattie, e che lo stato mentale di un lavoratore potrebbe essere un segnale di allerta precoce vitale per problemi di salute fisica.
I ricercatori sono stati attenti a sottolineare che i loro risultati sono un punto di partenza, non una soluzione definitiva. Lo studio è stato condotto su un gruppo relativamente piccolo di dipendenti di un'unica università, e i modelli non sono ancora stati testati su diversi gruppi di persone in altri luoghi. La performance del modello realistico, pur essendo utile per classificare le persone in gruppi di rischio, non è abbastanza alta da sostituire la diagnosi di un medico. Il vero valore di questo lavoro risiede nel suo avvertimento alla comunità scientifica: se volete sapere se uno strumento di previsione funziona davvero, dovete testarlo senza lasciargli vedere proprio i numeri che definiscono la malattia. Mostrando esattamente quanto cali la performance quando questa regola viene seguita, lo studio fornisce un quadro chiaro e onesto per la ricerca futura. Ci ricorda che nella corsa all'uso dell'intelligenza artificiale per la salute, il passo più importante è assicurarsi che il computer stia imparando la verità, non che stia solo memorizzando il test.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.