Whose Truth Is Ground Truth?: Consequences of Label Choice on Machine Learning Models Predicting Depression
Questo studio dimostra che la scelta delle etichette di depressione nelle cartelle cliniche elettroniche — che siano codificate dal medico, riferite dal paziente o concordanti — altera significativamente le prestazioni dei modelli di apprendimento automatico e l'importanza delle caratteristiche, rivelando che le etichette derivate dai medici possono involontariamente amplificare i pregiudizi demografici nonostante producano punteggi AUC leggermente più elevati.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di insegnare a un robot come riconoscere un tipo specifico di uccello. Gli mostri migliaia di foto, ma c'è un intoppo: a volte le foto sono etichettate da un esperto ornitologo, e a volte dalla persona che ha effettivamente avvistato l'uccello in natura. L'esperto potrebbe non vedere un uccello perché si stava nascondendo, o potrebbe identificare erroneamente una specie simile. La persona sul campo potrebbe essere entusiasta e pensare di aver visto un uccello raro quando si trattava solo di uno comune. Se insegni al robot usando solo le etichette dell'esperto, imparerà a vedere ciò che vede l'esperto, non necessariamente ciò che è realmente presente. Questo è il cuore di un campo in crescita chiamato Machine Learning, dove i computer imparano a trovare schemi in enormi quantità di dati per fare previsioni. In ambito sanitario, gli scienziati stanno cercando di costruire questi "robot medici" per individuare problemi di salute mentale come la depressione prima che peggiorino. Ma ecco la parte complicata: a differenza di un osso rotto che appare chiaramente in una radiografia, la depressione è invisibile. Dipende da come un paziente si sente e da come un medico interpreta quei sentimenti. Questo articolo pone una domanda grande e importante: se insegniamo ai nostri robot medici usando gli appunti del medico come "verità", impareranno la stessa cosa rispetto a se usassimo la propria segnalazione del paziente su come si sente?
I ricercatori dietro questo studio, Natasha Tonge e Leah Adams della George Mason University, hanno deciso di mettere alla prova questa domanda. Hanno esaminato una massa enorme di cartelle cliniche di oltre 644.000 adulti che hanno visitato centri sanitari comunitari tra il 2012 e il 2019. Volevano vedere se la "verità di base" (ground truth) — ovvero l'etichetta utilizzata per dire al computer cosa conta come depressione — cambiava il modo in cui il computer apprendeva. Hanno costruito tre diverse versioni di un modello di machine learning, ciascuna addestrata su una diversa definizione di depressione:
- Il punto di vista del medico: Il modello ha imparato solo dai casi in cui un medico aveva ufficialmente annotato una diagnosi di depressione nella cartella del paziente.
- Il punto di vista del paziente: Il modello ha imparato solo dai pazienti che hanno riferito sintomi gravi in un questionario (il PHQ-9), anche se il medico non aveva scritto una diagnosi.
- Il punto di vista dell'accordo: Il modello ha imparato solo dai casi in cui sia il paziente avesse riportato sintomi gravi, sia il medico avesse scritto una diagnosi.
Hanno utilizzato un tipo di algoritmo informatico chiamato "albero" (pensa a un diagramma di flusso che pone domande sì-o-no per prendere una decisione) per prevedere chi avesse la depressione. Hanno inserito nel computer dati come età, razza, genere, pressione sanguigna e se il paziente avesse ansia o altri problemi di salute.
Ecco cosa hanno scoperto, ed è un po' sorprendente. In primo luogo, i modelli informatici non erano perfetti nel individuare la depressione, indipendentemente dall'etichetta utilizzata. La loro accuratezza, misurata con un punteggio chiamato AUC, oscillava tra 0,62 e 0,64. Per dare un contesto, un punteggio perfetto è 1,0, mentre un tentativo casuale è 0,5. Quindi, i modelli erano migliori di un semplice indovinare, ma mancavano ancora molti casi. Il modello addestrato sulle etichette dei medici era il migliore nel trovare i casi che i medici avevano già identificato (con una sensibilità di 0,33), ma ne mancava comunque circa due terzi.
La scoperta più interessante non riguardava quanto bene funzionassero i modelli, ma cosa pensassero fosse importante. Il "cervello" del computer cambiava idea a seconda di chi stava ascoltando.
- Quando il modello ascoltava le etichette dei medici, decideva che fattori come essere bianchi, essere donne ed essere non sposati erano gli indizi più grandi che qualcuno avesse la depressione.
- Quando il modello ascoltava i sintomi gravi del paziente, quegli indizi demografici diventavano meno importanti. Invece, il modello si concentrava pesantemente sull'ansia del paziente, l'età e la pressione sanguigna.
- L'unica cosa che rimaneva importante in tutti e tre i modelli era l'ansia. Se un paziente aveva l'ansia, il computer era più propenso a segnalarlo per la depressione, indipendentemente da quale etichetta stesse usando.
Gli autori suggeriscono che questo spostamento sia un segnale di avvertimento. Se costruiamo strumenti di IA che imparano solo da ciò che i medici scrivono, l'IA potrebbe iniziare a pensare che la depressione riguardi principalmente una certa razza o un certo genere, semplicemente perché è ciò che i medici in passato hanno tendenzialmente diagnosticato. Potrebbe mancare i pazienti che soffrono ma che non sono ancora stati diagnosticati. Lo studio suggerisce che, affinché questi strumenti di IA siano equi e affidabili, devono includere la voce del paziente stesso, non solo gli appunti del medico. Se non lo facciamo, rischiamo di costruire un sistema digitale che ripete gli stessi punti ciechi e pregiudizi che esistono nel mondo reale, potenzialmente trascurando le persone che hanno più bisogno di aiuto. I ricercatori non hanno dimostrato che un metodo sia perfetto, ma hanno mostrato chiaramente che la scelta di chi definisce la "verità" cambia l'intera comprensione del problema da parte del robot.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.