Whose Truth Is Ground Truth?: Consequences of Label Choice on Machine Learning Models Predicting Depression
Deze studie toont aan dat de keuze van depressie-labels in elektronische patiëntendossiers—of deze nu door de zorgverlener zijn gecodeerd, door de patiënt zijn gerapporteerd, of concordant zijn—de prestaties en de feature-belangrijkheid van machine learning-modellen significant verandert, waarbij wordt onthuld dat door zorgverleners afgeleide labels onbedoeld demografische vooroordelen kunnen versterken ondanks het behalen van licht hogere AUC-scores.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren hoe hij een specifiek type vogel moet herkennen. Je laat de robot duizenden foto's zien, maar er is een addertje onder het gras: soms zijn de foto's gelabeld door een expert in vogelkijken, en soms door de persoon die de vogel daadwerkelijk in het wild heeft gezien. De expert kan een vogel missen omdat deze zich verbergt, of een soort die er erg op lijkt verkeerd identificeren. De persoon in het wild kan enthousiast zijn en denken dat hij een zeldzame vogel heeft gezien, terwijl het gewoon een veelvoorkomende soort was. Als je de robot alleen leert met behulp van de labels van de expert, leert hij te zien wat de expert ziet, en niet noodzakelijkerwijs wat er daadwerkelijk is. Dit is de kern van een groeiend vakgebied genaamd Machine Learning, waarbij computers leren patronen te vinden in enorme hoeveelheden data om voorspellingen te doen. In de gezondheidszorg proberen wetenschappers deze "robotartsen" te bouwen om mentale problemen zoals depressie te signaleren voordat ze verergeren. Maar hier komt het lastige deel bij: in tegenstelling tot een gebroken bot dat duidelijk zichtbaar is op een röntgenfoto, is depressie onzichtbaar. Het hangt af van hoe een patiënt zich voelt en hoe een arts die gevoelens interpreteert. Dit artikel stelt een grote, belangrijke vraag: als we onze robotartsen trainen met de aantekeningen van de arts als de "waarheid", leert de computer dan hetzelfde als wanneer we de computer zouden trainen met de eigen rapportage van de patiënt over hoe hij zich voelt?
De onderzoekers achter deze studie, Natasha Tonge en Leah Adams van George Mason University, besloten deze vraag aan een test te onderwerpen. Ze bekeken een enorme berg medische dossiers van meer dan 644.000 volwassenen die tussen 2012 en 2019 gemeenschapscentra bezochten. Ze wildend zien of de "ground truth" — het label dat wordt gebruikt om de computer te vertellen wat telt als depressie — veranderde hoe de computer leerde. Ze bouwden drie verschillende versies van een machine learning-model, elk getraind op een andere definitie van depressie:
- Het perspectief van de arts: Het model leerde alleen van gevallen waarin een arts officieel een depressiediagnose in het dossier van de patiënt had genoteerd.
- Het perspectief van de patiënt: Het model leerde alleen van patiënten die ernstige symptomen rapporteerden via een vragenlijst (de PHQ-9), zelfs als de arts geen diagnose had genoteerd.
- Het overeenstemmingsperspectief: Het model leerde alleen van gevallen waarin zowel de patiënt ernstige symptomen rapporteerde als de arts een diagnose had genoteerd.
Ze gebruikten een type computeralgoritme genaast een "boom" (denk aan een stroomdiagram dat ja-of-nee-vragen stelt om een beslissing te nemen) om te voorspellen wie een depressie had. Ze voerden de computer gegevens zoals leeftijd, ras, geslacht, bloeddruk en of de patiënt angst of andere gezondheidsproblemen had.
Hier is wat ze vonden, en het is een beetje verrassend. Ten eerste waren de computermodellen niet perfect in het opsporen van depressie, ongeacht welk label ze gebruikten. Hun nauwkeurigheid, gemeten met een score genaamd AUC, schommelde tussen 0,62 en 0,64. Om dat in perspectief te plaatsen: een perfecte score is 1,0 en een willekeurige gok is 0,5. Dus de modellen waren beter dan gokken, maar ze misten nog steeds veel gevallen. Het model dat getraind was op de labels van de arts was het beste in het vinden van de gevallen die de artsen al hadden geïdentificeerd (met een sensitiviteit van 0,33), maar het miste nog steeds ongeveer twee derde van hen.
De meest interessante ontdekking ging niet over hoe goed de modellen werkten, maar over wat ze belangrijk vonden. Het "brein" van de computer veranderde van mening afhankelijk van naar wie hij luisterde.
- Wanneer het model luisterde naar de labels van de arts, besloot het dat zaken als wit zijn, vrouw zijn en ongehuwd zijn de grootste aanwijzingen waren dat iemand een depressie had.
- Wanneer het model luisterde naar de ernstige symptomen van de patiënt, werden die demografische aanwijzingen minder belangrijk. In plaats daarvan richtte het model zich zwaar op of de patiënt angst had, hun leeftijd en hun bloeddruk.
- Het enige dat in alle drie de modellen belangrijk bleef, was angst. Als een patiënt angst had, was de computer eerder geneigd hen voor depressie te markeren, ongeacht wiens label het ook gebruikte.
De auteurs suggereren dat deze verschuiving een waarschuwingssignaal is. Als we AI-instrumenten bouwen die alleen leren van wat artsen opschrijven, kan de AI gaan denken dat depressie vooral over een bepaalde race of geslacht gaat, simpelweg omdat datgene is wat artsen in het verleden de neiging hadden te diagnosticeren. Het kan de patiënten missen die lijden maar nog niet zijn gediagnosticeerd. De studie suggereert dat voor deze AI-instrumenten om eerlijk en betrouwbaar te zijn, ze de eigen stem van de patiënt moeten bevatten, en niet alleen de aantekeningen van de arts. Als we dat niet doen, riskeren we het bouwen van een digitaal systeem dat dezelfde blinde vlekken en vooroordelen herhaalt die in de echte wereld bestaan, waardoor mogelijk de mensen worden gemist die de meeste hulp nodig hebben. De onderzoekers hebben niet bewezen dat één methode perfect is, maar ze hebben duidelijk aangetoond dat de keuze van wie de "waarheid" definieert, de volledige begrip van de robot over het probleem verandert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.