Whose Truth Is Ground Truth?: Consequences of Label Choice on Machine Learning Models Predicting Depression
Diese Studie zeigt, dass die Wahl der Depressionsbezeichnungen in elektronischen Gesundheitsakten – ob durch den Behandler kodiert, vom Patienten selbst berichtet oder konkordant – die Leistung von Modellen des maschinellen Lernens und die Bedeutung der Merkmale signifikant verändert, wobei sie offenlegt, dass von Behandlern abgeleitete Bezeichnungen trotz leicht höherer AUC-Werte unbeabsichtigt demografische Verzerrungen verstärken können.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, eine bestimmte Vogelart zu erkennen. Sie zeigen ihm tausende Fotos, aber es gibt einen Haken: Manchmal sind die Fotos von einem Experten für Vogelkunde beschriftet, und manchmal von der Person, die den Vogel tatsächlich in der Wildnis gesehen hat. Der Experte übersieht vielleicht einen Vogel, weil er sich versteckt hat, oder er identifiziert fälschlicherweise eine ähnlich aussehende Art. Die Person in der Natur ist vielleicht aufgeregt und glaubt, sie habe einen seltenen Vogel gesehen, dabei war es nur ein gewöhnlicher. Wenn Sie den Roboter nur mit den Labels des Experten lehren, lernt er zu sehen, was der Experte sieht, und nicht unbedingt das, was tatsächlich da ist. Dies ist der Kern eines wachsenden Feldes namens Maschinelles Lernen, bei dem Computer lernen, Muster in massiven Mengen von Daten zu finden, um Vorhersagen zu treffen. Im Gesundheitswesen versuchen Wissenschaftler, diese „Roboterärzte“ zu bauen, um psychische Probleme wie Depressionen zu erkennen, bevor sie schlimmer werden. Aber hier ist der knifflige Teil: Im Gegensatz zu einem Knochenbruch, der auf einem Röntgenbild deutlich zu sehen ist, ist Depression unsichtbar. Sie hängt davon ab, wie ein Patient sich fühlt und wie ein Arzt diese Gefühle interpretiert. Diese Arbeit stellt eine große, wichtige Frage: Wenn wir unsere Roboterärzte mit den Notizen des Arztes als „Wahrheit“ lehren, wird der Computer dann dasselbe lernen, als würden wir ihn mit dem eigenen Bericht des Patienten darüber lehren, wie er sich fühlt?
Die Forscher hinter dieser Studie, Natasha Tonge und Leah Adams von der George Mason University, beschlossen, diese Frage auf die Probe zu stellen. Sie untersuchten einen riesigen Stapel medizinischer Unterlagen von über 644.000 Erwachsenen, die zwischen 2012 und 2019 Gemeinschaftsgesundheitszentren besuchten. Sie wollten sehen, ob die „Grundwahrheit“ – das Label, das dem Computer sagt, was als Depression zählt – die Art und Weise veränderte, wie der Computer lernte. Sie bauten drei verschiedene Versionen eines Modells des maschinellen Lernens, von denen jedes auf einer unterschiedlichen Definition von Depression trainiert wurde:
- Die Sicht des Arztes: Das Modell lernte nur aus Fällen, in denen ein Arzt offiziell eine Depressionsdiagnose in der Krankenakte des Patienten dokumentiert hatte.
- Die Sicht des Patienten: Das Modell lernte nur von Patienten, die in einem Fragebogen (PHQ-9) schwere Symptome angaben, selbst wenn der Arzt keine Diagnose aufgeschrieben hatte.
- Die Sicht der Übereinstimmung: Das Modell lernte nur aus Fällen, in denen sowohl der Patient schwere Symptome angab als auch der Arzt eine Depressionsdiagnose dokumentiert hatte.
Sie verwendeten eine Art Computer-Algorithmus, der ein „Baum“ ist (denken Sie an etwas Ähnliches wie ein Flussdiagramm, das Ja-oder-Nein-Fragen stellt, um eine Entscheidung zu treffen), um vorherzusagen, wer an Depressionen litt. Sie fütterten den Computer mit Daten wie Alter, Hautfarbe, Geschlecht, Blutdruck und ob der Patient Angstzustände oder andere gesundheitliche Probleme hatte.
Hier ist, was sie herausfanden, und es ist ein wenig überraschend. Erstens waren die Computermodelle nicht perfekt darin, Depressionen zu erkennen, egal welches Label sie verwendeten. Ihre Genauigkeit, gemessen an einem Score namens AUC, schwankte zwischen 0,62 und 0,64. Um dies einzuordnen: Ein perfekter Wert ist 1,0 und eine zufällige Vermutung liegt bei 0,5. Die Modelle waren also besser als bloßes Raten, aber sie übersahen immer noch viele Fälle. Das Modell, das mit den Labels der Ärzte trainiert wurde, war am besten darin, die Fälle zu finden, die die Ärzte bereits identifiziert hatten (mit einer Sensitivität von 0,33), aber es übersah dennoch etwa zwei Drittel von ihnen.
Die interessanteste Entdeckung betraf nicht die Frage, wie gut die Modelle funktionierten, sondern was sie für wichtig hielten. Das „Gehirn“ des Computers änderte seine Meinung, je nachdem, wem er zuhörte.
- Wenn das Modell den Labels der Ärzte zuhörte, entschied es, dass Dinge wie das Weißsein, das Weiblichsein und das Unverheiratetsein die größten Hinweise darauf waren, dass jemand an Depressionen leidet.
- Wenn das Modell den schweren Symptomen des Patienten zuhörte, wurden diese demografischen Hinweise weniger wichtig. Stattdessen konzentrierte sich das Modell stark darauf, ob der Patient Angstzustände hatte, sowie auf das Alter und den Blutdruck.
- Das Einzige, was in allen drei Modellen wichtig blieb, waren Angstzustände. Wenn ein Patient Angstzustände hatte, war der Computer wahrscheinlicher dazu geneigt, ihn für Depressionen zu markieren, unabhängig davon, welches Label er verwendete.
Die Autoren legen nahe, dass dieser Wandel ein Warnsignal ist. Wenn wir KI-Werkzeuge bauen, die nur von dem lernen, was Ärzte aufschreiben, könnte die KI anfangen zu denken, dass Depressionen hauptsächlich mit einer bestimmten Hautfarbe oder einem bestimmten Geschlecht zusammenhängen, einfach weil Ärzte in der Vergangenheit dazu tendiert haben, dies zu diagnostizieren. Sie könnte die Patienten übersehen, die leiden, aber noch nicht diagnostiziert wurden. Die Studie legt nahe, dass diese KI-Werkzeuge für fair und vertrauenswürdig zu halten sind, müssen sie auch die eigene Stimme des Patienten einbeziehen, nicht nur die Notizen des Arztes. Wenn wir das nicht tun, riskieren wir, ein digitales System zu bauen, das dieselben blinden Flecken und Vorurteile wiederholt, die auch in der realen Welt existieren, und potenziell genau die Menschen zu übersehen, die Hilfe am dringendsten benötigen. Die Forscher haben nicht bewiesen, dass eine Methode perfekt ist, aber sie haben klar gezeigt, dass die Wahl dessen, wer die „Wahrheit“ definiert, das gesamte Verständnis des Roboters über das Problem verändert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.