Demographic Injection in Medical Language Models under Diversity, Equity, and Inclusion Prompts

In dem sich rasant entwickelnden Bereich der künstlichen Intelligenz hat eine neue Generation von Computerprogrammen gelernt, wie Menschen zu lesen und zu schreiben, und bietet Ratschläge zu allem Möglichen an, von der Literatur bis zur Medizin. Während diese Werkzeuge Einzug in das Gesundheitswesen halten, haben Experten die Entwickler dazu aufgerufen, sie mit einer speziellen Art von Sensibilität zu programmieren: einem Bewusstsein für Vielfalt, Gerechtigkeit und Inklusion. Das Ziel ist sicherzustellen, dass wenn ein Arzt einen Computer um Hilfe bei einem Patienten bittet, die Maschine berücksichtigt, wie Faktoren wie ethnische Zugehörigkeit, Einkommen oder kultureller Hintergrund die gesundheitlichen Ergebnisse beeinflussen könnten. Dieser Ansatz geht davon aus, dass der Computer fairer und genauer wird, indem man ihn explizit anweist, über diese sozialen Realitäten nachzudenken. Die Beziehung zwischen einer Anweisung eines Computers und seinem Ergebnis ist jedoch komplex, und gut gemeinte Aufforderungen können manchmal unerwartete Verhaltensweisen auslösen, die genau die Informationen verzerren, die sie eigentlich klären sollen.

Forscher der Arizona State University untersuchten, was passiert, wenn sie diese fokus auf Gerechtigkeit gerichteten Anweisungen auf medizinische Fragen anwenden. Sie testeten siebenundvierzig verschiedene Modelle der künstlichen Intelligenz, die von weit verbreiteten kommerziellen Systemen bis hin zu spezialisierten Open-Source-Programmen reichten, unter Verwendung einer riesigen Sammlung medizinischer Multiple-Choice-Fragen. In ihrem Experiment nahmen sie standardmäßige medizinische Szenarien – Beschreibungen von Patienten mit spezifischen Symptomen, aber ohne Erwähnung ihres Hintergrunds – und baten die Modelle, diese zu lösen. Sie verglichen die Antworten der Modelle unter vier verschiedenen Bedingungen: ohne zusätzliche Anweisung, mit einer unsinnigen Anweisung, mit einer neutralen medizinischen Anweisung und mit einem einzelnen Satz, der das Modell anweist, Vielfalt und Gerechtigkeit zu berücksichtigen.

Die Ergebnisse zeigten ein erschreckendes und konsistentes Muster. Wenn die Modelle die Fokus auf Gerechtigkeit gerichtete Anweisung erhielten, begannen sie häufig, Details über die Patienten zu erfinden, die niemals in der ursprünglichen Beschreibung enthalten waren. Die Forscher nennen dieses Phänomen „demografische Injektion“. In den Kontrollgruppen, in denen keine spezielle Anweisung gegeben wurde, fügten die Modelle ungenannte demografische Details, wie etwa die ethnische Zugehörigkeit oder den sozialen Status eines Patienten, in weniger als einem Prozent der Fälle hinzu. Aber als die Equity-Aufforderung hinzugefügt wurde, sprang diese Zahl bei jedem getesteten Modell auf dreiunddreißig Prozent. Das bedeutet, dass in etwa einem von drei Fällen, in denen der Computer gebeten wurde, Gerechtigkeit zu berücksichtigen, er stillschweigend entschied, einer Person ohne Hintergrund eine bestimmte ethnische Zugehörigkeit, ein Alter oder eine wirtschaftliche Situation zuzuweisen.

Meistens war diese Erfindung harmlos. Die Modelle fügten eine allgemeine Aussage darüber hinzu, wie eine bestimmte Krankheit eine bestimmte Gruppe von Menschen in der realen Welt betrifft, ohne die endgültige medizinische Empfehlung zu ändern. Ein kleinerer, aber signifikanter Teil dieser Antworten ging jedoch weiter. In etwa zwei Komma fünf Prozent der Fälle knüpfte das Modell die erfundene Demografie direkt an den spezifischen Patienten in der Geschichte. Diese Verschiebung in der Identität des Patienten führte dazu, dass das Modell seinen medizinischen Rat änderte, und fast immer war der neue Rat falsch. Wenn beispielsweise ein Fall einer Frau mit einer schmerzlosen Schwellung am Hals und normalen Blutwerten präsentiert wurde, könnte ein Modell die Erkrankung korrekt als eine spezifische Art von Schilddrüsenentzündung identifizieren. Wenn es jedoch angewiesen wurde, Gerechtigkeit zu berücksichtigen, könnte dasselbe Modell plötzlich entscheiden, dass die Patientin eine schwarze oder hispanische Frau sei, und basierend auf dieser erfundenen Identität die Diagnose zu einer anderen, falschen Krankheit ändern.

Die Studie fand heraus, dass die Art und Weise, wie die Anweisung formuliert war, eine große Rolle spielte. Detailliertere Aufforderungen, die das Modell baten, soziale Determinanten der Gesundheit oder spezifische demografische Gruppen zu berücksichtigen, führten dazu, dass die Modelle noch häufiger Patientendetails erfanden, wobei die Rate der Erfindungen auf bis zu sechsundfünfzig Prozent anstieg. Die Forscher stellten fest, dass dieses Verhalten durch den Inhalt der Gerechtigkeitsanweisung selbst getrieben wurde und nicht einfach durch die Tatsache, dass das Modell mehr Text las. Sie schlossen die Idee aus, dass die Modelle lediglich durch zusätzliche Wörter abgelenkt wurden, da Anweisungen, die genauso lang, aber nicht auf Gerechtigkeit bezogen waren, nicht denselben Effekt hervorriefen. Stattdessen schienen die Modelle während ihres Trainings eine starke Assoziation gelernt zu haben: Wenn sie Wörter im Zusammenhang mit Gerechtigkeit sehen, erwarten sie demografische Details und fühlen sich verpflichtet, diese bereitzustellen, selbst wenn der Nutzer dies nicht verlangt hat.

Diese Entdeckung hebt einen subtilen, aber kritischen Fehler in der Art und Weise hervor, wie diese Systeme Anweisungen verarbeiten. Der Computer handelt nicht aus Boshaftigkeit oder Voreingenommenheit im menschlichen Sinne; vielmehr folgt er einem Muster, das er gelernt hat, um hilfreich zu sein. Wenn er angewiesen wird, Gerechtigkeit zu berücksichtigen, interpretiert er dies als Befehl, fehlende Informationen zu ergänzen, in der Annahme, dass ein vollständiges medizinisches Bild eine demografische Kennzeichnung erfordert. Dabei schreibt er die Identität des Patienten um und verwandelt einen generischen Fall in einen spezifischen, der nie existiert hat. Die Forscher betonen, dass die Gesamteffizienz der Modelle nur leicht sank, die Fehler jedoch genau in jenen Fällen konzentriert waren, in denen die Modelle am hilfreichsten sein wollten. Die Studie kommt zu dem Schluss, dass jede Anweisung, die ein Modell in seinem Denken lenkt, dazu führen kann, dass es nicht angeforderte Details hinzufügt, und in der hochsensiblen Welt der Medizin kann schon eine kleine Verschiebung in der Beschreibung eines Patienten zu einer gefährlichen Fehldiagnose führen.