Rare Diseases, Common Dilemmas: LLMs Prioritize Equal Resource Distribution over Patient Benefit in Decision-Making

In der hochriskanten Welt der Medizin stehen Ärzte oft vor Entscheidungen, für die es keine einzelne richtige Antwort gibt. Wenn ein Patient kritisch krank ist oder an einer seltenen Erkrankung leidet, muss das medizinische Team mehrere konkurrierende moralische Pflichten gegeneinander abwägen. Sie müssen versuchen, dem Patienten zu helfen, Schaden abzuwenden, das Recht des Patienten zu respektieren, seinen eigenen Weg zu wählen, und sicherzustellen, dass Ressourcen gerecht unter allen, die sie benötigen, verteilt werden. Diese Pflichten, bekannt als Benefizenz (Wohltätigkeit), Nicht-Schädigung, Autonomie und Gerechtigkeit, ziehen häufig in unterschiedliche Richtungen. Beispielsweise könnte eine Behandlung, die ein Leben retten könnte, auch immenses Leid verursachen, oder ein knappes, teures Medikament könnte einem Menschen tiefgehend helfen, während es viele andere ohne Versorgung zurücklässt. Da Künstliche Intelligenz im Gesundheitswesen immer häufiger zum Einsatz kommt, beginnen Menschen zu fragen, wie diese Computersysteme mit solch schwierigen, wertegeladenen Entscheidungen umgehen. Die Sorge gilt dabei nicht nur der Frage, ob die Maschine die Fakten kennt, sondern ob sie das Gewicht der moralischen Abwägungen versteht.

Eine neue Studie untersucht, wie große Sprachmodelle – die leistungsstarken KI-Systeme, die in der Lage sind, menschenähnliche Texte zu generieren – diese ethischen Entscheidungen treffen, wenn sie die Pflege von Patienten mit seltenen Krankheiten übernehmen. Seltene Krankheiten stellen eine besondere Herausforderung dar, da sie nur eine geringe Anzahl von Menschen betreffen und oft nur begrenzte medizinische Daten zur Verfügung stehen. In diesen Situationen müssen Familien und Ärzte häufig Entscheidungen unter tiefer Ungewissheit treffen, indem sie unvollkommene Optionen gegeneinander abwägen. Die Forscher entwickelten einen Test, um zu sehen, ob KI durch dieses schwierige Fahrwasser navigieren kann. Sie erstellten eine Sammlung von 208 realistischen medizinischen Geschichten, oder Vignetten, die auf realen seltenen Krankheiten sowie deren spezifischen genetischen und klinischen Details basieren. Jede Geschichte präsentierte ein echtes Dilemma, bei dem zwei verschiedene nächste Schritte medizinisch vertretbar, aber ethisch gegensätzlich waren. Zum Beispiel könnte eine Option die unmittelbaren Bedürfnisse eines einzelnen Patienten priorisieren, während die andere auf die gerechte Verteilung einer begrenzten Ressource über eine Gruppe fokussierte. Die Forscher baten dann elf verschiedene hochmoderne KI-Modelle, sich zwischen diesen beiden Optionen zu entscheiden.

Die Ergebnisse zeigten ein auffälliges Muster. Über alle getesteten KI-Modelle hinweg, unabhängig davon, wer sie entwickelt oder wie sie trainiert hatte, entschieden sich die Systeme konsistent für die Option, die die Gerechtigkeit priorisierte. Im Kontext dieser medizinischen Geschichten bedeutete dies, dass die KI fast immer die gleichmäßige Verteilung von Ressourcen gegenüber den spezifischen, dringenden Bedürfnissen eines einzelnen Patienten bevorzugte. Die Modelle schienen Fairness als eine Angelegenheit der Gleichverteilung zu behandeln, anstatt mehr denjenigen zu geben, die kränker sind oder eine größere medizinische Notwendigkeit haben. Diese Präferenz für Gleichheit schien eine oberflächliche Reaktion auf das Konzept der Fairness zu sein, die die Schwere des Zustands des Patienten außer Acht ließ. Die Studie legt nahe, dass diese KI-Systeme nicht tiefgründig über die moralische Komplexität der Situation nachdenken, sondern statlich auf eine einfache Regel der Gleichverteilung zurückfallen.

Die Forscher entdeckten auch, dass die Entscheidung der KI stark davon abhing, wer als die Person beschrieben wurde, die die endgültige Entscheidung trifft. Wenn die Geschichte die Entscheidung als Aufgabe eines Komitees oder eines Krankenhausvorstands darstellte, bevorzugte die KI stark die Gerechtigkeit und die gleiche Ressourcenverteilung. Wenn die Entscheidung jedoch als Aufgabe eines einzelnen Arztes oder des Patienten selbst gerahmt wurde, änderte die KI ihre Präferenz. In diesen Fällen bewegten sich die Modelle weg von der strikten Gleichheit und begannen, die Wünsche des Patienten oder dessen unmittelbares Wohlergehen zu priorisieren. Dies deutet darauf hin, dass die KI sehr sensibel auf die zugewiesene soziale Rolle des Entscheidungsträgers reagiert und menschliche Intuitionen darüber spiegelt, wie Autorität funktioniert. Es scheint, dass sie gelernt hat, dass Komitees für Fairness verantwortlich sind, während Einzelpersonen für Fürsorge und Wahlfreiheit zuständig sind.

Dieses Verhalten wirft wichtige Fragen darüber auf, wie diese Werkzeuge in echten Krankenhäusern eingesetzt werden könnten. Die Studie legt nahe, dass KI-Entscheidungsunterstützungssysteme bestehende Machtstrukturen eher stillschweigend verstärken könnten, anstatt eine frische, prinzipienbasierte Perspektive zu bieten. Wenn ein Arzt die KI um Rat bei einem schwierigen Fall bittet, könnte sich die Antwort der KI allein dadurch ändern, ob der Arzt als Einzelperson oder als Teil eines Teams fragt. Die Forscher fanden heraus, dass die Modelle nicht scheinen, aus Grundprinzipien darüber zu urteilen, was für den Patienten am besten ist; stattdessen gleichen sie die Situation einem Verhaltensmuster an, das für die jeweilige Rolle erwartet wird. Dieser „Autoritätsbias“ bedeutet, dass die KI möglicherweise versagt, unfaire institutionelle Praktiken anzufechten oder zu erkennen, wann die spezifischen Bedürfnisse eines Patienten eine allgemeine Regel der Gleichheit überwiegen sollten.

Die Studie behauptet nicht, dass diese KI-Modelle fehlerhaft oder unbrauchbar sind. Vielmehr hebt sie eine blinde Stelle in der Art und Weise hervor, wie wir medizinische KI derzeit bewerten. Die meisten Tests konzentrieren sich darauf, ob die Maschine die richtigen Fakten kennt oder medizinische Fragen korrekt beantworten kann. Diese Forschung zeigt, dass die Modelle selbst dann, wenn sie faktisch korrekt sind, immer noch verborgene Vorurteile in der Art und Weise haben können, wie sie moralische Werte gewichten. Die Ergebnisse legen nahe, dass wir, wenn wir uns in Richtung des Einsatzes von KI in medizinischen Hochrisiko-Bereichen bewegen, über die bloße Genauigkeit hinausblicken müssen. Wir müssen verstehen, wie diese Systeme Werte priorisieren und ob ihre Entscheidungen mit der komplexen, nuancierten Argumentation übereinstimmen, die menschliche Ärzte und Ethiker verwenden, wenn es um Leben und Tod geht. Die Studie kommt zu dem Schluss, dass KI-Werkzeuge ohne sorgfältige Beachtung dieser ethischen Präferenzen letztlich nur den Status quo der institutionellen Entscheidungsfindung wiederholen könnten, potenziell zum Nachteil der vulnerabelsten Patienten.