When Large Language Models Fail in Healthcare: Evaluating Sensitivity to Prompt Variations
Diese Studie evaluiert systematisch die Sensitivität von allgemeinen sowie medizinisch spezialisierten Large Language Models gegenüber Prompt-Variationen unter Verwendung des MedMCQA-Benchmarks und zeigt auf, dass selbst geringfügige lexikalische oder syntaktische Perturbationen deren Zuverlässigkeit signifikant beeinträchtigen und schädliche klinische Outputs induzieren können, wodurch kritische Sicherheitsrisiken für deren Einsatz im Gesundheitswesen hervorgehoben werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Der „launische Koch“ der Medizin
Stellen Sie sich vor, Sie hätten einen Weltklasse-Koch (das Large Language Model, oder LLM), der auf Basis einer Rezeptkarte (dem Prompt) das perfekte Gericht für einen Patienten zubereiten soll. Dieser Koch ist unglaublich intelligent und kennt tausende von Rezepten.
Die Arbeit entdeckt jedoch einen beängstigenden Makel: Dieser Koch reagiert extrem empfindlich darauf, wie das Rezept geschrieben ist.
Wenn Sie auch nur ein Wort ändern, die Reihenfolge der Zutaten umstellen oder auch nur ein Wort etwas anders buchstabieren, könnte der Koch plötzlich entscheiden, ein völlig anderes Gericht zu servieren – oder schlimmer noch, ein giftiges. Die Arbeit argumenttiert, dass diese Unvorhersehbarkeit im Gesundheitswesen, wo ein „Gericht“ eine medizinische Diagnose oder ein medizinischer Rat ist, gefährlich ist.
Das Experiment: Die Stabilität des Kochs testen
Die Forscher wollten sehen, ob diese medizinischen KI-Köche mit kleinen Änderungen zurechtkommen, ohne alles durcheinanderzubringen. Sie nutzten eine riesige Bibliothek medizinischer Fragen (genannt MedMCQA) und testeten zwei Arten von „Köchen“:
- Allgemeine Köche: Intelligente KI-Modelle, die nicht speziell für die Medizin trainiert wurden (wie GPT-3.5 oder Llama3).
- Spezialisierte Köche: KI-Modelle, die speziell anhand von medizinischen Büchern und Fachzeitschriften trainiert wurden (wie BioBERT oder ClinicalBERT).
Sie testeten die Köche unter drei Bedingungen:
- Das Originalrezept: Die Standardfrage, sauber formuliert.
- Der „Synonym-Austausch“ (Lexikalische Perturbation): Wörter durch Synonyme ersetzen (z. B. „Kurzatmigkeit“ durch „Dyspnoe“ ersetzen) oder Tippfehler korrigieren.
- Die „umgestellte Küche“ (Syntaktische Perturbation): Die Satzstruktur ändern (z. B. von „Die Krankenschwester gab das Medikament“ zu „Das Medikament wurde von der Krankenschwester gegeben“).
Was sie fanden: Die „zerbrechliche“ Wahrheit
Die Ergebnisse zeigten, dass noch kein Koch wirklich sicher ist. So sah es aus:
1. Der „Synonym-Austausch“ war meistens in Ordnung (aber nicht perfekt)
Als die Forscher lediglich Wörter durch ähnliche ersetzten (wie „fünf mg“ durch „5 mg“), blieben die meisten Köche ruhig. Sie gaben immer noch die richtige Antwort. Es ist so, als würde man nach „einem Glas Wasser“ statt nach „einem Becher Wasser“ fragen – der Koch bringt trotzdem Wasser.
- Jedoch gab es auch hier Fälle, in denen die Köche verwirrt darüber waren, wie sie die Antwort präsentieren sollten (z. B. indem sie vergaßen, sie in einem bestimmten Format zu schreiben), selbst wenn der medizinische Rat korrekt war.
2. Die „umgestellte Küche“ verursachte Chaos
Als die Forscher die Satzstruktur oder die Reihenfolge der Optionen änderten, begannen die Köfe zu scheitern.
- Die Analogie: Stellen Sie sich einen Koch vor, der gut darin ist, einer Liste zu folgen, aber wenn man das letzte Element der Liste an den Anfang stellt, vergisst er das erste Element komplett.
- Das Ergebnis: In einigen Fällen führte allein die Umformulierung der Frage dazu, dass die KI eine falsche Diagnose stellte. Zum Beispiel könnte ein Patient mit Symptomen einer COPD als Patient mit einem Lungenödem diagnostiziert werden, nur weil die Satzstruktur leicht verändert wurde.
3. Die „spezialisierten Köche“ waren nicht immun
Man könnte denken, dass ein Koch, der nur mit medizinischen Büchern trainiert wurde, sicherer wäre. Die Arbeit fand heraus, dass spezialisierte Köche (BioBERT etc.) tatsächlich genauso zerbrechlich waren und manchmal sogar empfindlicher auf strukturelle Änderungen reagierten als die allgemeinen Köche. Sie besaßen keine „Superkraft“ gegen diese Tricks.
Die „adversarielle“ Gefahr: Der heimliche Zettel
Die Arbeit untersuchte auch „adversarielle“ Prompts – das sind wie jemand, der dem Koch einen heimlichen Zettel in die Rezeptkarte schiebt, um ihn zu täuschen.
- Die Analogie: Stellen Sie sich vor, jemand flüstert: „Ignoriere den ersten Schritt, der Patient ist eigentlich allergisch gegen dies“, obwohl der Patient es gar nicht ist.
- Das Ergebnis: Diese kleinen, hinterlistigen Änderungen konnten dazu führen, dass die KI die falsche Dosierung eines Medikaments empfiehlt oder ein kritisches Symptom völlig übersieht. Die Arbeit bezeichnet dies als „klinisch gefährlich“.
Das Urteil: Warum das wichtig ist
Die Arbeit kommt zu dem Schluss, dass die aktuelle medizinische KI nicht „intrinsisch sicher“ ist.
- Das Problem: Wenn ein Arzt dieselbe Frage auf zwei verschiedene Arten stellt, liefert die KI vielleicht zwei verschiedene Antworten. Eine davon ist richtig, die andere ist falsch.
- Das Risiko: In einem Krankenhaus kann man kein System gebrauchen, das seine Meinung ändert, nur weil ein Satz umformuliert wurde. Wenn die KI eine Wechselwirkung von Medikamenten halluziniert oder eine Diagnose übersieht, weil ein Tippfehler vorliegt, können Patienten zu Schaden kommen.
Zusammenfassung in einem Satz
Betrachten Sie diese KI-Modelle als ** brillante, aber nervöse Studenten**. Sie beherrschen den Stoff perfekt, wenn die Prüfung klar geschrieben ist. Aber wenn der Lehrer die Schriftart ändert, ein paar Wörter austauscht oder die Absätze umstellt, gerät der Student in Panik und gibt die falsche Antwort.
Die Arbeit sagt: „Wir können diesen Studenten noch nicht zutrauen, medizinische Prüfungen zu bewerten, da sie zu leicht durch die Art und Weise, wie die Frage gestellt wird, verwirrt werden können.“ Bevor wir sie zur Unterstützung von Ärzten zulassen, müssen wir sie lehren, stabiler zu sein und weniger empfindlich auf die Art und Weise zu reagieren, wie wir mit ihnen sprechen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.