Large language models improve physician accuracy but lead to false reliance
Obwohl das durch Retrieval-Augmented Generation erweiterte LLM-System CORA die diagnostische Genauigkeit von Ärzten signifikant verbesserte, zeigt die Studie ein kritisches Sicherheitsrisiko auf, bei dem quellengebundene Zitate die Abhängigkeit sowohl von korrekten als auch von inkorrekten Ratschlägen unverhältnismäßig steigerten und dadurch die Fähigkeit der Ärzte untergruben, fehlerhaften Empfehlungen zu widerstehen.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, einen kniffligen Fall zu lösen. Sie haben einen brillanten, superschnellen Assistenten, der in der Lage ist, in einer Sekunde Millionen von Büchern zu lesen und eine Lösung vorzuschlagen. Dieser Assistent ist eine Künstliche Intelligenz, genauer gesagt ein „Large Language Model“ (LLM). Diese KIs sind wie Enzyklopädien, die gelernt haben zu sprechen, indem sie das gesamte Internet gelesen haben, aber manchmal sind sie sich Dingen gegenüber sehr sicher, die sie eigentlich gar nicht wissen – sie erfinden Fakten, die perfekt klingen, aber falsch sind. Um dies zu beheben, haben Wissenschaftler einen Trick namens „Retrieval-Augmented Generation“ (RAG) erfunden. Denken Sie bei RAG an einen KI-Assistenten, dem man einen Bibliotheksausweis gibt und eine Regel vorgibt: „Du darfst nur antworten, wenn du auf die exakte Seite in einem Buch hinweisen kannst, die deine Antwort beweist.“ Auf diese Weise rät die KI nicht einfach nur, sondern zeigt ihre Hausaufgaben.
Aber hier ist die große Frage, über die Wissenschaftler noch immer debattieren: Hilft das Zeigen der Hausaufgaben dem menschlichen Detektiv tatsächlich weiter? Oder führt es den Menschen dazu, dem Assistenten zu sehr zu vertrauen, selbst wenn dieser falsch liegt? Dies ist die Geschichte einer Studie, die diese Idee testen wollte – mit echten Ärzten. Man wollte sehen, ob die Gabe eines KI-Tools mit Quellenangaben die Ärzte bei der Diagnose von Hautkrankheiten besser macht oder ob es sie dazu verleitet, gefährliche Fehler zu begehen, indem es falsche Antworten so aussehen lässt, als wären sie durch Belege gestützt.
Die Geschichte von CORA und die „Falsche-Beweis“-Falle
In dieser Studie entwickelte ein Forscherteam einen speziellen KI-Assistenten namens CORA (Citation-Orientated Retrieval Assistant). Stellen Sie sich CORA als einen superintelligenten Forschungsassistenten vor, der, wann immer ein Arzt eine Frage zu einem Hautzustand stellt, nicht einfach nur eine Antwort ausspuckt. Stattdessen durchsucht CORA eine digitale Bibliothek aus medizinischen Lehrbüchern, Leitlinien und Fallberichten, findet die relevanten Seiten und sagt: „Hier ist meine Antwort, und hier sind die drei Seiten, die sie beweisen.“
Die Forscher wollten sehen, wie sich das in der realen Welt bewährt. Sie versammelten 46 Ärzte aus 21 verschiedenen Ländern und gaben ihnen eine Reihe von Rätseln zu Hautkrankheiten. Zuerst mussten die Ärzte diese eigenständig lösen. Danach wurde ihnen CORAs Antwort zusammen mit dem „Beweis“ (den Zitaten) gezeigt, und sie wurden gefragt, ob sie bei ihrer ursprünglichen Antwort bleiben oder ihre Meinung ändern möchten.
Die gute Nachricht: Die Ärzte wurden klüger
Die Ergebnisse zeigten, dass CORA ein hilfreicher Gehilfe war. Wenn die Ärzte alleine arbeiteten, fanden sie in 70,8 % der Fälle die richtige Antwort. Doch wenn sie CORA nutzten, sprang ihre Genauigkeit auf 82,6 %. Die KI half ihnen, Fehler zu korrigieren, insbesondere bei schwierigen Fällen oder seltenen Krankheiten. Es war, als hätte man ein zweites Paar Augen, das das Regelwerk perfekt beherrschte.
Die schlechte Nachricht: Die „Zitationsfalle“
Dennoch entdeckte die Studie ein tückisches Problem. Der „Beweis“, den CORA zeigte, war nicht immer ein echter Beweis. Manchmal gab CORA eine falsche Antwort, zeigte aber dennoch ein Zitat an, das so aussah, als würde es die Antwort stützen, obwohl es das in Wirklichkeit gar nicht tat.
Hier wird es knifflig:
- Wenn CORA richtig lag: Wenn die Ärzte ein Zitat sahen, das die Antwort scheinbar unterstützte, änderten sie sehr wahrscheinlich ihre Meinung und stimmten der KI zu. Ihre Erfolgsquote bei der Annahme der korrekten Empfehlung stieg von 34 % (ohne das Gefühl der Unterstützung) auf 76,9 % (wenn sie das Gefühl hatten, dass das Zitat die Antwort stützte).
- Wenn CORA falsch lag: Dies ist der gefährliche Teil. Wenn CORA eine falsche Antwort gab, aber ein Zitat zeigte, das unterstützend wirkte, gaben die Ärzte ihren Widerstand auf. Normalerweise sind Ärzte hartnäckig und behalten ihre korrekte Antwort in 92 % der Fälle bei, wenn die KI falsch liegt. Aber wenn ein „unterstützendes“ Zitat gezeigt wurde, sank dieser Widerstand auf nur noch 34,8 %.
Die Lektion: Vertrauen, aber prüfen Sie den Beweis
Die Studie entdeckte eine „Grounding-Miskalibrierung“ (Verankerungs-Fehlkalibrierung). Das ist eine schicke Art zu sagen, dass die Ärzte durch den Anschein von Beweisen getäuscht wurden. Wenn die KI ein Zitat zeigte, nahmen die Ärzte an, dass die Antwort stimmen müsse, selbst wenn das Zitat nicht tatsächlich den spezifischen Punkt bewies. Es ist, als würde ein Schüler eine Prüfung abgeben und eine Lehrbuchseite beilegen. Wenn die Seite zwar das richtige Thema behandelt, aber die Frage eigentlich nicht beantwortet, könnte ein Lehrer trotzdem denken: „Oh, er hat recherchiert“, und ihm die Punkte geben. Aber in der Medizin könnte diese Anerkennung ein Fehler sein.
Die Forscher fanden heraus, dass die KI die Ärzte zwar insgesamt präziser machte, aber gleichzeitig ein neues Risiko schuf: Ärzte waren eher bereit, ihre eigenen korrekten Instinkte aufzugeben, wenn die KI eine falsche Antwort so aussehen ließ, als sei sie gut belegt. Die Studie legt nahe, dass wir für diese KI-Werkzeuge nicht nur darauf schauen dürfen, ob die KI richtig oder falsch liegt. Wir müssen sicherstellen, dass der gezeigte „Beweis“ auch tatsächlich die Antwort beweist und nicht nur mit dem Thema verwandt ist. Andernfalls könnte genau das, was Ärzten helfen soll, die Wahrheit zu verifizieren, sie stattdessen dazu verführen, einer Lüge zu vertrauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.