Ask Before You Diagnose: Safe-Psych, a Sequential Evaluation Benchmark for LLMs in Psychiatry
Das Paper stellt Safe-Psych vor, einen sequenziellen Benchmark unter Verwendung von über 1.000 realen psychiatrischen Notizen, der aufzeigt, dass selbst hochmoderne große Sprachmodelle Schwierigkeiten haben, unvollständige klinische Informationen zu erkennen, wobei sie trotz sicherheitsbewusster Aufforderungen häufig verfrühte Diagnosen stellen oder es versäumen, um Klärung zu bitten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen. In der Welt der künstlichen Intelligenz gibt es superintelligente Computerprogramme, die man „Large Language Models“ (LLMs) nennt. Betrachten Sie diese als unglaublich belesene Detektive, die fast jedes Buch, jeden Artikel und jede Notiz gelesen haben, die jemals geschrieben wurde. Sie sind großartig darin, Fragen zu beantworten, wenn sie alle Fakten direkt vor sich liegen haben. Aber in der realen Welt, besonders an Orten wie Krankenhäusern, erhalten Detektive selten die ganze Geschichte auf einmal. Sie erhalten hier einen Hinweis, dort eine Zeugenaussage und vielleicht ein Beweisstück, das noch nicht ganz passt.
Die große Frage, die sich Wissenschaftler stellen, lautet: Können diese KI-Detektive wissen, wann sie nicht genug Hinweise haben, um den Fall zu lösen? Ein wahrhaft kluger Detektiv sollte nicht einfach den Schuldigen erraten, nur weil er selbstbewusst ist; er sollte sagen: „Warte, ich muss noch eine Frage stellen“ oder „Ich kann das noch nicht lösen“. Dies wird als „Kalibrierung“ bezeichnet – zu wissen, was man weiß, und vor allem zu wissen, was man nicht weiß. Wenn eine KI zu früh eine medizinische Diagnose stellt, könnte dies zu schwerwiegenden Fehlern führen. Aber wenn sie sich weigert zu antworten, obwohl sie es hätte lösen können, wird sie unbrauchbar. Das Finden der perfekten Balance ist der heilige Gral für die sichere Anwendung von KI im Gesundheitswesen.
Hier kommt Safe-Psych ins Spiel, ein neues Experiment, das genau diese Fähigkeit in der komplizierten Welt der Psychiatrie testen soll. Die Forscher entwarfen ein spezielles Spiel, bei dem sie der KI nicht die gesamte Patientenakte auf einmal gaben. Stattdessen verhielten sie sich wie ein echter Arzt und enthüllten die Geschichte des Patienten Stück für Stück: zuerst nur die Symptome, dann die Vorgeschichte, dann die Untersuchungsergebnisse und so weiter. An jedem Schritt musste die KI entscheiden: „Habe ich genug Informationen, um eine Diagnose zu stellen?“ „Sollte ich nach weiteren Informationen fragen?“ oder „Sollte ich zugeben, dass ich feststecke?“
Die Ergebnisse waren ein wenig wie ein Weckruf. Die Studie fand heraus, dass selbst die fortschrittlichsten KI-Modelle, die „Super-Detektive“ der Technologiewelt, schrecklich darin sind zu wissen, wann sie aufhören und um Hilfe bitten müssen. Wenn die Informationen unvollständig waren, ratierten diese Modelle trotzdem weiter. Tatsächlich versuchten die meisten der getesteten Modelle, Fälle zu diagnostizieren, bei denen sie nicht genügend Beweise hatten, in mehr als 60 % der Fälle. Es ist, als würde der Detektiv ausrufen: „Es war der Butler!“, nachdem er nur die Haustür aufschlagen gehört hat, ohne jemals das Wohnzimmer überprüft zu haben.
Die Forscher versuchten auch, die KI zu lehren, vorsichtiger zu sein, indem sie ihr eine spezielle Anweisung gaben: „Rate nur, wenn du dir sicher bist, ansonsten sage 'Ich weiß es nicht'.“ Dies half ein wenig, erzeugte aber ein neues Problem. Die KI schwang zu weit in die andere Richtung aus. Anstatt zu oft zu raten, weigerte sie sich stattdessen, selbst dann zu raten, wenn sie die richtige Antwort hätte wissen können. Es ist, als hätte der Detektiv, aus Angst, einen Fehler zu machen, beschlossen, niemals einen einzigen Fall zu lösen. Die Studie legt nahe, dass das bloße Anweisen einer KI, „sicher zu sein“, ihr nicht wirklich beibringt, zu erkennen, wann Informationen fehlen; es verschiebt lediglich die Fehler von „falsches Raten“ zu „Verweigerung des Ratens“.
Vielleicht war die interessanteste Erkenntnis die über das Timing. Wenn die KI wartete, bis sie alle Hinweise gesehen hatte, bevor sie eine Entscheidung traf, waren ihre Antworten viel besser. Aber wenn sie überstürzt eine Diagnose stellte, nachdem sie nur die ersten paar Sätze gesehen hatte, sank ihre Genauigkeit signifikant. Das Paper zeigt, dass Leistungsfähigkeit nicht gleich Sicherheit bedeutet: Nur weil ein Modell intelligent genug ist, die richtige Antwort zu finden, wenn es die ganze Geschichte hat, bedeutet das nicht, dass es auch weiß, wann es die ganze Geschichte hat.
Kurz gesagt: Safe-Psych offenbart, dass unsere derzeitigen KI-Detektive noch zu eifrig darin sind, das Rätsel zu lösen. Sie müssen die schwierigste Lektion lernen: Manchmal ist das Wichtigste, was ein Detektiv tun kann, zuzugeben, dass er mehr Hinweise benötigt, bevor er mit dem Finger auf jemanden zeigt. Bis sie das lernen, können wir ihnen nicht voll vertrauen, um Ärzten bei Entscheidungen über Leben und Tod zu helfen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.