High-Stakes Decisions with Language Models: Insights from Emergency Triage

Stellen Sie sich vor, Sie sind der Kapitän eines Raumschiffs, das durch ein nebliges Asteroidenfeld navigiert. Der Computer Ihres Schiffes ist unglaublich intelligent; er kann auf einen verschwommenen Punkt schauen und sagen: „Es besteht eine 90-prozentige Wahrscheinlichkeit, dass dieser Punkt ein gefährlicher Asteroid ist.“ Aber der Computer weiß nicht, was er mit dieser Zahl anfangen soll. Wenn Sie zusammenstoßen, explodiert das Schiff (ein verpasster Notfall). Wenn Sie einen Warnschuss auf eine harmlose Wolke abfeuern, verschwenden Sie Treibstoff und verärgern die Crew (ein unnötiger Fehlalarm). Der Computer braucht eine Regel: „Wenn die Gefahr über 10 % liegt, feuere den Schuss ab!“ oder „Feuere nur, wenn sie über 90 % liegt!“ Diese Regel wird als Nutzenfunktion bezeichnet. In der realen Welt stehen Ärzte jeden Tag genau vor dieser nebligen Situation. Sie nutzen die Triage, um zu entscheiden, wer sofortige Hilfe benötigt und wer warten kann. Lange Zeit wussten Wissenschaftler, dass es bei diesen hochriskanten Entscheidungen nicht nur darum geht, die Wahrscheinlichkeiten korrekt zu erraten; es geht darum, zu wissen, wie sehr man es hasst, die falsche Art von Fehler zu machen. Wenn man zu viel Angst davor hat, eine Krise zu übersehen, wird man jeden ins Krankenhaus schicken. Wenn man zu sehr besorgt ist, Zeit zu verschwenden, übersieht man vielleicht eine lebensbedrohliche Situation. Die große Frage ist: Wenn wir superintelligente Computergehirne (genannt Sprachmodelle) bitten, der Kapitän zu sein, wissen sie dann, wie man seine eigenen Regeln festlegt, oder raten sie nur?

Dieses Paper untersucht diese Frage, indem es die medizinische Notfall-Triage nicht als einfaches Ratespiel, sondern als Entscheidungspuzzle betrachtet. Die Forscher nahmen eine Reihe von medizinischen Geschichten (Vignetten), bei denen Ärzte bereits entschieden hatten, wer die Notaufnahme benötigte und wer nicht. Sie baten mehrere verschiedene KI-Modelle, diese Geschichten zu lesen und erstens die Wahrscheinlichkeit zu erraten, dass ein Patient eine Notfallversorgung benötigte, und zweitens zu entscheiden, ob sie den Patienten in die Notaufnahme schicken sollten. Das Team fand etwas Überraschendes heraus: Die KI-Modelle waren tatsächlich sehr gut darin, die Quoten zu erraten. Sie konnten den Unterschied zwischen einem kranken Patienten und einem gesunden mit hoher Genauigkeit erkennen. Wenn es jedoch um die endgültige Entscheidung ging, handelten die Modelle so, als hätten sie eine geheime, unausgesprochene Regel, die viel zu vorsichtig beim Versenden von Menschen in die Klinik war.

Die Autoren entdeckten, dass das „schlechte“ Verhalten, das bei einem populären kommerziellen Gesundheitstool beobachtet wurde (das festgestellt wurde, mehr als die Hälfte der echten Notfälle zu verpassen), nicht darauf zurückzuführen war, dass die KI dumm war oder die Medizin nicht verstand. Stattdessen lag es daran, dass die KI eine verborgene, Standardregel verwendete, die Ressourcen zu sparen über das Retten von Leben stellte. Es war wie ein Kapitän, der sich weigert, den Warnschuss abzufeuern, es sei denn, der Asteroid ist zu 99 % sicher, obwohl das Verpassen eines einzigen katastrophal wäre. Das Paper zeigt, dass, als die Forscher der KI explizit sagten: „Hey, das Übersehen eines Notfalls ist 5-mal schlimmer als ein Fehlalarm“, die KI sofort ihre Meinung änderte. Sie begann, mehr Patienten in die Notaufnahme zu schicken, wodurch sie etwa 50 % mehr echte Notfälle entdeckte, ohne dass es zu einem riesigen Anstieg unnötiger Besuche kam.

Die Studie legt nahe, dass das Problem nicht die Fähigkeit der KI ist, die Zukunft vorherzusagen, sondern ihre Fähigkeit, den Befehlen des Kapitäns darüber zu folgen, was am wichtigsten ist. Die Forscher fanden heraus, dass man durch die einfache Änderung der Wörter im Prompt, um die „Kosten“ verschiedener Fehler anzugeben, die KI dazu steuern konnte, entweder wie ein sicherheitsorientierter Arzt oder wie ein ressourcensparender Arzt zu handeln, je nachdem, was benötigt wurde. Sie merkten auch an, dass ohne diese klaren Anweisungen jedes KI-Modell seine eigene seltsame, unsichtbare Präferenz zu haben scheint, die niemand sehen oder kontrollieren kann. Das Paper kommt zu dem Schluss, dass wir für diese Werkzeuge, damit sie in echten Krankenhäusern sicher und nützlich sind, nicht einfach nur fragen können, ob sie „klug sind“. Wir müssen ihnen explizit sagen, wie sie die Risiken abwägen sollen, genau wie ein Kapitän seinem Navigationscomputer klare Befehle geben muss, bevor er in den Nebel einfährt.