Prompt engineering does not universally improve Large Language Model performance across clinical decision-making tasks
Diese Studie evaluiert drei hochmoderne LLMs bei klinischen Entscheidungsaufgaben und stellt fest, dass Prompt Engineering die Leistung in spezifischen Schwachstellen wie der diagnostischen Testung zwar signifikant verbessert, jedoch keine universelle Lösung darstellt und bei anderen Aufgaben kontraproduktiv sein kann, was die Notwendigkeit maßgeschneiderter, kontextbezogener Integrationsstrategien unterstreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer jedes jemals geschriebene medizinische Lehrbuch lesen und jede Information perfekt behalten können. Das ist das Versprechen von Large Language Models (LLMs), den superintelligenten KI-Gehirnen hinter Chatbots, die bereits anfangen, wie Ärzte zu klingen. Aber ein Fakt zu kennen ist etwas ganz anderes, als ihn zu nutzen, um ein komplexes, reales Rätsel zu lösen. Denken Sie an den Unterschied zwischen einem Studenten, der das gesamte Regelwerk des Fußballs auswendig rezitieren kann, und einem Spieler, der tatsächlich an Verteidigern vorbeidribbeln, zum richtigen Mitspieler passen und ein Tor erzielen kann, wenn die Uhr abläuft. Im hochsensiblen Bereich des Gesundheitswesens müssen Ärzte nicht nur die Regeln kennen; sie müssen eine Reihe schwieriger Entscheidungen nacheinander treffen: Was ist das Problem? Was sollten wir sofort überprüfen? Welche Tests benötigen wir? Und schließlich: Wie beheben wir es? Hier wird es knifflig. Wissenschaftler haben versucht, diesen KI-„Studenten“ beizubringen, das Spiel besser zu spielen, indem sie ihnen spezielle Anweisungen, das sogenannte „Prompt Engineering“, gaben. Es ist, als würde man der KI ein geheimes oder ein schrittweises Playbook überreichen, um ihr zu helfen, klarer zu denken. Die große Frage, die sich alle stellen, ist: Hilft dieses Playbook der KI tatsächlich, das Spiel zu gewinnen, oder verwirrt es das arme Ding nur?
Diese Studie entschied, dies herauszufinden, indem sie drei der klügsten KI-Modelle auf die Probe stellte: ChatGPT-4o, Gemini 2.5 Flash und Llama 3.3 70B. Die Forscher stellten ihnen keine Trivia-Fragen; sie gaben ihnen 36 reale medizinische Geschichten (klinische Vignetten) und baten sie, den gesamten Entscheidungsprozess Schritt für Schritt durchzugehen. Sie wollten sehen, ob die Verwendung von ausgeklügelten „Prompt Engineering“-Techniken – speziell einer Methode namens „MedPrompt“, die versucht, die KI dazu zu zwingen, schrittweise zu denken und sich ähnliche vergangene Beispiele anzusehen – die KI besser darin machen würde, diese medizinischen Rätsel zu lösen.
Hier kommt die Wendung: Die Antwort lautet ein eindeutiges „Es kommt darauf an“. Die Studie ergab, dass Prompt Engineering kein Zauberstab ist, der alles behebt. Tatsächlich ist es eher wie ein Paar Noise-Cancelling-Kopfhörer, das in einer Bibliothek großartig funktioniert, aber dazu führt, dass man in einer belebten Straße den Bus verpasst.
Wenn die KI-Modelle ihren eigenen Kräften überlassen wurden (unter Verwendung einfacher Prompts), waren sie in einigen Dingen überraschend gut und in anderen schrecklich. Sie waren fast perfekt darin, die „endgültige Diagnose“ zu bestimmen, sobald sie alle Hinweise hatten, aber sie hatten am meisten Schwierigkeiten bei der Entscheidung, welche „relevanten diagnostischen Tests“ zu bestellen seien. Es ist, als könnten sie am Ende des Films leicht den Bösewicht benennen, aber sie hätten Schwierigkeiten zu erkennen, nach welchen Hinweisen sie in der Mitte der Handlung suchen müssen.
Dann versuchten die Forscher das „MedPrompt“-Playbook. Für die Aufgabe, in der die KI am schwächsten war – das Auswählen der richtigen diagnostischen Tests – bewirkte das Playbook Wunder. Es war, als würde man einem verwirrten Wanderer eine detaillierte Karte geben; die Genauigkeit der KI sprang signifikant nach oben. Beispielsweise verbesserte sich die Genauigkeit eines Modells bei dieser kniffligen Aufgabe von etwa 31 % auf 51 %. Das ist eine enorme Verbesserung!
Die Geschichte nimmt jedoch eine Wendung, wenn die KI versuchte, dasselbe Playbook für andere Aufgaben zu verwenden. Als sie gebeten wurde, mögliche Krankheiten (Differenzialdiagnose) aufzulisten oder Behandlungen vorzuschlagen, machten die ausgeklügelten Prompts die KI tatsächlich schlechter. Es ist, als wäre die KI so sehr damit beschäftigt gewesen, den strengen Regeln des Playbooks zu folgen, dass sie vergaß, ihren eigenen Verstand zu benutzen. Die Fähigkeit eines Modells, mögliche Krankheiten aufzulisten, sank von 71 % auf 56 %, nur weil es versuchte, den „Schritt-für-Schritt-Anweisungen“ zu folgen.
Die Forscher testeten auch, ob die Änderung der „Temperatur“ der KI – welche die Kreativität oder Zufälligkeit ihrer Antworten steuert – einen Unterschied machte. Sie fanden heraus, dass dies, überraschenderweise, für die Genauigkeit nicht wirklich viel ausmachte. Ob die KI nun so eingestellt war, dass sie super-konservativ oder etwas kreativer antwortete, sie lieferte etwa die gleiche Anzahl an richtigen Antworten. Dies deutet darauf hin, dass das Gehirn der KI für diese spezifischen Aufgaben recht stabil ist, obwohl die Forscher anmerken, dass Beständigkeit für die Sicherheit in echten Krankenhäusern dennoch wichtig ist.
Die wichtigste Erkenntnis dieser Studie ist, dass es keine „Einheitslösung“ gibt. Man kann nicht einfach ein ausgeklügeltes Prompt auf jede KI kleben und erwarten, dass sie zu einem genialen Arzt wird. Manchmal hilft die zusätzliche Struktur, und manchmal wirkt sie wie eine Zwangsjacke, die die KI daran hindert, natürlich zu denken. Die Autoren schlagen vor, dass wir uns in der realen Welt nicht darauf verlassen sollten, dass die KI diese Entscheidungen allein trifft. Stattdessen sollten wir sie als hilfreiche Assistenten nutzen, die einen menschlichen Arzt benötigen, der ihre Arbeit überprüft, insbesondere wenn die KI versucht, die schwierigsten Teile des Puzzles zu lösen. Der Weg nach vorne besteht nicht darin, das perfekte Prompt zu finden, sondern darin, das richtige Werkzeug für die richtige Aufgabe zu wählen und einen Menschen in den Prozess einzubinden, um sicherzustellen, dass alle sicher bleiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.