Simulating Eating Disorder Patients with LLMs: Evaluating Psychological Persona Stability in Multi-Turn Conversations
Diese Studie zeigt auf, dass große Sprachmodelle zwar konsistente psychologische Personas über Konversationen hinweg beibehalten, jedoch systematisch daran scheitern, Essstörungspatienten akkurat zu simulieren, indem sie durch selektive Stereotypisierung die Schweregrade überschätzen und dadurch zwar extreme Pathologien erfassen, aber der Nuancierung mangeln, um moderate klinische Präsentationen darzustellen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Regisseur, der Schauspieler für ein Theaterstück über Menschen besetzen möchte, die mit Essstörungen kämpfen. Sie wollen, dass die Schauspieler so überzeugend sind, dass sie perfekt in ihrer Rolle bleiben, egal ob sie allein ein Skript lesen oder eine Szene mit einem Partner improvisieren. Sie wollen auch, dass sie genau das Ausmaß an Schwere darstellen, das im Skript beschrieben wird – einige Charaktere befinden sich in einer tiefen Krise, während andere sich in einer moderaten, kämpfenden Phase befinden.
Sie entscheiden sich dafür, KI-Schauspieler (Large Language Models) anstelle von Menschen zu verwenden. Sie geben ihnen eine detaillierte „Charakterbiografie“ (einen Prompt) und bitten sie, ihr Leben zu spielen und einen standardisierten medizinischen Fragebogen über ihre Essgewohnheiten auszufüllen.
Dieses Papier ist das Zeugnis des Regisseurs darüber, wie gut diese KI-Schauspieler abgeschnitten haben. Die Ergebnisse sind überraschend, verwirrend und ein wenig besorgniserregend.
Das Hauptergebnis: „Zu stabil, aber falsch“
Die Forscher fanden ein Paradoxon: Die KI-Schauspieler waren unglaublich konsistent, aber konsistent ungenau.
- Die gute Nachricht (Stabilität): Wenn man denselben KI-Schauspieler bat, dieselbe Rolle 50 Mal zu spielen, gab er jedes Mal fast exakt dieselbe Antwort. Er vergaß nicht, wer er sein sollte. Er war wie ein Roboter, der nie aus der Rolle fällt.
- Die schlechte Nachricht (Genauigkeit): Obwohl sie konsistent waren, haben sie alle überdramatisiert. Die KI-Modelle nahmen jeden Charakter, von denen mit leichten Problemen bis hin zu denen in schwerer Krise, und machten sie alle zu „extremen“ Fällen.
Stellen Sie sich das wie einen Lautstärkeregler an einem Radio vor. Die Forscher wollten, dass die KI die Lautstärke für einen moderaten Fall auf eine „5“ und für einen schweren Fall auf eine „10“ dreht. Stattdessen drehte die KI die Lautstärke für alle auf eine „9“ oder „10“, ungeachtet des Skripts.
Das „fehlende Mittel“
Das Papier beschreibt ein Phänomen namens „Das fehlende Mittel“ (Missing Middle).
- Schwere Fälle: Wenn das Skript eine sehr schwere Essstörung beschrieb, traf die KI es in etwa richtig.
- Moderate Fälle: Wenn das Skript jemanden mit einer moderaten Problematik beschrieb (das „mittlere“ Feld, in dem sich viele echte Patienten tatsächlich befinden), übertrieb die KI und ließ sie so klingen, als befänden sie sich in einer schweren Krise.
Die KI scheint einfach keinen guten „Lautstärkeregler“ für moderate Probleme zu haben. Sie standardmäßig auf die lauteste, dramatischste Einstellung.
Der „Zwei-Teile“-Fehler
Warum passierte das? Die Forscher entdeckten, dass die KI eine seltsame Abkürzung nutzte, die sie als „Selektive Stereotypisierung“ bezeichneten.
Stellen Sie sich vor, der Fragebogen zur Essstörung enthält zwei Arten von Fragen:
- Verhaltensfragen: „Verzichtest du auf Nahrung?“ „Hast du Essattacken?“
- Emotionsfragen: „Wie sehr hasst du deinen Körper?“ „Wie besessen bist du von deinem Gewicht?“
Die KI handhabte diese unterschiedlich:
- Für das Verhalten: Sie hörte auf das Skript. Wenn der Charakter ein „Binge Eater“ war, sagte die KI: „Ja, ich habe Essattacken.“ Wenn der Charakter ein „Purger“ war, sagte sie: „Ja, ich purgere.“ Sie bekam die Handlungen richtig.
- Für die Emotionen: Sie ignorierte das Skript. Egal, wer der Charakter war, die KI nahm an, dass jeder mit einer Essstörung maximal mit seinem Gewicht besessen und hasste seinen Körper im höchsten Maße. Sie drehte den „Körperhass“-Regler für jeden einzelnen Charakter bis zum Anschlag auf.
Weil die emotionalen Fragen für alle auf dem Maximum standen, konnte die KI nicht zwischen einem moderaten Fall und einem schweren Fall unterscheiden. Es war, als hätte die KI die Handlungen richtig dargestellt, aber jedes Gesicht mit dem exakt gleichen Ausdruck extremer Verzweiflung gemalt.
Half mehr Information?
Die Forscher versuchten, den KI-Schauspielern detailliertere Hintergrundgeschichten zu geben (Kindheitstraumata, Familiengeschichte, spezifische Lebensereignisse), um zu sehen, ob dies helfen würde, das „mittlere“ Feld besser zu verstehen.
Es funktionierte nicht. Mehr Details zu geben, half nicht, das Problem zu lösen. Die KI kehrte immer zur extremen emotionalen Einstellung zurück. Es ist, als ob die interne „Trainingsdaten“ der KI (die Bücher und das Internet, die sie gelernt hat) ihr beigebracht hätten, dass „Essstörung = Maximaler Körperhass“ gilt, und kein zusätzischer Kontext diese Regel überschreiben konnte.
Das „Beobachter“-Problem
Um fair zu bleiben: Die Forscher fragten nicht nur die KI, wie sie sich fühlte; sie baten auch andere KI-Modelle, den Schauspieler zu beobachten und zu bewerten.
- Ergebnis: Die „Beobachter“-KIs sahen genau das, was die „Schauspieler“-KIs sagten. Sie bewerteten ebenfalls alle als mit extremer Körperunzufriedenheit behaftet. Dies bewies, dass das Problem nicht nur darin bestand, dass der „Schauspieler“ lügt; das Problem war, dass die gesamte Performance auf einem Stereotyp basierte.
Das Fazit
Das Papier kommt zu dem Schluss, dass KI zwar gut darin ist, ein konsistenter Schauspieler zu sein, aber derzeit nicht bereit ist, das volle Spektrum menschlicher Essstörungserfahrungen zu simulieren.
Sie kann eine schwere Krise gut darstellen, scheitert aber daran, die Nuancen moderater Kämpfe einzufangen. Es ist, als hätte man ein Thesaurus, das nur Wörter für „Wütend“ und „Rasend“ besitzt, aber keine Wörter für „Verärgert“ oder „Aufgebracht“. Bis die KI lernen kann, die Lautstärke für moderate Fälle herunterzudrehen, kann man ihr nicht vertrauen, um das „Mittel“ des klinischen Spektrums genau zu simulieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.