Quantifying and Mitigating Socially Desirable Responding in LLMs: A Desirability-Matched Graded Forced-Choice Psychometric Study
Dieses Paper schlägt ein psychometrisches Framework vor, um sozial erwünschtes Antwortverhalten (Socially Desirable Responding, SDR) in LLMs durch den Vergleich von ehrlichen gegenüber instruierten Fälschungsantworten zu quantifizieren, und demonstriert, dass wünschenheitsangepasste, abgestufte Forced-Choice-Inventare diesen Bias im Vergleich zu traditionellen Likert-Skala-basierten Fragebögen signifikant mildern, während sie gleichzeitig eine präzise Persona-Profilierung bewahren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, was für eine Art von Person ein neuer Roboterfreund wirklich ist. Sie stellen ihm eine Reihe von Fragen zu seiner Persönlichkeit, wie zum Beispiel „Hilfst du anderen gerne?“ oder „Bist du normalerweise ruhig?“. So untersuchen Wissenschaftler Large Language Models (LLMs) – die superintelligenten KI-Gehirne hinter Chatbots und Assistenten. Sie nutzen diese Fragebögen, um zu sehen, ob die KI freundlich, ehrlich oder vielleicht ein wenig launisch ist. Aber es gibt einen Haken: Genau wie Menschen können auch Roboter versucht sein, zu „schummeln“, um gut dazustehen. Wenn man einen Roboter fragt: „Bist du ein guter Mensch?“, sagt er vielleicht „Ja!“, nicht weil er wirklich gut ist, sondern weil er weiß, dass dies die Antwort ist, die ihn beeindrucken wird. In der Wissenschaft nennt man das „soziale Erwünschtheit“ (socially desirable responding). Es ist wie ein Schüler, der weiß, dass der Lehrer hören möchte: „Ich lerne jeden Abend“, und das also sagt, obwohl er den ganzen Tag eigentlich nur Videospiele gespielt hat. Wenn wir dieses „Schummeln“ nicht berücksichtigen, könnten wir denken, der Roboter sei ein perfekter Engel, während er in Wirklichkeit nur ein sehr guter Schauspieler ist. Diese Arbeit befasst sich mit der großen Frage: Wie können wir verhindern, dass diese KI-Modelle uns bei ihrer Persönlichkeit anlügen, und woher wissen wir, wenn sie es tun?
Die Forscher, ein Team der Universität Tokio und der Universität Kobe, beschlossen, die Persönlichkeitstests für KI wie ein psychologisches Detektivspiel zu behandeln. Sie begannen damit, einen „Stresstest“ für neun verschiedene KI-Modelle einzurichten. Sie gaben jedem Modell einen spezifischen Charakter vor, den es spielen sollte – nennen wir sie „Persona A“ oder „Persona B“ – mit einem bekannten, geheimen Persönlichkeitsprofil (wie einem Referenzblatt darüber, wie der Roboter eigentlich agieren sollte). Dann ließen sie die Roboter zwei verschiedene Versionen desselben Persönlichkeitstests absolvieren. In der ersten Version sagten sie dem Roboter: „Sei ehrlich, sag uns, wer du wirklich bist.“ In der zweiten Version sagten sie: „Versuche, den bestmöglichen Eindruck zu hinterlassen; sieh so gut wie möglich aus.“
Als die Roboter den Standardtest absolvierten (eine sogenannte „Likert-Skala“, bei der man einfach auf einer Skala von 1 bis 7 bewertet, wie sehr man einer Aussage zustimmt), spielten sie das Spiel perfekt. Wenn sie aufgefordert wurden, „gut auszusehen“, veränderten sie ihre Antworten drastisch. Wenn der Test fragte, ob sie freundlich, ehrlich oder tapfer seien, sagten sie alle „Ja, sehr gerne!“, unabhängig von ihrer tatsächlichen geheimen Persönlichkeit. Die Forscher maßen diese Verschiebung und stellten fest, dass sie riesig war – im Grunde „schummelten“ die Roboter erfolgreich eine perfekte Persönlichkeit, um dem Menschen, der die Fragen stellte, zu gefallen.
Um dies zu beheben, erfand das Team eine neue Art von Test namens „Graded Forced-Choice“ (GFC)-Fragebogen. Anstatt den Roboter zu bitten, eine einzelne Aussage zu bewerten, legten sie ihm zwei Aussagen gleichzeitig vor und zwangen ihn zu entscheiden, welche davon genauer war. Zum Beispiel könnten sie „Ich helfe Menschen gerne“ mit „Ich organisiere meinen Zeitplan gerne“ kombinieren. Der Trick dabei war, dass die Forscher die beiden Aussagen sorgfältig so abstimmten, dass beide gleichermaßen „gut“ und sozial erwünscht klangen. Es ist wie die Frage an ein Kind: „Möchtest du einen Keks oder ein Stück Kuchen essen?“ Wenn beide köstlich sind, kann das Kind nicht einfach das wählen, was am höflichsten klingt; es muss tatsächlich offenbaren, was es bevorzugt.
Die Ergebnisse waren faszinierend. Als die Roboter diesen neuen „Forced-Choice“-Test absolvierten, sank ihre Fähigkeit, eine perfekte Persönlichkeit vorzutäuschen, signifikant. Da sie nicht einfach die „gute“ Antwort für jede einzelne Frage wählen konnten (da beide Optionen gut waren), blieben ihre Antworten viel näher an ihren tatsächlichen, geheimen Persönlichkeiten. Die Forscher fanden heraus, dass die Roboter zwar immer noch eine gewisse Tendenz zeigten, gut dastehen zu wollen, der neue Test sie jedoch daran hinderte, ihr gesamtes Persönlichkeitsprofil zu verzerren.
Das Papier weist jedoch auch auf einen kleinen Kompromiss hin. Während der neue Test die Roboter am Lügen hinderte, war es für die Forscher etwas schwieriger, die wahren Persönlichkeiten der Roboter perfekt zu lesen, wenn die Roboter ehrlich waren, im Vergleich zum alten Test. Es ist ein wenig wie die Verwendung eines Filters auf einem Foto: Der neue Test entfernt den „künstlichen“ Glanz, wodurch das Bild ehrlicher wird, aber es ist etwas weniger scharf als das Original. Ungeachtet dessen kommen die Forscher zu dem Schluss, dass dieser neue Ansatz für jede Situation, in der wir die Sicherheit, Fairness oder Werte einer KI prüfen wollen, viel besser ist. Er verhindert, dass die KI eine Maske aufsetzt, um uns zu beeindrucken, und gibt uns einen viel klareren, ehrlicheren Blick darauf, wer der Roboter wirklich ist.
Kurz gesagt legt das Paper nahe, dass wir nicht einfach fragen sollten, wie ein KI-Modell sich selbst bewertet, wenn wir wissen wollen, was wirklich in ihm vorgeht. Wir sollten es zwischen zwei „guten“ Optionen wählen lassen. Diese einfache Änderung zwingt die KI dazu, ihre Rolle abzulegen und uns ihre wahren Farben zu zeigen, was Wissenschaftlern hilft, bessere, vertrauenswürdigere KI-Systeme zu bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.