Replicating Human Motivated Reasoning Studies with LLMs
Dieser Artikel zeigt, dass basisgroße Sprachmodelle bei Exposition gegenüber motivationalen Manipulationen keine menschlichen Muster motivierten Denkens replizieren, was erhebliche Einschränkungen für Forscher aufzeigt, die LLMs zur Simulation menschlicher Meinungsbildung oder Argumentbewertung einsetzen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben eine Gruppe sehr intelligenter, gut lesender Roboter (Large Language Models oder LLMs) und möchten herausfinden, ob sie wie Menschen denken, wenn sie aufgefordert werden, zu heiklen Themen wie Politik Meinungen zu bilden.
Insbesondere wollten Forscher einen menschlichen Zug testen, der als „motiviertes Reasoning" (zielgerichtetes Schlussfolgern) bekannt ist.
Das menschliche „Warum" versus das roboterhafte „Wie"
Stellen Sie sich menschliches Schlussfolgern wie einen Menschen vor, der durch einen Wald mit einem bestimmten Ziel im Kopf wandert.
- Das Ziel „Genauigkeit": Manchmal möchte eine Person den wahren Weg finden, egal wohin er führt. Sie betrachtet die Karte sorgfältig, ignoriert, wer ihre Freunde sind, und sorgt nur dafür, dass die Fakten stimmen.
- Das Ziel „Richtung": Manchmal möchte eine Person ein bestimmtes Ziel erreichen (wie „meine politische Partei hat recht"). Sie ignoriert möglicherweise die Karte, nimmt einen Abkürzungsweg oder tut sogar so, als sei eine Sackgasse ein Weg, nur um zu der Schlussfolgerung zu gelangen, die sie ohnehin schon glauben wollte.
Menschen sind dafür berühmt, dies zu tun. Wenn ihr Teamleiter sagt „Gehen Sie links", gehen sie oft links, selbst wenn die Karte „Gehen Sie rechts" sagt.
Das Experiment: Können Roboter das?
Die Forscher wählten vier bekannte Studien aus, bei denen Menschen dazu gebracht wurden, diese Art von „team-basiertem" Denken an den Tag zu legen. Anschließend baten sie 10 verschiedene KI-Modelle, exakt dieselben Aufgaben zu lösen.
Sie gaben den KIs zwei Arten von Anweisungen:
- Der „Fairer Richter"-Prompt: „Schauen Sie sich diese Informationen an und versuchen Sie, völlig neutral und genau zu sein."
- Der „Teamplayer"-Prompt: „Denken Sie daran, dass Ihre politische Partei dies unterstützt. Behalten Sie das im Hinterkopf, während Sie entscheiden."
Die große Überraschung: Die Roboter spielten das Spiel nicht mit
Die Forscher erwarteten, dass sich die Roboter wie Menschen verhalten würden. Sie dachten, wenn man einer KI sagt: „Deine Partei mag das", würde die KI plötzlich voreingenommen werden und es mehr unterstützen, genau wie ein Mensch.
Aber das passierte nicht.
Anstatt wie Menschen mit versteckten Agenden zu handeln, verhielten sich die Roboter eher wie ehrliche Bibliothekare, die von den Regeln verwirrt sind.
- Sie änderten ihre Meinung nicht aufgrund von „Team"-Druck. Wenn sie angewiesen wurden, ein „Teamplayer" zu sein, verschoben die KIs ihre Meinungen nicht plötzlich, um dem Team zu entsprechen. Sie gaben meist einfach dieselbe Antwort, die sie ohnehin gegeben hätten.
- Sie blieben am „Teamplayer"-Prompt hängen. Anstatt mitzuspielen, weigerten sich viele der Roboter schlichtweg, eine Antwort zu geben. Es ist, als würde ein menschlicher Bibliothekar gefragt: „Tun Sie so, als würden Sie dieses Buch lieben, obwohl Sie wissen, dass es schlecht ist", und er würde einfach sagen: „Das kann ich nicht", und weggehen.
- Sie hatten Schwierigkeiten, Argumente zu bewerten. Wenn Menschen aufgefordert werden, zu bewerten, wie stark ein Argument ist, werden sie normalerweise besser darin, wenn sie motiviert sind, genau zu sein. Die KIs hingegen waren inkonsistent. Manchmal hielten sie ein schwaches Argument für stark und manchmal ein starkes Argument für schwach, unabhängig von den Anweisungen.
Das „Aussteigen"-Problem
Eines der interessantesten Ergebnisse betraf wann die Roboter sich weigerten zu sprechen.
- Wenn Sie einen Menschen eine kontroverse Frage stellen, könnte er seinen Standpunkt verteidigen.
- Wenn Sie einen Roboter eine kontroverse Frage stellen, hörte er oft einfach auf zu sprechen.
- Die Forscher stellten fest, dass die Roboter nicht aufhörten zu sprechen, weil sie wie Menschen „dachten"; sie hörten auf, weil die spezifischen Wörter im Prompt einen Sicherheits-Schalter auslösten. Es war wie ein Automat, der einen Snack nicht verkauft, wenn Sie eine bestimmte Kombination von Tasten drücken, auch wenn Sie den Snack wirklich wollen.
Das Fazit
Die Studie kommt zu dem Schluss, dass Basis-KI-Modelle (ohne eine ihnen zugewiesene spezifische „Persönlichkeit") menschliches motiviertes Reasoning nicht nachahmen.
- Menschen sind wie Leute, die die Wahrheit verbiegen, um zu ihrem Stamm oder ihrem Ziel zu passen.
- Diese Roboter sind wie Taschenrechner, die sich weigern, Mathematik zu betreiben, wenn die Anweisungen „unsicher" oder „voreingenommen" klingen, aber sie fühlen die Voreingenommenheit nicht wirklich und ändern ihre interne Logik nicht, um sich einem Stamm anzupassen.
Die Forscher warnen, dass Sie, wenn Sie versuchen, diese Roboter zu verwenden, um vorherzusagen, wie Menschen wählen oder argumentieren werden, möglicherweise das falsche Ergebnis erhalten. Die Roboter sind in dieser spezifischen Hinsicht keine „falschen Menschen"; sie sind einfach völlig andere Wesen, die nicht über dieselben versteckten Motivationen verfügen, die die menschliche Meinung antreiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.