💬 NLP

Using Reinforcement Learning to Train Large Language Models to Explain Human Decisions

Diese Arbeit zeigt, dass der Einsatz von Reinforcement Learning mit ergebnisbasierten Belohnungen zur Feinabstimmung vortrainierter großer Sprachmodelle es diesen ermöglicht, als zweckgebundene kognitive Modelle zu dienen, die gleichzeitig eine starke Vorhersagegenauigkeit erreichen und interpretierbare natürliche Spracherklärungen für riskante Entscheidungen von Menschen generieren.

Ursprüngliche Autoren: Jian-Qiao Zhu, Hanbo Xie, Dilip Arumugam, Robert C. Wilson, Thomas L. Griffiths

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jian-Qiao Zhu, Hanbo Xie, Dilip Arumugam, Robert C. Wilson, Thomas L. Griffiths

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: KI lehren, „laut zu denken“

Stellen Sie sich vor, Sie haben einen superintelligenten Schüler (ein Large Language Model, oder LLM), der unglaublich gut darin ist, vorherzusagen, was Sie als Nächstes tun werden. Wenn Sie ihm ein schwieriges Matheproblem zeigen, kann er meistens die richtige Antwort geben. Aber wenn Sie ihn fragen, wie er auf diese Antwort gekommen ist, sagt er vielleicht nur: „Ich wusste es einfach“, oder gibt eine vage Erklärung ab, die nicht wirklich Sinn ergibt.

In der Psychologie wollen Wissenschaftler Modelle, die nicht nur die Antwort erraten (menschliches Verhalten vorhersagen), sondern auch erklären, warung Menschen diese Entscheidungen treffen (den kognitiven Mechanismus offenlegen).

Diese Arbeit fragt: Können wir einer KI beibringen, nicht nur menschliche Entscheidungen vorherzusagen, sondern auch „laut zu denken“, auf eine Weise, die tatsächlich die menschliche Psychologie erklärt?

Das Experiment: Das „Risikowahl“-Spiel

Um dies zu testen, verwendeten die Forscher ein klassisches psychologisches Spiel namens „Risikowahl“. Stellen Sie sich vor, Ihnen werden zwei Optionen angeboten:

Option A: Sie erhalten garantiert 27 $.
Option B: Sie haben eine 90 % Chance, 25 $ zu bekommen, aber eine 10 % Chance, 92 $ zu bekommen.

Die meisten Menschen müssen zwischen einer sicheren Wette und einem riskanten Glücksspiel wählen. Die Forscher nutzten einen riesigen Datensatz von tausenden echten Menschen, die diese Entscheidungen getroffen haben. Sie wollten eine KI darauf trainieren, sich die Optionen anzusehen und zu sagen: „70 % der Menschen werden Option A wählen und 30 % werden Option B wählen.“

Die drei Trainingsmethoden

Die Forscher probierten drei verschiedene Wege aus, um der KI diese Aufgabe beizubringen, wie drei verschiedene Coaching-Stile:

Der „Auswendiglernende“ (Standard-Training): Sie zeigten der KI tausende Beispiele von Fragen und den korrekten Antworten. Die KI lernte, das Muster zu kopieren. Sie wurde gut darin, die Prozentsätze zu erraten, aber sie hat nicht wirklich verstanden, warum. Es war wie ein Schüler, der den Lösungsschlüssel auswendig gelernt hat, aber die Mathematik dahinter nicht erklären kann.
Der „Maskierte Auswendiglernende“ (Centaur-Stil): Dies ist eine ausgefeilte Version der ersten Methode, bei der die KI gezwungen wird, sich nur auf die Zahlen in der Antwort zu konzentrieren und den Rest des Textes zu ignorieren. Auch sie wurde gut im Raten, lieferte aber immer noch keine gute Erklärung.
Der „Coach mit einer Anzeigetafel“ (Reinforcement Learning – RL): Das ist der Star der Show. Hier durfte die KI eine „Chain of Thought“ (einen schrittweisen Denkprozess) schreiben, bevor sie ihre endgültige Antwort gab.
- Der Clou: Die KI erhielt nicht einfach nur Punkte dafür, dass sie richtig lag. Sie erhielt Punkte basierend darauf, wie nah ihre endgültige Vorhersage an dem lag, was echte Menschen tatsächlich getan hatten.
- Das Ergebnis: Um die Punkte zu bekommen, erkannte die KI, dass sie wie ein Psychologe „denken“ musste. Sie begann Dinge zu schreiben wie: „Menschen sind risikoavers“ oder „Sie berechnen den Erwartungswert“. Indem sie versuchte, das Spiel zu gewinnen (die menschlichen Daten zu matchen), lernte sie zufällig, die psychologischen Regeln zu verbalisieren, denen Menschen folgen.

Die Ergebnisse: Die KI wird zum Psychologen

Die Forscher fanden heraus, dass die Methode „Coach mit einer Anzeigetafel“ (RL) aus zwei Gründen ein Game-Changer war:

Sie sagte gut voraus: Sie war genauso gut darin, zu erraten, was Menschen wählen würden, wie die anderen Methoden.
Sie erklärte gut: Die Teile des „Laut-Denkens“ (Chain of Thought) waren tatsächlich qualitativ hochwertige psychologische Erklärungen.
- Die Analogie: Stellen Sie sich vor, die anderen Methoden sind wie eine Wetter-App, die sagt: „Es wird regnen.“ Die RL-Methode ist wie ein Meteorologe, der sagt: „Es wird regnen, weil eine Kaltfront auf warme Luft trifft und einen Tiefdruckbereich erzeugt.“
- Die KI begann, echte psychologische Konzepte zu verwenden wie Risikoaversion (Menschen hassen Verluste), Erwartungswert (die Berechnung der Wahrscheinlichkeiten) und den Gewissheitseffekt (Menschen lieben einen garantierten Gewinn).

Die Voraussetzung der „Intelligenz“

Es gab jedoch einen Haken. Die Forscher testeten diese „Coach“-Methode auch an einem kleineren, schwächeren KI-Modell.

Die Analogie: Stellen Sie sich vor, Sie versuchen, einem Kleinkind gegenüber einem College-Studenten eine komplexe Strategie beizubringen. Das Kleinkind (das kleine Modell) konnte die Mathematik oder die Strategie nicht verstehen, selbst mit dem Coach. Es war einfach überfordert und gab schlechte Antworten.
Das Ergebnis: Die „Coach“-Methode funktionierte nur deshalb, weil das Basis-KI-Modell bereits intelligent genug war, um diese Konzepte zu verstehen. Wenn die KI nicht intelligent genug ist, um „Erwartungswert“ von Grund auf zu verstehen, kann man sie nicht darauf trainieren, ihn zu erklären.

Der „Gestaltwandler“-Test

Um zu beweisen, dass die KI nicht nur auswendig gelernte Phrasen rezitierte, änderten die Forscher die Regeln des Spiels. Anstatt echte menschliche Daten zu verwenden, fütterten sie die KI mit Daten, die von einem Roboter generiert wurden, der nur auf Mathematik (Erwartungswert) bedacht war.

Das Ergebnis: Die KI änderte augenblicklich ihr „Denken“. Sie hörte auf, über menschliche Ängste und Risikoaversion zu sprechen, und begann rein über Mathematik und Logik zu argumentieren.
Die Erkenntnis: Dies bewies, dass die KI nicht nur ein Skript kopierte; sie passte ihr Denken tatsächlich an die Daten an, mit denen sie trainiert wurde. Sie „lernte“ wirklich die Regeln des spezifischen Spiels, das sie gerade spielte.

Zusammenfassung

Diese Arbeit zeigt, dass eine kluge KI, die mit einem Belohnungssystem (wie einem Highscore in einem Videospiel) trainiert wird, die menschliche Verhaltensweise vorherzusagen, ganz natürlich damit beginnt, „laut zu denken“ und dabei dieselben psychologischen Regeln anzuwenden, die auch Menschen nutzen. Dies verwandelt die KI von einem einfachen Ratenden in ein Modell, das erklären kann, warum wir die Entscheidungen treffen, die wir treffen. Dies funktioniert jedoch nur, wenn die KI bereits intelligent genug ist, um diese Konzepte zu verstehen.

Technisches Resümee: Einsatz von Reinforcement Learning zum Trainieren von Large Language Models zur Erklärung menschlicher Entscheidungen

Problemstellung

Eine zentrale Herausforderung in der kognitiven Modellierung besteht darin, Systeme zu entwickeln, die menschliches Verhalten nicht nur mit hoher Genauigkeit vorhersagen, sondern auch interpretierbare Einblicke in die zugrunde liegenden kognitiven Mechanismen liefern. Während neuronale Netzwerkmodelle, die auf groß angelegten Verhaltensdaten trainiert wurden, oft eine starke prädiktive Leistung erbringen, fungieren sie typischerweise als „Black Boxes“, die einen begrenzten theoretischen Verständnis der erfassten kognitiven Prozesse bieten. Obwohl jüngste Arbeiten (z. B. das Centaur-Modell) gezeigt haben, dass Large Language Models (LLMs) effektiv darauf feinjustiert werden können, menschliches Verhalten vorherzusagen, fehlt diesen Modellen oft die Fähigkeit, explizite, natürliche Spracherklärungen dafür zu generieren, warum diese Vorhersagen getroffen werden. Diese Arbeit adressiert das Dilemma zwischen der Balance von Vorhersagegenauigkeit und Interpretierbarkeit, indem sie untersucht, ob LLMs als dual-zweckgebundene kognitive Modelle dienen können, die sowohl Vorhersage als auch Erklärung leisten.

Methodik

Die Autoren schlagen ein Framework vor, um LLMs darauf zu trainieren, explizite Begründungspfade (Chain-of-Thought, oder CoT) zu generieren, die menschliche Risikoentscheidungen erklären. Die Studie konzentriert sich auf den Bereich der menschlichen Risikoentscheidung (Entscheidungen zwischen sicheren und riskanten Optionen) unter Verwendung des choices13k-Datensatzes (Peterson et al., 2021).

Experimentelles Setup

Das als Backbone verwendete Modell ist Qwen-2.5-7B-Instruct. Die Autoren vergleichen drei verschiedene Post-Training-Strategien, die auf Low-Rank Adaptation (LoRA)-Modulen angewendet werden:

Supervised Fine-Tuning (SFT): Standardmäßige autoregressive Trainings auf menschlichen Entscheidungsdaten, formatiert als JSON.
Centaur-artiges SFT: Eine Variante, bei der nur Token, die den Anteilen menschlicher Entscheidungen entsprechen (eingeschlossen in spezielle Klammern), zum Verlust (Loss) beitragen, wobei die Begründungs-Token während des Trainings maskiert werden.
Reinforcement Learning (RL): Die Autoren verwenden Group Relative Policy Optimization (GRPO) mit ergebnisbasierten Belohnungen (Outcome-based Rewards).

Der RL-Ansatz

Im RL-Setting generiert das Modell mehrere Kandidaten-Vervollständigungen (einschließlich CoT-Begründung und einer finalen JSON-Vorhersage) für ein gegebenes Problem. Die Belohnungsfunktion ist strikt ergebnisbasiert und mit der Grundwahrheit (Ground Truth) des menschlichen Verhaltens verknüpft:

Korrektheitsbelohnung (Correctness Reward): Definiert als $1 - |o_B - p_B|$ , wobei $o_B$ die vom Modell vorhergesagte Wahrscheinlichkeit für Option B ist und $p_B$ der empirische Anteil der Menschen ist, die sich für Option B entscheiden.
Format-Belohnung (Format Reward): Ein Bonus (bis zu 0,5) für das Generieren einer strukturell gültigen JSON-Ausgabe, bei der die Vorhersage der Begründung folgt.
Kohärenz-Beschränkungen (Coherence Constraints): Das Modell wird bestraft, wenn seine vorhergesagten Wahrscheinlichkeiten nicht 1 ergeben oder außerhalb des Bereichs [0, 1] liegen.

Das RL-Training nutzt eine Gruppengröße von 12 Kandidaten pro Prompt und verwendet den „GRPO Done Right“-Algorithmus, der die Belohnungsnormalisierung durch Standardabweichung unterlässt, um eine Verzerrung durch die Schwierigkeit der jeweiligen Fragestellung zu verhindern.

Kontrollexperimente

Um die Adaptivität der Begründungspfade zu validieren, führten die Autoren folgende Tests durch:

Datenkontrolle: Ersetzen der menschlichen Daten durch synthetische Daten, die von einem Modell zur Maximierung des Erwartungswerts generiert wurden, um zu sehen, ob sich der CoT an die neue Datenstruktur anpasst.
Modellkontrolle: Replikation des Experiments mit einem kleineren, schwächeren Backbone-Modell (Gemma-2-2B-Instruct), um die Abhängigkeit von der Modellkapazität zu testen.

Zentrale Ergebnisse

Prädiktive Leistung

Vergleichbare Genauigkeit: In den finalen Checkpoints erreichte das RL-trainierte Modell eine Vorhersagegenauigkeit (Mean Squared Error auf dem Testset) vergleichbar mit dem Standard-SFT und dem Centaur-artigen SFT ( $M \approx 0,0148$ für RL vs. $0,0144$ für SFT). Statistische Tests zeigten keine signifikanten Unterschiede zwischen den Methoden.
Lerneffizienz: RL erreichte eine schnellere Reduktion des Vorhersagefehlers im Verhältnis zur Anzahl der verarbeiteten Trainingsbeispiele im Vergleich zu SFT, verursachte jedoch höhere Rechenkosten aufgrund der Generierung mehrerer Kandidaten pro Schritt.
Abhängigkeit von der Modellkapazität: Bei Anwendung auf das schwächere Gemma-2-2B Modell schnitt RL signifikant schlechter ab als die SFT-Methoden. Das schwächere Modell versäumte es, den kritischen kognitiven Mechanismus der „Erwartungswertberechnung“ zu generieren, was zu einer schlechten Vorhersageleistung führte.

Qualität der Begründung (CoT)

Emergenz von Begründungen: Im Gegensatz zu SFT- und Centaur-Modellen (die nicht explizit darauf trainiert wurden, Begründungen zu generieren), produzierte das RL-Modell konsistent detaillierte CoT-Begründungen vor seiner finalen Vorhersage.
Kognitive Mechanismen: Die Analyse der RL-generierten CoTs zeigte die Emergenz spezifischer kognitiver Mechanismen, insbesondere der Erwartungswertberechnung (Expected Value computation) und der Risikoaversion (Risk Aversion), welche etwa 29–36 % der CoT-Token ausmachten. Weitere identifizierte Mechanismen waren Verlustaversion (Loss Aversion), der Gewissheitseffekt (Certainty Effect) und die Wahrscheinlichkeitsgewichtung (Probability Weighting).
Adaptivität: Im Datenkontroll-Experiment, bei dem mit synthetischen Erwartungswert-Daten trainiert wurde, verschob das RL-Modell seine Begründung massiv auf Erwartungswertberechnungen, was zeigt, dass der CoT an die Struktur der Trainingsdaten anpasst und nicht statisch bleibt.
Kausaler Einfluss: Ein „CoT-Swapping“-Experiment demonstrierte, dass die Verwendung des RL-Modells' CoT zur Steuerung des Backbone-Modells den Vorhersagefehler signifikant reduzierte, während die Verwendung des ursprünglichen CoT des Backbones mit dem RL-Modell den Fehler erhöhte. Dies deutet darauf hin, dass die RL-generierte Begründung kausal mit den verbesserten Vorhersagen verknüpft ist.
Menschliche Evaluation: In einer kleinen menschlichen Evaluation bewerteten Experten die CoTs des RL-Modells in 61,5 % der Fälle als vernünftiger als die des Backbone-Modells.

Bedeutung und Behauptungen

Das Paper behauptet zu zeigen, dass Reinforcement Learning mit ergebnisbasierten Belohnungen (RLVR) in der Lage ist, hochwertige, interpretierbare Begründungspfade aus LLMs zu extrahieren, die als verbale Theorien menschlicher Entscheidungsfindung dienen.

Dual-Purpose-Modellierung: Die Arbeit etabliert, dass LLMs als kognitive Modelle fungieren können, die gleichzeitig menschliches Verhalten vorhersagen und natürliche Spracherklärungen der kognitiven Mechanismen liefern, die dieses Verhalten antreiben.
Rationalität vs. Heuristiken: Die Ergebnisse legen nahe, dass – entgegen einiger Literatur, die Heuristiken und Biases betont – rationale Charakterisierungen (speziell die Erwartungswertberechnung und Risikoaversion) dominante Kräfte bei der Erklärung menschlicher Risikoentscheidungen sein könnten, wenn man diese durch die Linse dieser Modelle betrachtet.
Elicitations-Hypothese: Die Ergebnisse stützen die „Elicitations-Hypothese“, wonach RL nicht notwendigerweise neue Fähigkeiten lehrt, sondern vielmehr bereits vorhandenes, latentes theoretisches Wissen im vortrainierten LLM aufdeckt und verstärkt. Folglich hängt der Erfolg dieses Ansatzes stark von der Kapazität des Backbone-Modells ab; schwächere Modelle scheitern daran, die notwendigen kognitiven Begründungsmechanismen zu extrahieren.
Skalierbarkeit: Die Methode bietet eine skalierbare Alternative zur manuellen kognitiven Modellierung oder expertengetriebenen Modellentdeckung, indem sie automatisch interpretierbare Theorien aus groß angelegten Verhaltensdaten generiert, ohne dass explizite symbolische Programmierung oder menschliches Feedback für jede einzelne Entscheidung erforderlich ist.

Die Autoren kommen zu dem Schluss, dass RL-Post-Training zwar rechenintensiver als SFT ist, aber einen einzigartigen Weg eröffnet, um kognitive Modelle zu entwickeln, die sowohl quantitativ präzise als auch qualitativ interpretierbar sind.