🤖 machine learning

Reinforcing Human Behavior Simulation via Verbal Feedback

Dieser Beitrag stellt DITTO vor, ein Modell, das durch Verstärkungslernen mit verbalem Feedback trainiert wurde, um menschliches Verhalten besser zu simulieren, sowie die SOUL-Benchmark-Suite und zeigt signifikante Leistungsverbesserungen gegenüber Basismodellen auf, die auf mehreren menschenähnlichen Simulationsaufgaben GPT-5.4 übertreffen.

Ursprüngliche Autoren: Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: KI beibringen, durch Gespräche „menschlich" zu handeln

Stellen Sie sich vor, Sie bringen einem Kind bei, sich auf einer Dinnerparty zu benehmen.

Der alte Weg (Skalare Belohnungen): Sie geben dem Kind nach dem Essen eine Bewertung von „6 von 10". Sie sagen ihm nicht, warum es eine 6 bekommen hat. Hat es zu viel geredet? Hat es die falsche Gabel benutzt? Hat es Suppe verschüttet? Es hat keine Ahnung, wie es sich verbessern kann, und rät beim nächsten Mal einfach.
Der neue Weg (Verbale Rückmeldung): Sie setzen sich mit ihm zusammen und sagen: „Du hast mit der Serviette großartig umgegangen, aber du hast deine Großmutter unterbrochen, und das war unhöflich. Das nächste Mal warte, bis sie fertig gesprochen hat."

Dieses Paper argumentiert, dass aktuelle KI-Modelle (LLMs) so trainiert werden wie das Kind, das eine 6 bekommt. Sie sind gut in Mathematik und Programmierung, weil diese Dinge klare richtige/falsche Antworten haben (wie eine Testnote). Aber wenn wir KI bitten, menschliches Verhalten zu simulieren – etwa als Patient, Schüler oder Freund funktionieren –, funktionieren einfache Noten nicht. Menschen lernen soziale Normen durch Worte, Erklärungen und Korrekturen, nicht durch Zahlen.

Die Autoren haben ein neues System namens DITTO entwickelt, das KI durch diese Methode der „verbale Rückmeldung" beibringt, menschlich zu handeln.

Wie DITTO funktioniert: Das Spiel „Entwurf und Ausarbeitung"

Stellen Sie sich DITTO als einen kreativen Schreibworkshop vor, in dem die KI sowohl Schüler als auch Redakteur ist. Hier ist der Prozess:

Der erste Entwurf (Der Schüler): Die KI versucht, eine Aufforderung zu beantworten (z. B. „Handle wie ein mürrischer Lehrer"). Sie schreibt eine Antwort.
Die Kritik (Der Richter): Eine leistungsstarke KI als „Richter" liest den Entwurf und gibt verbale Rückmeldung. Sie sagt nicht nur „Gute Arbeit". Sie sagt: „Du warst zu höflich. Ein mürrischer Lehrer wäre ungeduldiger. Außerdem hast du vergessen, die Hausaufgaben zu erwähnen."
Der zweite Entwurf (Der Lehrer): Die KI nimmt dieses spezifische Feedback und schreibt eine neue, verbesserte Version der Antwort.
Die Lektion (Die Magie): Das System trainiert die KI, auf die ursprüngliche Aufforderung zu schauen und sofort die verbesserte Version zu generieren, ohne dass sie den Feedback-Text mehr braucht. Es ist so, als würde der Schüler die Notizen des Lehrers lesen, den Aufsatz korrigieren und dann das Gefühl dafür memorieren, wie man einen guten Aufsatz schreibt, damit er die Notizen beim nächsten Mal nicht mehr braucht.

Das Ergebnis: Die KI lernt, den Rat zu „internalisieren". Wenn Sie später mit ihr sprechen, handelt sie menschlicher, weil sie gelernt hat, warum bestimmte Verhaltensweisen besser sind, nicht nur dass sie besser sind.

Der Spielplatz: SOUL (Simulation Gym)

Um zu testen, ob dies tatsächlich funktioniert, bauten die Forscher eine riesige Turnhalle namens SOUL (Simulation gym Of hUman-Like behavior).

Stellen Sie sich eine Turnhalle mit 10 verschiedenen Stationen vor, von denen jede eine andere Art von „menschlicher" Fähigkeit testet:

Theory of Mind (Geisttheorie): Kann die KI verstehen, dass jemand anderes etwas weiß, was sie nicht weiß? (Wie beim Versteckspiel).
Rollenspiel: Kann sie wie eine bestimmte Figur aus einem Buch handeln, ohne die Rolle zu verlassen?
Soziale Fähigkeiten: Kann sie ein Gespräch so führen, um ein Ziel zu erreichen (wie eine Gehaltserhöhung zu bitten), ohne unhöflich zu sein?
Nutzer-Simulation: Kann sie so tun, als wäre sie ein verwirrter Kunde, der mit einem Helpdesk spricht?

Sie stellten fest, dass bestehende KI-Modelle diese Tests oft nicht bestanden. Sie klangen zu roboterhaft, zu perfekt oder zu ähnlich zueinander.

Die Ergebnisse: DITTO gewinnt die Turnhalle

Die Forscher testeten ihr neues Modell (DITTO) gegen die besten bestehenden Modelle (einschließlich riesiger Modelle von großen Tech-Firmen).

Die Punktzahl: DITTO verbesserte sich um 36 % im Vergleich zum Basis-Modell.
Das Duell: DITTO schlug das Top-Modell „GPT-5.4" bei 6 von 10 Herausforderungen.
Wo es glänzte: Es war besonders gut bei Aufgaben, die Nuancen erfordern, wie soziale Fähigkeiten und Rollenspiele. Es lernte, Geheimnisse besser zu bewahren und komplexe Gespräche zu führen, ohne „stecken zu bleiben" oder gefälscht zu klingen.

Warum das wichtig ist (laut dem Paper)

Das Paper behauptet, dass wir, um KI wirklich nützlich für die Simulation von Menschen zu machen (wie bei Therapie-Bots, Bildungstutoren oder Schulungen im Kundenservice), aufhören müssen, sie wie Matheschüler zu behandeln, die nur eine Note brauchen. Wir müssen sie wie soziale Wesen behandeln, die Erklärungen brauchen.

Durch die Verwendung von verbaler Rückmeldung (Worten) statt nur skalare Belohnungen (Zahlen) lernt die KI die Textur menschlichen Verhaltens. Sie lernt, dass „unhöflich" sein nicht nur eine niedrige Note ist; es ist eine bestimmte Art zu sprechen, die Gefühle verletzt.

Kurz gesagt: DITTO ist eine KI, die gelernt hat, menschlich zu handeln, indem sie den detaillierten Kritiken eines Lehrers lauschte, die Korrekturen übte und dann die Notizen des Lehrers vergaß, weil sie es endlich „begriffen" hatte.

Technische Zusammenfassung: Verstärkung der Simulation menschlichen Verhaltens durch verbales Feedback

Problemstellung
Aktuelle Large Language Model (LLM)-Simulatoren für menschliches Verhalten leiden unter systematischen „Sim2Real"-Lücken, die sich in homogenen Ausgaben, fehljustierten kognitiven Verzerrungen und übermenschlichen Verhaltensweisen äußern, die von echten Nutzern abweichen. Eine primäre Einschränkung liegt im Trainingsparadigma: Standardmethoden des Reinforcement Learning (RL) (z. B. RLHF, DPO, GRPO) komprimieren sämtliches Feedback in skalare Belohnungen oder binäre Präferenzen. Obwohl dies für Domänen mit überprüfbarer Richtigkeit (z. B. Code, Mathematik) effektiv ist, scheitern skalare Belohnungen daran, die Nuancen zu erfassen, die für die Simulation menschlichen Verhaltens erforderlich sind, welches subjektiv, vielschichtig und kontextabhängig ist. Menschen lernen soziale Normen nicht aus Punktzahlen, sondern aus verbalem Feedback – Erklärungen, Korrekturen und Dialogen. Bestehende Ansätze, die versuchen, verbales Feedback einzubeziehen, verlassen sich häufig auf Supervised Fine-Tuning (SFT) oder Reflexion zur Inferenzzeit, wobei ihnen entweder die Explorationsfähigkeit von RL fehlt oder sie nicht in der Lage sind, Modellgewichte effektiv aus Erfahrungen zu aktualisieren.

Methodik: DITTO
Die Autoren schlagen DITTO vor, ein Modell, das durch die Behandlung von verbalem Feedback als Signal ersten Rangs innerhalb eines Reinforcement-Learning-Rahmens trainiert wird. Die Kerninnovation ist eine Trainingsschleife, die feedback-konditionierte Verbesserungen generiert und diese gemeinsam mit der Basis-Policy optimiert, wodurch das Modell die Möglichkeit erhält, Anleitung zu internalisieren, ohne dass Feedback zur Testzeit erforderlich ist.

Der Trainingsprozess für einen gegebenen Prompt $x$ verläuft wie folgt:

Draft Rollout: Die Policy $\pi_\theta$ generiert eine initiale Antwort $y_0$ .
Feedback-Generierung: Ein LLM-Richter bewertet $y_0$ und erzeugt eine skalare Belohnung $r_0$ sowie strukturiertes verbales Feedback $h$ (einschließlich Kritiken und Reflexionen zu Dimensionen wie Glaubwürdigkeit, Pflege von Beziehungen und Zielerreichung).
Verfeinerter Rollout: Die Policy generiert eine zweite Antwort $y_1$ , konditioniert auf den Prompt und das Feedback ( $x, h$ ).
Gemeinsame Optimierung: Sowohl $y_0$ $y_{0}$ als auch $y_1$ $y_{1}$ werden unter Verwendung von Group Relative Policy Optimization (GRPO) optimiert.
- Ein gruppenspezifischer Vorteil wird über den Satz der ursprünglichen und verfeinerten Rollouts berechnet.
- Ein standardmäßiges, geklipptes GRPO-Ziel ( $L_{group}$ ) wird auf die gemeinsame Gruppe angewendet, um die Basis-Policy zu ermutigen, aus den Verbesserungen zu lernen.
- Ein zusätzliches Ziel ( $L_{fb}$ ) wird spezifisch auf die feedback-konditionierten Rollouts angewendet, um die Fähigkeit des Modells zu verbessern, direkt auf Feedback zu reagieren.
- Der finale Verlust ist $L = L_{group} + L_{fb}$ .

Entscheidend ist, dass das verbale Feedback $h$ als privilegierte Information behandelt wird: Es steht während des Trainings zur Verfügung, um die Generierung von $y_1$ zu steuern und die Policy zu optimieren, ist jedoch während der Inferenz nicht erforderlich. Das Ziel besteht darin, dass die Basis-Policy das „Lehrer"-Verhalten (die verbesserte $y_1$ ) in ihren Standardgenerierungsprozess internalisiert.

SOUL-Benchmark
Um Training und Evaluation zu erleichtern, stellen die Autoren SOUL (Simulation gym Of hUman-Like behavior) vor, eine einheitliche Benchmark und Datensammlung. SOUL adressiert die Engpassproblematik fehlender Trainingsdaten für die menschliche Simulation, indem es kuratierte RL-Trainingsaufteilungen für 10 Aufgaben in sechs Kategorien bereitstellt:

Theory of Mind: FanToM, HiToM, ToMi.
Charakter-Rollenspiel: CoSER, LifeChoices.
Soziale Kompetenz: Sotopia.
Lernersimulation: Mistakes.
Nutzersimulation: MirrorBench, UserLLM.
Personasimulation: TwinVoice.

Die Suite umfasst diskriminative (Multiple-Choice), generative (offene Dialoge) sowie Multi-Turn- und Multi-Agenten-Interaktionsformate.

Hauptergebnisse
Experimente wurden mit einem Qwen3-8B-Basismodell durchgeführt.

Leistung: DITTO erreichte einen durchschnittlichen normalisierten Score von 0,726 über SOUL-Aufgaben, was einer 36%igen Verbesserung gegenüber dem Basismodell entspricht.
Vergleich mit dem State-of-the-Art: DITTO übertraf das fortschrittlichste geschlossene Modell GPT-5.4 bei 6 von 10 Benchmarks, einschließlich aller drei Theory-of-Mind-Aufgaben und beider Nutzersimulationsaufgaben. Es übertraf zudem konsistent spezialisierte Baselines für die menschliche Simulation (z. B. Sotopia-RL, HER).
Ablation: Der Mechanismus des verbalen Feedbacks erzielte konsistente Gewinne gegenüber standardmäßigem GRPO, wobei die größten Verbesserungen bei generativen und Multi-Turn-Aufgaben beobachtet wurden (z. B. +14 Punkte auf TwinVoice, +11 auf ToMi).
Sicherheit: Die Analyse zeigte, dass verbales Feedback dazu beitrug, Sicherheitsrisiken zu mindern. Während standardmäßiges GRPO während der Optimierung bei Dimensionen wie „Geheimhaltung" an Leistung verlor, bewahrte DITTO die Fähigkeit, Geheimnisse zu wahren, besser, wahrscheinlich aufgrund der expliziten Anleitung im verbalen Feedback.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Abkehr von skalaren Belohnungen hin zu reichhaltigerem, verbalem Feedback eine vielversprechende Richtung für das Training menschlicherer Simulatoren darstellt. Die Bedeutung der Arbeit liegt in drei Hauptbeiträgen:

Verbales Feedback als Signal: Der Nachweis, dass verbales Feedback handlungsorientierte, dimensionspezifische Anleitung bietet, die die Lerngeschwindigkeit verbessert und Sicherheitsrisiken (wie Geheimnispreisgabe) im Vergleich zu skalaren Belohnungen reduziert.
DITTO-Architektur: Die Einführung einer Methode, die verbales Feedback über feedback-konditionierte Rollouts in die Basis-Policy destilliert und damit signifikante Leistungssteigerungen mit einem 8B-Modell erzielt, das größere, geschlossene Modelle erreicht oder übertrifft.
SOUL-Benchmark: Die Bereitstellung der ersten einheitlichen Trainings- und Evaluierungsumgebung für menschähnliches Verhalten über diverse Aufgabenformate hinweg, wodurch die kritische Lücke an Trainingsdaten in diesem Bereich adressiert wird.

Die Autoren schließen daraus, dass ihr Ansatz es der Basis-Policy ermöglicht, reichhaltige, handlungsorientierte Anleitung zu internalisieren, und deuten an, dass RL mit verbalem Feedback ein gangbarer Weg ist, um die Sim2Real-Lücke in der Simulation menschlichen Verhaltens zu überbrücken.