🤖 machine learning

Reinforcing Human Behavior Simulation via Verbal Feedback

Dit artikel introduceert DITTO, een model dat via versterkingsleer met verbale feedback is getraind om menselijk gedrag beter te simuleren, samen met de SOUL-benchmarksuite, waarbij aanzienlijke prestatieverbeteringen ten opzichte van basismodellen worden aangetoond en GPT-5.4 op meerdere mensachtige simulatietaken wordt overtroffen.

Oorspronkelijke auteurs: Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: AI Leren "Menselijk Te Gedragen" door Ermee Te Spreken

Stel je voor dat je een kind leert zich te gedragen op een diner.

De Oude Manier (Scalare Beloningen): Je geeft het kind na het eten een cijfer van "6 uit 10". Je vertelt ze niet waarom ze een 6 kregen. Praatten ze te veel? Gebruikten ze de verkeerde vork? Spatten ze soep? Ze hebben geen idee hoe ze het kunnen verbeteren, dus ze raden het volgende keer maar.
De Nieuwe Manier (Verbaal Feedback): Je laat ze zitten en zegt: "Je hebt het geweldig gedaan met de servet, maar je viel je oma in de rede, en dat was onbeleefd. Volgende keer wacht je tot ze klaar is met spreken."

Dit artikel stelt dat huidige AI-modellen (LLM's) worden getraind zoals het kind dat een cijfer van "6" krijgt. Ze zijn goed in wiskunde en coderen omdat die dingen duidelijke juiste/foute antwoorden hebben (zoals een toetsscore). Maar wanneer we AI vragen om menselijk gedrag te simuleren – zoals optreden als een patiënt, een student of een vriend – werken simpele scores niet. Mensen leren sociale normen via woorden, uitleg en correcties, niet via cijfers.

De auteurs bouwden een nieuw systeem genaamd DITTO dat AI leert menselijk te handelen door deze "verbale feedback"-methode te gebruiken.

Hoe DITTO Werkt: Het "Concept en Polijsten"-Spel

Zie DITTO als een creatief schrijfwerkplaats waar de AI zowel de student als de redacteur is. Hier is het proces:

Het Eerste Concept (De Student): De AI probeert een prompt te beantwoorden (bijv. "Speel een chagrijnige leraar"). Ze schrijft een reactie.
De Kritiek (De Rechter): Een krachtige AI-"rechter" leest het concept en geeft verbale feedback. Ze zegt niet zomaar "Goed gedaan". Ze zegt: "Je was te beleefd. Een chagrijnige leraar zou ongeduldiger zijn. Ook heb je vergeten om het huiswerk te noemen."
Het Tweede Concept (De Leraar): De AI neemt die specifieke feedback en schrijft een nieuwe, verbeterde versie van de reactie.
De Les (De Magie): Het systeem traint de AI om naar de oorspronkelijke prompt te kijken en direct de verbeterde versie te genereren, zonder dat ze de feedbacktekst meer nodig heeft. Het is alsof de student de aantekeningen van de leraar leest, het essay verbetert, en dan het gevoel van hoe je een goed essay schrijft onthoudt, zodat ze de aantekeningen de volgende keer niet meer nodig heeft.

Het Resultaat: De AI leert het advies te "internaliseren". Wanneer je later met haar praat, gedraagt ze zich menselijker omdat ze heeft geleerd waarom bepaald gedrag beter is, niet alleen dat het beter is.

De Speelplaats: SOUL (Simulatiegym)

Om te testen of dit echt werkt, bouwden de onderzoekers een enorme gymzaal genaamd SOUL (Simulation gym Of hUman-Like behavior).

Stel je een gymzaal voor met 10 verschillende stations, die elk een ander type "menselijke" vaardigheid testen:

Theory of Mind: Kan de AI begrijpen dat iemand anders iets weet wat zij niet weet? (Zoals een spelletje verstoppertje).
Rollenspel: Kan ze optreden als een specifiek personage uit een boek zonder uit de rol te vallen?
Sociale Vaardigheden: Kan ze een gesprek navigeren om een doel te bereiken (zoals een loonsverhoging vragen) zonder onbeleefd te zijn?
Gebruikerssimulatie: Kan ze zich voordoen als een verwarde klant die met een helpdesk praat?

Ze ontdekten dat bestaande AI-modellen deze tests vaak faalden. Ze klonken te robotachtig, te perfect of te op elkaar gelijkend.

De Resultaten: DITTO Wint de Gymzaal

De onderzoekers testten hun nieuwe model (DITTO) tegen de beste bestaande modellen (inclusief reuzen van grote technologiebedrijven).

De Score: DITTO verbeterde met 36% ten opzichte van het basismodel.
De Showdown: DITTO versloeg het top-tier "GPT-5.4"-model op 6 van de 10 uitdagingen.
Waar het Schitterde: Het was vooral goed in taken die nuance vereisen, zoals sociale vaardigheden en rollenspellen. Het leerde beter geheimen te bewaren en complexe gesprekken te hanteren zonder "vast te lopen" of nep te klinken.

Waarom Dit Belangrijk Is (Volgens Het Artikel)

Het artikel stelt dat we, om AI echt nuttig te maken voor het simuleren van mensen (zoals in therapie-bots, educatieve tutors of klantenservice-training), moeten stoppen met ze te behandelen als wiskundestudenten die alleen een cijfer nodig hebben. We moeten ze behandelen als sociale wezens die uitleg nodig hebben.

Door verbale feedback (woorden) te gebruiken in plaats van alleen scalare beloningen (cijfers), leert de AI de textuur van menselijk gedrag. Het leert dat "onbeleefd" zijn niet gewoon een laag cijfer is; het is een specifieke manier van spreken die gevoelens kwetst.

Kortom: DITTO is een AI die leerde menselijk te handelen door te luisteren naar gedetailleerde kritiek van een leraar, de correcties te oefenen, en vervolgens de aantekeningen van de leraar te vergeten omdat ze het eindelijk "begrepen" had.

Technische Samenvatting: Versterking van Menselijk Gedragsimulatie via Verbale Feedback

Probleemstelling
Huidige Large Language Model (LLM)-simulatoren voor menselijk gedrag lijden onder systematische "Sim2Real"-gaten, waarbij ze homogene output vertonen, niet-afgestemde cognitieve vertekeningen en supermenselijk gedrag dat afwijkt van echte gebruikers. Een primaire beperking ligt in het trainingsparadigma: standaard Reinforcement Learning (RL)-methoden (zoals RLHF, DPO, GRPO) comprimeren alle feedback tot scalair beloningen of binaire voorkeuren. Hoewel dit effectief is voor domeinen met verifieerbare juistheid (zoals code en wiskunde), falen scalair beloningen om de nuance te vangen die vereist is voor menselijk gedragsimulatie, welke subjectief, veelzijdig en contextafhankelijk is. Mensen leren sociale normen niet uit scores, maar uit verbale feedback—uitleg, correcties en dialoog. Bestaande benaderingen die proberen verbale feedback op te nemen, vertrouwen vaak op supervised fine-tuning (SFT) of reflectie tijdens de inferentie, waarbij ze de exploratiecapaciteit van RL missen of niet effectief modelgewichten updaten vanuit ervaring.

Methodologie: DITTO
De auteurs stellen DITTO voor, een model dat getraind wordt door verbale feedback te behandelen als een signaal van eerste klasse binnen een Reinforcement Learning-kader. De kerninnovatie is een trainingslus die feedback-geconditioneerde verbeteringen genereert en deze gezamenlijk optimaliseert met het basisbeleid, waardoor het model begeleiding kan internaliseren zonder feedback tijdens de inferentie te vereisen.

Het trainingsproces voor een gegeven prompt $x$ verloopt als volgt:

Concept Uitrollen: Het beleid $\pi_\theta$ genereert een eerste reactie $y_0$ .
Feedback Genereren: Een LLM-rechter evalueert $y_0$ , waarbij een scalair beloning $r_0$ en gestructureerde verbale feedback $h$ worden geproduceerd (waaronder kritiek en reflecties op dimensies zoals geloofwaardigheid, relatieonderhoud en doelbereiking).
Geraffineerd Uitrollen: Het beleid genereert een tweede reactie $y_1$ geconditioneerd op de prompt en de feedback ( $x, h$ ).
Gezamenlijke Optimalisatie: Zowel $y_0$ $y_{0}$ als $y_1$ $y_{1}$ worden geoptimaliseerd met Group Relative Policy Optimization (GRPO).
- Een groepsrelatief voordeel wordt berekend over de set van originele en geraffineerde uitrollingen.
- Een standaard afgeknipt GRPO-doel ( $L_{group}$ ) wordt toegepast op de gezamenlijke groep om het basisbeleid aan te moedigen te leren van de verbeteringen.
- Een extra doel ( $L_{fb}$ ) wordt specifiek toegepast op de feedback-geconditioneerde uitrollingen om het vermogen van het model om direct op feedback te reageren te verbeteren.
- De uiteindelijke loss is $L = L_{group} + L_{fb}$ .

Cruciaal is dat de verbale feedback $h$ wordt behandeld als bevoorrechte informatie: deze is beschikbaar tijdens training om de generatie van $y_1$ te sturen en het beleid te optimaliseren, maar is niet vereist tijdens inferentie. Het doel is dat het basisbeleid het "leraar"-gedrag (de verbeterde $y_1$ ) internaliseert in zijn standaard generatieproces.

SOUL Benchmark
Om training en evaluatie te faciliteren, introduceren de auteurs SOUL (Simulation gym Of hUman-Like behavior), een unificerende benchmark en trainingsdataset. SOUL adresseert de knelpunt van ontbrekende trainingsdata voor menselijke simulatie door verzorgde RL-trainingsverdelingen te bieden voor 10 taken over zes categorieën:

Theory of Mind: FanToM, HiToM, ToMi.
Karakter Rollenspel: CoSER, LifeChoices.
Sociale Vaardigheid: Sotopia.
Leerling Simulatie: Mistakes.
Gebruiker Simulatie: MirrorBench, UserLLM.
Persona Simulatie: TwinVoice.

De suite omvat discriminatieve (meerkeuze), generatieve (open dialoog) en multi-turn/multi-agent interactieformaten.

Belangrijkste Resultaten
Experimenten werden uitgevoerd met een Qwen3-8B basismodel.

Prestaties: DITTO behaalde een gemiddelde genormaliseerde score van 0,726 over SOUL-taken, wat een 36% verbetering vertegenwoordigt ten opzichte van het basismodel.
Vergelijking met State-of-the-Art: DITTO presteerde beter dan het frontier gesloten-bronmodel GPT-5.4 op 6 van de 10 benchmarks, inclusief alle drie Theory of Mind-taken en beide Gebruiker Simulatie-taken. Het overtrof ook consistent gespecialiseerde menselijke-simulatie baselines (zoals Sotopia-RL, HER).
Ablatie: Het mechanisme voor verbale feedback bood consistente winsten ten opzichte van standaard GRPO, met de grootste verbeteringen waargenomen op generatieve en multi-turn taken (bijvoorbeeld +14 punten op TwinVoice, +11 op ToMi).
Veiligheid: Analyse toonde aan dat verbale feedback hielp om veiligheidsrisico's te mitigeren. Waar standaard GRPO degradeerde op "geheimhouding"-dimensies tijdens optimalisatie, behield DITTO het vermogen om geheimen beter te bewaren, waarschijnlijk vanwege de expliciete begeleiding in de verbale feedback.

Betekenis en Claims
Het artikel claimt dat het overstappen van scalair beloningen naar rijkere, verbale feedback een veelbelovende richting is voor het trainen van meer menselijke simulatoren. De betekenis van het werk ligt in drie hoofdcontributies:

Verbale Feedback als Signaal: Aantonen dat verbale feedback actiegerichte, dimensiespecifieke begeleiding biedt die de leersnelheid verbetert en veiligheidsrisico's (zoals lekken van geheimen) vermindert in vergelijking met scalair beloningen.
DITTO Architectuur: Het introduceren van een methode die verbale feedback distilleert naar het basisbeleid via feedback-geconditioneerde uitrollingen, waarbij aanzienlijke prestatiewinsten worden behaald met een 8B-model dat grotere, gesloten-bronmodellen evenaart of overtreft.
SOUL Benchmark: Het bieden van de eerste unificerende trainings- en evaluatieomgeving voor menselijk gedrag over diverse taakformaten, waarbij de kritieke tekortkoming aan trainingsdata in dit domein wordt aangepakt.

De auteurs concluderen dat hun aanpak het basisbeleid in staat stelt rijke, actiegerichte begeleiding te internaliseren, wat suggereert dat RL met verbale feedback een haalbare weg is om de Sim2Real-gat in menselijk gedragsimulatie te overbruggen.