HumanLM: Simulating Users with State Alignment Beats Response Imitation

Dit paper introduceert HumanLM, een nieuw trainingskader dat gebruikerssimulaties verbetert door niet alleen antwoorden te imiteren, maar ook psychologisch onderbouwde, verborgen toestanden te genereren die via versterkingslering zijn uitgelijnd met de werkelijke reacties van gebruikers, wat resulteert in aanzienlijk betere prestaties op de nieuwe Humanual-benchmark.

De kern

De Kern: Van "Nabootsen" naar "Begrijpen"

Stel je voor dat je een acteur wilt huren om een rol te spelen in een toneelstuk. Je hebt twee opties:

1. De oude methode (Imitatie): Je geeft de acteur een script en zegt: "Herhaal precies wat de vorige acteur zei." De acteur leert dan de woorden, de toon en zelfs de flauwe grappen van de vorige persoon. Maar als de situatie verandert, weet hij niet meer wat hij moet doen, omdat hij alleen de woorden heeft geleerd, niet de mens achter de woorden.
2. De nieuwe methode (HUMANLM): Je geeft de acteur een diepgaand psychologisch profiel. Je zegt: "Deze persoon is boos, maar probeert het beleefd te houden. Hij is bezorgd om zijn familie en vindt eerlijkheid belangrijk." De acteur denkt dan na over wie deze persoon is en waarom hij zo reageert. Hierdoor kan hij in elke nieuwe situatie een reactie bedenken die echt voelt als die persoon, zelfs als hij die specifieke woorden nog nooit heeft gebruikt.

HUMANLM is precies deze tweede methode voor kunstmatige intelligentie (AI).

---

Het Probleem: De "Papieren Pop"

Tot nu toe probeerden AI-modellen mensen na te bootsen door te kijken naar wat mensen zeiden (de oppervlakte). Het was alsof je een poppenkastpoppetje probeert te besturen door alleen aan de touwtjes te trekken die de mond bewegen.

• Het resultaat: De AI zegt misschien wel "Oh nee, wat een ramp!" als er een brand is, maar ze mist de echte emotie. Ze weet niet waarom iemand boos is, of dat iemand eigenlijk sarcastisch is. Ze leert alleen de "woorden" van de pop, niet de "ziel".

De Oplossing: De "Ziel" van de AI

De onderzoekers van Stanford (en anderen) hebben een nieuwe manier bedacht: HUMANLM. In plaats van alleen te kijken naar het antwoord, laten ze de AI eerst denken aan de geestestoestand (de "latent states") van de gebruiker.

Ze hebben de geestestoestand opgedeeld in zes belangrijke dimensies, alsof je een persoon scant met een speciale röntgenfoto:

1. Geloof: Wat denkt deze persoon dat waar is?
2. Doel: Wat probeert deze persoon te bereiken met zijn bericht?
3. Waarden: Wat vindt deze persoon belangrijk? (Bijv. eerlijkheid, vrijheid).
4. Houding: Is hij het eens of oneens met iets?
5. Emotie: Is hij boos, verdrietig, of sarcastisch?
6. Communicatie: Hoe spreekt hij? (Direct, beleefd, grappig, streng).

De creatieve analogie:
Stel je voor dat je een kok bent die een gerecht moet koken voor een specifieke klant.

• De oude AI kijkt alleen naar het recept van de vorige maaltijd en probeert het exact na te maken. Als de klant vandaag een andere smaak wil, faalt de kok.
• HUMANLM is de kok die eerst de klant vraagt: "Wat vind je lekker? Ben je hongerig? Heb je een allergie? Wat is je favoriete smaak?" De kok denkt dan na over de ingrediënten (de geestestoestand) en kookt een maaltijd die perfect past bij de klant, zelfs als het een compleet nieuw gerecht is.

Hoe werkt het in de praktijk?

Het proces ziet eruit als een drie-stappen dans:

1. Het Profiel: De AI krijgt een profiel van de gebruiker (bijv. "Een Amerikaanse vrouw die bezorgd is over klimaatverandering en sarcastisch kan zijn").
2. De "Gedachten" (Latent States): Voordat de AI een antwoord schrijft, schrijft hij eerst een "gedachtenkrantje". Hij denkt na: "Oké, ik ben het niet eens met dit plan (Houding), ik voel me verdrietig voor de slachtoffers (Emotie), en ik wil mijn boodschap kort en krachtig houden (Communicatie)."
3. Het Antwoord: Pas daarna schrijft de AI het daadwerkelijke antwoord, gebaseerd op die gedachten.

De AI wordt getraind met een rechter (een andere AI). Deze rechter kijkt niet alleen of het antwoord goed klinkt, maar checkt: "Komt dit antwoord overeen met de gedachten die we net hebben bedacht? Past de boosheid bij de situatie?" Als het antwoord niet past bij de "ziel" van de gebruiker, krijgt de AI een straf. Zo leert hij steeds beter.

Waarom is dit zo belangrijk?

De onderzoekers hebben een enorme testomgeving gemaakt genaamd HUMANUAL (met 26.000 echte mensen en 216.000 reacties uit nieuws, boeken, politiek en chats).

• Het resultaat: HUMANLM deed het veel beter dan alle andere methoden. Mensen vonden dat de AI-antwoorden eruit zagen als echte mensen. Ze voelden zich "herkend".
• De toepassing: Dit is superbelangrijk voor ontwikkelaars van apps, politici en bedrijven. Als je wilt weten hoe mensen reageren op een nieuw beleid of een nieuw product, kun je nu een AI gebruiken die echt voelt als een mens, in plaats van een robot die alleen woorden nababbelt.

Samenvatting in één zin

HUMANLM is een slimme manier om AI te leren niet alleen de woorden van mensen na te bootsen, maar eerst de gedachten en gevoelens te begrijpen, zodat de AI in elke situatie reageert als een echt mens met een eigen persoonlijkheid.

Technische samenvatting

1. Het Probleem

Grote Taalmodellen (LLMs) worden steeds vaker gebruikt om te simuleren hoe specifieke gebruikers reageren op verschillende contexten (bijv. nieuwsberichten, politieke blogs, chatgesprekken). Dit is essentieel voor het ontwikkelen van mensgerichte AI-toepassingen.

De huidige aanpak van gebruikerssimulatie heeft echter een fundamenteel tekort:

• Oppervlakkige imitatie: Bestaande modellen (vaak getraind via Supervised Fine-Tuning of SFT) leren voornamelijk oppervlakkige taalpatronen, zoals het gebruik van emoji's of specifieke zinsconstructies.
• Gebrek aan onderliggende staat: Ze falen in het vastleggen van de diepere, psychologische "toestand" (state) van een gebruiker, zoals hun overtuigingen, waarden, emoties, standpunten en communicatiestijl.
• Gevolg: De gegenereerde antwoorden lijken misschien op de stijl van een gebruiker, maar missen de kerninhoud, de juiste emotionele nuance of het werkelijke standpunt, wat leidt tot onbetrouwbare simulaties in nieuwe situaties.

2. Methodologie: HUMANLM

Het paper introduceert HUMANLM, een nieuw trainingskader dat verschuift van het imiteren van antwoorden naar het aligneren met latente staten (latent states).

Kerninzicht

In plaats van direct een antwoord te genereren dat lijkt op een grondwaarheid (ground truth), genereert het model eerst natuurtaallatente staten die de psychologische drijfveren van de gebruiker beschrijven. Het model leert om deze staten af te stemmen op de grondwaarheid en gebruikt deze vervolgens om het uiteindelijke antwoord te synthetiseren.

De zes Statedimensies

Het model is ontworpen om staten te genereren langs zes psychologisch onderbouwde dimensies:

1. Belief (Overtuiging): Fundamentele aannames over hoe de wereld werkt.
2. Goal (Doel): Wat de gebruiker probeert te bereiken met het antwoord.
3. Value (Waarde): Wat de gebruiker belangrijk vindt (normen).
4. Stance (Standpunt): De houding ten opzichte van een specifiek onderwerp of claim.
5. Emotion (Emotie): Het emotionele niveau en de intensiteit.
6. Communication (Communicatie): De manier van structureren en toon (bijv. direct, sarcastisch, empathisch).

Trainingsproces

Het trainingsproces bestaat uit twee fasen, ondersteund door Reinforcement Learning (RL) met GRPO (Group Relative Policy Optimization):

1. Genereren van Geregistreerde Latente Staten:

   • Het model genereert expliciete latent staten voor de gekozen dimensies.
   • Een LLM-judge (een beoordelend model) scoort hoe goed deze gegenereerde staten overeenkomen met de grondwaarheid (het echte gebruikersantwoord).
   • Om bias te voorkomen, worden batches van staten (rollouts) simultaan beoordeeld en relatief gescoord.

2. Synthese van Antwoorden:

   • Het model genereert een redeneringspad (reasoning trace) waarin de gegenereerde staten worden gebruikt om het antwoord op te bouwen.
   • Het model synthetiseert het uiteindelijke antwoord op basis van deze staten.
   • De gegenereerde antwoorden worden opnieuw beoordeeld op alignering met de grondwaarheid.

Het doel is om de aligneringsscores op de latent staten te maximaliseren, wat leidt tot antwoorden die de onderliggende gebruikerstochten nauwkeuriger weerspiegelen dan directe tekstimitatie.

3. Belangrijkste Bijdragen

1. HUMANLM Framework: Een nieuw paradigma voor gebruikerssimulatie dat expliciete latent staten genereert en aligneert in plaats van alleen tekst te imiteren. Dit lost het probleem op van "combinatorische ambiguïteit" waarbij modellen niet weten welke aspecten van een antwoord ze moeten verbeteren.
2. HUMANUAL Benchmark: De auteurs introduceren een uitgebreide benchmark met 6 grote datasets (26.000 gebruikers, 216.000 reacties) uit diverse bronnen (YouTube, Amazon, Reddit, Medium, Enron e-mails). Dit is veel diverser dan bestaande benchmarks die vaak synthetische profielen of beperkte contexten gebruiken.
3. Real-time Validatie: Een studie met 111 menselijke deelnemers om de "menselijkheid" en gelijkenis van de simulaties te testen.

4. Resultaten

De resultaten tonen aan dat HUMANLM significant beter presteert dan de beste bestaande methoden (zoals SFT, GRPO zonder staten, en prompting):

• Benchmark Prestaties: Op de HUMANUAL-benchmark behaalde HUMANLM een gemiddelde relatieve verbetering van 16,3% op de aligneringsscore (beoordeeld door een LLM-judge) ten opzichte van de beste baselines.
  • De verbetering was het grootst bij het simuleren van boekenrecensies (36,0%) en nieuwsreacties (20,6%).
  • HUMANLM behaalde de hoogste scores op 80% van de geteste latent staten.
• Menselijke Evaluatie: In de real-time studie met menselijke deelnemers:
  • HUMANLM behaalde een winstpercentage van 41,4% op algehele gelijkenis (vs. 30,6% en 27,9% voor de concurrenten).
  • 55,9% van de deelnemers vond de HUMANLM-antwoorden "grotendeels gelijk" of "bijna identiek" aan hun eigen antwoord, vergeleken met 45,0% voor de beste baseline.
  • De antwoorden werden als natuurlijker en minder repetitief ervaren (76,6% "heel menselijk" vs. 72,1% voor de baseline).
• Training Dynamics: In tegenstelling tot standaard RL-methoden (GRPO), die vaak vastlopen in lokale optima, toont HUMANLM een bredere verkenning van de ruimte van mogelijke staten, wat leidt tot consistentere en hogere kwaliteit antwoorden.

5. Betekenis en Impact

Dit paper is significant voor het veld van mensgerichte AI omdat het aantoont dat het simuleren van gebruikers niet gaat om het nabootsen van taalgebruik, maar om het begrijpen van de onderliggende psychologische staat.

• Betrouwbaarheid: Door staten zoals standpunt, emotie en waarden expliciet te aligneren, worden simulaties betrouwbaarder voor het testen van beleid, het verbeteren van aanbevelingssystemen en het evalueren van AI-assistenten.
• Schaalbaarheid: Het biedt een schaalbare manier om menselijk gedrag te begrijpen op grote schaal, wat waardevol is voor sociaal-cognitief onderzoek.
• Toekomst: Het kader opent de weg voor meer geavanceerde simulaties die rekening houden met de complexiteit van menselijke interactie, waarbij het model leert waarom een gebruiker reageert zoals hij/zij doet, en niet alleen hoe.

Kortom, HUMANLM bewijst dat het expliciet modelleren van de "geest" van de gebruiker (via latent staten) superieur is aan het simpelweg nabootsen van de "mond" (via tekstimitatie).