💬 NLP

Can LLMs Replace Economic Choice Prediction Labs? The Case of Language-based Persuasion Games

Dit artikel으로oont dat Large Language Models effectief kunnen dienen als vervanging voor menselijke proefpersonen bij het genereren van trainingsdata voor economische keuzepredictie binnen taalgebaseerde overtuigingsspellen, waarbij ze vaak modellen overtreffen die zijn getraind op werkelijke menselijke data en tegelijkertijd onthullen dat het vastleggen van geschiedenisafhankelijke beslissingspatronen cruciaal is voor nauwkeurige voorspelling.

Oorspronkelijke auteurs: Eilam Shapira, Omer Madmon, Roi Reichart, Moshe Tennenholtz

Gepubliceerd 2026-08-18

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Eilam Shapira, Omer Madmon, Roi Reichart, Moshe Tennenholtz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de digitale economie is elke klik en elke scroll een keuze. Wanneer een reiziger een hotelrecensie leest op een boekingssite, weegt hij informatie af tegen zijn eigen verlangens, in een poging te beslissen of een kamer de prijs waard is. Dit is een klassiek economisch vraagstuk: hoe nemen mensen beslissingen wanneer ze worden geconfronteerd met onvolledige informatie en de mogelijkheid om misleid te worden? Decennialang hebben economen deze momenten bestudeerd door echte mensen te vragen deel te nemen aan spellen waarbij de ene persoon de ander probeert te overtuigen. Deze experimenten zijn moeilijk uit te voeren; ze vereisen het werven van deelnemers, het bouwen van aangepaste software en het wachten tot mensen beslissingen nemen, een proces dat traag, duur en vaak beperkt is in omvang.

Onlangs is er een nieuw hulpmiddel opgekomen dat belooft de manier waarop we deze beslissingen bestuderen te veranderen: het grote taalmodel. Dit zijn kunstmatige intelligentiesystemen die getraind zijn op enorme hoeveelheden tekst en in staat zijn om menselijke taal met opmerkelijke vloeiendheid te begrijpen en te genereren. Onderzoekers zijn zich gaan afvragen of deze machines meer kunnen dan alleen chatten. Zouden ze als plaatsvervangers voor echte mensen kunnen fungeren in economische experimenten? Als een computer menselijk gedrag goed genoeg kan nabootsen, zou het de enorme hoeveelheden data kunnen genereren die nodig zijn om betere voorspellingsmodellen te trainen, waarmee het probleem van schaarse menselijke data wordt opgelost. De vraag is niet alleen of machines als mensen kunnen praten, maar of ze ook kunnen denken en beslissen als zij in situaties met hoge inzet.

Een team onderzoekers aan de Technion in Israël zette zich in om deze vraag te beantwoorden door kunstmatige intelligentie-agenten in een complex spel van overtuiging te plaatsen. In hun opstelling probeert één speler, die optreedt als expert, een tweede speler, de besluitvormer, te overtuigen om een specifiek hotel te bezoeken. De expert kent de werkelijke kwaliteit van het hotel, maar kan slechts één geschreven recensie delen uit een lijst met opties. De besluitvormer moet vervolgens beslissen of hij het hotel bezoekt op basis van die recensie en zijn eerdere ervaringen met de expert. Als het hotel daadwerkelijk goed is, wint de besluitvormer; als het slecht is, verliest hij. De expert wint echter altijd als de besluitvormer ervoor kiest het hotel te bezoeken, ongeacht de werkelijke kwaliteit van het hotel. Dit creëert een strategische spanning waarbij de expert kan liegen om een beter resultaat te behalen, en de besluitvormer moet leren om de misleiding in de loop van de tijd te herkennen.

De onderzoekers verzamelden eerst gegevens van honderden echte menselijke spelers die dit spel over vele ronden speelden. Vervolgens vervingen ze de menselijke besluitvormers door verschillende grote taalmodellen, waarbij ze de machines de instructie gaven het spel te spelen volgens dezelfde regels en tegenover dezelfde hotelrecensies. Om de simulaties realistischer te maken, gaven de onderzoekers elke machine een specifieke persoonlijkheid, zoals een optimistische reiziger die altijd het positieve ziet, of een prijsbewuste shopper die diep geeft om kosten. Door duizenden van deze gesimuleerde spellen te draaien, creëerde het team een enorme dataset van door machines genomen beslissingen, die ze gebruikten om een computerprogramma te trainen om te voorspellen hoe een mens in dezelfde situatie zou handelen.

De resultaten waren verrassend. Wanneer de onderzoekers een voorspellingsmodel trainden met uitsluitend de gegevens gegenereerd door de kunstmatige intelligentie-spelers, werd het model beter in het voorspellen van menselijk gedrag dan een model dat getraind was op de werkelijke menselijke gegevens zelf, mits de dataset van de machine groot genoeg was. Sterker nog, de door de machine gegenereerde data presteerden beter dan de menselijke data in bijna elk geteste scenario. Dit suggereert dat de kunstmatige intelligentie-agenten niet alleen de woorden van mensen nabootsten, maar ook de diepere strategische patronen van hoe mensen leren en zich aanpassen tijdens herhaalde interacties, begrepen. De machines leerden de geschiedenis van eerdere recensies en het opgebouwde vertrouwen in de loop van de tijd mee te wegen, in plaats van alleen te reageren op de directe woorden op het scherm.

Echter, de studie onthulde ook een aanzienlijk gebrek bij het uitsluitend vertrouwen op machines. Hoewel de modellen getraind op kunstmatige data zeer accuraat waren, waren ze slecht gekalibreerd. In eenvoudige bewoordingen betekent dit dat wanneer het model aangeving confident te zijn in een voorspelling, het vaak vaker ongelijk had dan een model dat getraind was op echte mensen zou zijn. De machine-data was zo overvloedig dat het de model het juiste antwoord meestal wel leerde, maar het faalde erin de machine te leren hoe de machine zijn eigen zekerheid in te schatten. Om dit te herstellen, ontdekten de onderzoekers dat het mengen van een kleine hoeveelheid echte menselijke data met de enorme hoeveelheid machine-data een perfect evenwicht creëerde. Deze hybride aanpak produceerde een model dat zowel zeer accuraat als betrouwbaar in zijn vertrouwensniveaus was.

De onderzoekers gingen dieper in om te begrijpen waarom de machines zo succesvol waren. Ze ontdekten dat de sleutel tot het voorspellen van menselijk gedrag niet de sentiment van de recensie zelf was, maar de geschiedenis van de interactie. Wanneer de kunstmatige intelligentie-agenten de mogelijkheid kregen om veel eerdere ronden te onthouden, genereerden zij gegevens die nauw aansloten bij menselijke besluitvormingspatronen. Maar wanneer hun geheugen beperkt was tot slechts de laatste één of twee beurten, stortte hun vermogen om menselijk gedrag te simuleren in. Deze bevinding benadrukt dat menselijke besluitvorming in deze spellen fundamenteel gaat over strategie en geschiedenis, en niet alleen over het lezen van de emotionele toon van een enkel bericht. De machines slaagden omdat ze leerden het lange spel te spelen, net zoals mensen dat doen.

Om te waarborgen dat hun bevindingen niet beperkt waren tot alleen hotelrecensies, testte het team hun aanpak in een ander, meer abstract overtuigingsspel waarbij spelers elk gewenst bericht konden schrijven, in plaats van te kiezen uit een vaste lijst. Zelfs in deze vrijere omgeving, waar de regels minder rigide waren, bleken de door kunstmatige intelligentie gegenereerde gegevens effectief bij het trainen van modellen om menselijke keuzes te voorspellen. Dit suggereert dat het vermogen van machines om nuttige trainingsdata te genereren een robuust fenomeen is dat verder reikt dan één specifiek type experiment.

De studie concludeert dat hoewel kunstmatige intelligentie de nuance van menselijk gedrag nog niet perfect kan vervangen, het kan dienen als een krachtige motor voor het genereren van de data die nodig is om het te begrijpen. Door machines te gebruiken om de strategische complexiteit van menselijke interactie te simuleren, kunnen onderzoekers de knelpunten van traditionele economische experimenten overwinnen. De weg vooruit houdt een zorgvuldig partnerschap in: het gebruik van de schaal van kunstmatige intelligentie om brede modellen van gedrag op te bouwen, terwijl die modellen worden verankerd met net genoeg echte menselijke data om ervoor te zorgen dat ze betrouwbaar en realistisch blijven. Deze aanpak biedt een nieuwe manier om de ingewikkelde dans van vertrouwen, bedrog en besluitvorming te bestuderen die onze economische wereld definieert.

Technische Samenvatting: Kunnen LLM's Economische Keuzepredictie-labs Vervangen? De Casus van Taalgebaseerde Overtuigingsspellen

1. Probleemstelling

Menselijke keuzevoorspelling in economische contexten is essentieel voor toepassingen in marketing, financiën en openbaar beleid. Het verzamelen van hoogwaardige menselijke keuzegegevens wordt echter vaak beperkt door hoge kosten, privacyzorgen, juridische hindernissen en de inefficiëntie van experimentele opstellingen (bijv. onoplettendheid van deelnemers). Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken bij het simuleren van menselijk gedrag in strategische omgevingen, blijft een kritieke openstaande vraag: Kunnen LLM's synthetische trainingsdata genereren die effectief menselijke besluitvorming voorspelt in complexe, taalgebaseerde economische settings?

Dit paper onderzoekt deze vraag binnen het kader van taalgebaseerde overtuigingsspellen. In tegen tegenstelling tot traditionele economische modellen die berichten abstraheren naar eenvoudige signalen, bevatten deze spellen natuurlijke taalinteracties waarbij een zender (expert) probeert een beslisser (DM) te overtuigen om een aanbod te accepteren (bijv. een hotel) op basis van private informatie (hotelkwaliteit). De complexiteit ontstaat door de wisselwerking tussen linguïstische signalen (tekstuele reviews) en de strategische interactiegeschiedenis (herhaalde rondes van vertrouwen, samenwerking of straf).

2. Methodologie

Experimentele Opstelling

De studie maakt gebruik van het taalgebaseerde overtuigingsspel geïntroduceerd door Apel et al. (2022) en Shapira et al. (2025).

Spelmechanica: Een expert (zender) observeert een set tekstuele reviews en numerieke scores voor een hotel. De private informatie van de expert is de werkelijke kwaliteit van het hotel (Hoog/Laag). De expert selecteert één review om naar een Beslisser (DM) te sturen. De DM besluit of hij "Gaat" (accepteert) of "Thuisblijft" (weigert).
Uitbetalingen: De expert behaalt nut als de DM accepteert, ongeacht de kwaliteit. De DM behaalt alleen nut als het hotel van hoge kwaliteit is en hij accepteert.
Strategieën: De studie hanteert een representatieve set expertstrategieën, waaronder Greedy (stuurt altijd de beste review), Honest (stuurt de beste/slechtste op basis van de werkelijke kwaliteit) en Adaptive strategieën die afhangen van de interactiegeschiedenis.
Databronnen:
- Menselijke Data: Een dataset van 71.579 beslissingen van 210 menselijke spelers die interageren met bot-experts (Shapira et al., 2025).
- LLM Data: Synthetische datasets gegenereerd door menselijke DM's te vervangen door diverse LLM's (Qwen-2-72B, Llama-3-70B/8B, Gemini-1.5, Chat-Bison). Om het gedrag te diversifiëren, kregen LLM's verschillende persona's toegewezen (bijv. Optimistisch, Pessimistisch, Prijsgevoelig) via prompt-prefixes.
- Baseline: Een "Sentiment Baseline" waarbij agenten beslissingen nemen op basis van enkel het sentiment van de huidige review, waarbij de interactiegeschiedenis wordt genegeerd.

Voorspellingskader

De kernopgave is het trainen van een machine learning-model om de actie van de DM ( $a_t \in \{0, 1\}$ ) te voorspellen, gegeven de interactiegeschiedenis en de huidige review.

Modellen: De studie evalueert vier architecturen: LSTM, Mamba, Transformer en XGBoost.
Input Kenmerken: Engineered Features (EFs) die topische, structurele en stilistische aspecten van reviews vastleggen, samen met strategische contextkenmerken.
Evaluatie: Modellen worden getest op een uitgesloten set van 100 menselijke spelers. Prestaties worden gemeten aan de hand van Nauwkeurigheid (Accuracy) en Expected Calibration Error (ECE).

Geavanceerde Integratiestrategieën

Het paper verkent verschillende manieren om LLM's in de voorspellingspipeline te integreren:

LLM als Datagenerator: Het trainen van eenvoudige voorspellers op door LLM gegenereerde data.
LLM als Voorspeller: Het direct gebruiken van de LLM (zero-shot of fine-tuned) om menselijke acties te voorspellen.
Fine-Tuning: Het fine-tunen van een LLM op menselijke data om de capaciteiten voor datageneratie te verbeteren.
DUAL (Double Use of human data for Augmented Learning): Het fine-tunen van een LLM op menselijke data, het genereren van synthetische data, en vervolgens een eenvoudige voorspeller trainen op een mengeling van de originele menselijke data en de nieuwe synthetische data.

3. Belangrijkste Bijdragen en Resultaten

A. LLM's als Effectieve Datageneratoren

Superioriteit op Schaal: Voorspellingsmodellen getraind op door LLM gegenereerde data (specifiek Qwen-2-72B) presteren beter dan modellen getraind op werkelijke menselijke data wanneer de synthetische steekproefomvang voldoende groot is (bijv. >1.000 LLM-spelers).
Strategisch Begrip: LLM-gegenereerde data presteert significant beter dan de "Sentiment Baseline". Dit geeft aan dat succesvolle voorspelling vereist dat men strategisch gedrag (geschiedenisafhankelijke beslissingen) modelleert, in plaats van enkel linguïstische sentimentanalyse.
Persona Diversificatie: Het toewijzen van diverse persona's aan LLM-agenten vermindert de benodigde steekproefcomplexiteit om een hoge nauwkeurigheid te bereiken, wat suggereert dat gedragsdiversiteit in synthetische data cruciaal is.

B. De Calibratie-trade-off

Nauwkeurigheid vs. Calibratie: Hoewel LLM-only modellen een hogere nauwkeurigheid bereiken, lijden ze aan een slechte calibratie (hogere ECE) vergeleken met modellen getraind op menselijke data. De betrouwbaarheidsniveaus van door LLM getrainde modellen komen niet zo goed overeen met empirische uitkomsten.
De DUAL-oplossing: De DUAL-aanpak (het mengen van door de LLM gefinetunede gegenereerde data met de originele menselijke data) biedt het beste van beide werelden: het behoudt de hoge nauwkeurigheid van de synthetische data terwijl het de calibratie aanzienlijk verbetert (bijna de helft van de ECE vergeleken met het gebruik van synthetische data alleen).

C. De Cruciale Rol van Interactiegeschiedenis

Geschiedenis vs. Sentiment: Een analyse van de gedragsgelijkenis onthult een contra-intuïtieve bevinding:
- Geschiedenis-gebaseerde gelijkenis (hoe nauw de beslissingspatronen van een LLM aansluiten bij mensen met betrekking tot eerdere interacties) is positief gecorreleerd met voorspellende nauwkeurigheid.
- Sentiment-gebaseerde gelijkenis is negatief gecorreleerd met voorspellende nauwkeurigheid.
Implicatie: Menselijke besluitvorming in deze spellen is fundamenteel een strategische, geschiedenisafhankelijke taak. Modellen die langetermijninteractiepatronen (vertrouwen, straf) vastleggen zijn effectief, terwijl modellen die zich uitsluitend richten op het onmiddellijke linguïstische signaal (sentiment) minder effectief zijn, zelfs als ze het menselijke sentiment nabootsen.
Geheugenlengte: Het beperken van de zichtbare interactiegeschiedenis van de LLM (bijv. tot 1 of 2 beurten) verslechtert de kwaliteit van de gegenereerde data, wat bevestigt dat een langdurige temporele context essentieel is voor het simuleren van menselijk strategisch gedrag.

D. Generaliseerbaarheid

De bevindingen werden gevalideerd op een ander overtuigingskader (GLEE), dat vrije tekstberichten en variërende spelparameters omvat. Modellen getraind op LLM-vs-LLM data in GLEE presteerden ook beter dan die getraind op beperkte menselijke data, wat suggereert dat de aanpak generaliseert buiten het specifieke "hotel"-scenario.

4. Betekenis en Claims

Het paper claimt dat LLM's kunnen dienen als een kosteneffectief, schaalbaar en hoogwaardig alternatief voor traditionele menselijke dataverzameling voor het trainen van menselijke keuzevoorspellingsmodellen in complexe economische settings.

Paradigmaverschuiving: De studie daagt het idee uit dat synthetische data slechts een tijdelijke oplossing is. Het demonstreert dat met voldoende volume en gepaste gedragsmodellering (persona's, geschiedenis), door LLM gegenereerde data de voorspellende kracht van menselijke data kan overtreffen.
Methodologische Inzicht: Het benadrukt dat de vereiste "menselijkheid" voor voorspelling niet gaat over het nabootsen van oppervlakkige sentimenten, maar over het vastleggen van de strategische dynamiek van herhaalde interacties.
Praktisch Nut: De DUAL-strategie biedt een robuuste oplossing voor omgevingen met een tekort aan data, waardoor onderzoekers de omvang van synthetische data kunnen benutten terwijl ze de betrouwbaarheid van het model verankeren met een kleine hoeveelheid echte menselijke data.
Ethische Noot: De auteurs erkennen dat hoewel deze aanpak de privacy- en kostenproblemen in experimentele economie verlicht, het vermogen om menselijk gedrag accuraat te voorspellen met behulp van AI ook risico's op misbruik met zich meebrengt, wat ethische richtlijnen noodzakelijk maakt.

Concluderend stelt het paper dat LLM's effectief menselijke keuzevoorspellingslabs kunnen vervangen voor trainingsdoeleinden, mits het proces van synthetische datageneratie expliciet de strategische, geschiedenisafhankelijke aard van menselijke besluitvorming modelleert.