Calibrating Behavioral Parameters with Large Language Models

Dit onderzoek presenteert een raamwerk waarbij grote taalmodellen (LLM's) worden gekalibreerd om gedragsparameters zoals verliesaversie en kuddegedrag nauwkeuriger te meten, waarbij de gekalibreerde resultaten consistent zijn met menselijke benchmarks en empirische marktpatronen.

De kern

Stel je voor dat je een groep robots hebt die proberen te leren hoe mensen handelen op de beurs. Normaal gesproken zijn die robots "te perfect": ze zijn super logisch, rekenen razendsnel en maken nooit een emotionele fout. Maar de echte wereld is niet perfect; mensen zijn grillig, angstig en laten zich soms meeslepen door de massa.

Dit wetenschappelijke paper onderzoekt een slimme manier om die "menselijke fouten" in kunstmatige intelligentie (zoals ChatGPT) te programmeren, zodat we ze kunnen gebruiken als een soort digitale laboratoriumratten om de financiële wereld te begrijpen.

Hier is de uitleg in gewone mensentaal:

De Kern: De "Emotie-Thermostaat"

De onderzoekers zeggen eigenlijk: "We hoeven niet te proberen om een robot echt menselijk te maken (met echte angst of zweetdruppels), we moeten ze alleen leren om te reageren zoals een mens dat zou doen."

Ze gebruiken een methode die ze kalibratie noemen. Zie het als een thermostaat. Als je de thermostaat op 'rationeel' zet, gedraagt de AI zich als een kille wiskundige. Maar door een speciaal tekstje (een 'profiel') in de prompt te zetten, kun je de "emotie-thermostaat" omhoog draaien. Je zegt dan tegen de AI: "Je bent een belegger die heel erg bang is om geld te verliezen." Plotseling gedraagt de AI zich precies zoals een mens die paniekerig wordt.

De "Gekkigheid" van de Mens (De Parameters)

Het onderzoek kijkt naar een paar bekende menselijke trekjes, die ze met creatieve metaforen kunnen beschrijven:

1. Verliesaversie (De "Oei, mijn portemonnee!"-factor): Mensen vinden het verliezen van 10 euro veel pijnlijker dan het winnen van 10 euro fijn vindt. De onderzoekers slaagden erin om de AI precies diezelfde "pijn" te laten simuleren.
2. Herding (Het "Volg de kudde"-effect): Als iedereen naar rechts rent, ren jij ook naar rechts, ook al weet je niet waarom. De AI kon heel goed worden geprogrammeerd om de massa blindelings te volgen.
3. Extrapolatie (De "De trein gaat altijd door"-illusie): Als een aandeel gisteren steeg, denken mensen: "Het gaat morgen vast weer stijgen!" (ook al is dat onlogisch). De AI kon deze optimistische tunnelvisie perfect nabootsen.

Waarom is dit nuttig? (De Digitale Glazen Bol)

Waarom zou je een robot dwingen om "domme" menselijke fouten te maken?

Omdat we die robots vervolgens in een digitale simulatie van de beurs kunnen stoppen. In plaats van miljoenen euro's te riskeren in de echte wereld om te zien wat er gebeurt als mensen in paniek raken, bouwen we een digitale wereld met "gekalibreerde" robots.

De onderzoekers ontdekten dat wanneer ze de AI-robots de menselijke fouten gaven (zoals die "trein die altijd doorgaat"-illusie), de digitale beurs precies hetzelfde gedrag vertoonde als de echte beurs: prijzen schieten omhoog en storten daarna weer in. De robots fungeerden als een soort digitale proefkonijnen die de chaos van de echte wereld perfect nabootsten.

De Grens: Wat de robots niet kunnen

De onderzoekers zijn ook eerlijk: een robot heeft geen hartslag. Hij voelt geen echte paniek in zijn onderbuik als de koersen instorten, en hij voelt geen trots als hij een goede deal heeft gesloten.

De conclusie in één zin: We kunnen AI niet gebruiken om te voelen wat wij voelen, maar we kunnen het wel gebruiken als een perfect afgestelde instrumentenbak om de logica van onze eigen onlogica te bestuderen.

Technische samenvatting

Technische Samenvatting: Calibratie van Gedragsparameters met Large Language Models

1. Het Probleem: De Meetbaarheid van Gedrag in de Financiële Economie

In de moderne asset pricing-modellen spelen gedragsparameters (zoals verliesaversie, herding en extrapolatie) een cruciale rol bij het verklaren van marktanomalieën zoals momentum en volatiliteit. Het fundamentele probleem is dat deze parameters — die de afwijkingen van rationeel gedrag kwantificeren — extreem moeilijk betrouwbaar te meten zijn.

Huidige methoden schieten tekort:

• Axiomatische modellen zijn vaak te rigide.
• Laboratoriumexperimenten kampen met meetfouten, selectiebias en beperkte schaalbaarheid.
• Structurele schattingen lijden aan identificatieproblemen (het is moeilijk te onderscheiden of gedrag voortkomt uit voorkeuren, overtuigingen of beperkingen).
• Enquêtes zijn onbetrouwbaar vanwege de lage correlatie tussen zelfrapportage en daadwerkelijk incentivair gedrag.

2. Methodologie: LLM's als Gecalibreerde Meetinstrumenten

De auteurs stellen een paradigmaverschuiving voor: in plaats van LLM's te gebruiken om menselijk gedrag te repliceren (simulatie), gebruiken ze LLM's als gekalibreerde meetinstrumenten.

Het Framework:

• Profiel-gebaseerde Calibratie: De onderzoekers gebruiken specifieke "profiel-prompts" (bijv. een profiel van een "verliesaverse belegger") als experimentele behandelingen. Deze prompts dienen om latente parameters in het model te induceren.
• Validatiecriteria: Om te bepalen of een LLM een valide instrument is, hanteren ze vier voorwaarden:
  1. Monotoniciteit: Sterkere profielen moeten leiden tot sterkere parameterverschuivingen.
  2. Bereikdekking: De geïnduceerde waarden moeten de menselijke benchmarks kunnen bereiken.
  3. Stabiliteit: De resultaten moeten consistent zijn bij herhaalde metingen.
  4. Coherentie: De parameters moeten theoretisch voorspelbare relaties vertonen (bijv. de correlatie tussen verschillende biases).
• Experimenteel Design: Er werd gebruikgemaakt van vier modellen (GPT-4o, GPT-4o-mini, Claude-3.5-Haiku en Gemini-2.5-Pro) met 19.200 agent-scenario paren. De scenario's zijn volledig synthetisch om te voorkomen dat het model simpelweg trainingsdata reproduceert.

3. Belangrijkste Bijdragen

• Methodologische Innovatie: Het introduceren van een framework waarbij LLM's niet als "onderwerp" maar als "instrument" worden behandeld voor het meten van cognitieve componenten van gedrag.
• Identificatie van Rationaliteitsbias: Het aantonen dat baseline LLM's een systematische bias vertonen richting rationaliteit (ze zijn "te rationeel" vergeleken met mensen).
• Validatie via Agent-Based Modeling (ABM): Het koppelen van de gekalibreerde parameters aan een economisch model om te bewijzen dat de parameters daadwerkelijk economische content hebben.

4. Resultaten

De resultaten laten een duidelijk onderscheid zien tussen verschillende soorten biases:

A. Succesvolle Calibratie (Sterke Validatie):
Voor de volgende parameters konden de LLM's menselijke benchmarks bereiken of overtreffen:

• Verliesaversie ($\lambda$): Van een baseline van 1.12 naar 3.00 (menselijke benchmark $\approx$ 2.25).
• Herding (Kuddegedrag): Van 61% naar 90% (menselijke benchmark $\approx$ 70%).
• Extrapolatie ($\theta$): Van 0.44 naar 0.88 (menselijke benchmark $\approx$ 0.60).
• Anchoring (Verankering): Bereikte significante correlaties met menselijke waarden.

B. Onvoldoende Calibratie (Zwakke Validatie):

• Disposition Effect & Representativeness Bias: Deze parameters bereikten niet de magnitudes van menselijke benchmarks. De auteurs concluderen dat deze biases sterk afhankelijk zijn van emotionele aspecten (zoals spijt of trots) die LLM's niet kunnen ervaren.

C. Externe Validiteit (Asset Pricing):
Wanneer de gekalibreerde extrapolatie-parameter ($\theta$) werd ingebed in een agent-gebaseerd model, genereerde dit momentum en reversal patronen die zeer consistent zijn met de empirische bevindingen van Jegadeesh en Titman (1993). Dit bewijst dat de LLM-parameters niet slechts psychometrische artefacten zijn, maar economisch relevante variabelen.

5. Significante Conclusies en Grenzen

Betekenis:
Het onderzoek toont aan dat LLM's een krachtig nieuw instrument zijn voor de gedragseconomie, vooral voor het meten van de cognitieve en computationele aspecten van biases (zoals informatieverwerking en heuristieken). Dit biedt een schaalbare manier om agent-gebaseerde modellen te voeden met gedragsdata die voorheen onbereikbaar waren.

Grenzen (Boundary Conditions):
De auteurs zijn zeer expliciet over de beperkingen. LLM-calibratie is niet geschikt voor fenomenen die rusten op:

1. Affectieve/Emotionele intensiteit: Angst, euforie of fysieke stress.
2. Sociale druk: De fysieke aanwezigheid van anderen of reputatierisico's.
3. Echte financiële belangen: Het ontbreken van werkelijke monetaire inzet (stakes) beperkt de validiteit van de reacties.

Eindconclusie: LLM's vervangen de menselijke proefpersoon niet, maar ze breiden de empirische gereedschapskist uit door de cognitieve fundamenten van gedrag met ongekende precisie en controle te meten.