🤖 AI

Mind the (DH) Gap! A Contrast in Risky Choices Between Reasoning and Conversational LLMs

Deze studie toont aan dat er een significant verschil bestaat in risicogedrag tussen redenerende en conversatieve grote taalmodellen, waarbij de eerste meer rationeel en consistent reageren dan de tweede, die meer lijken op mensen en gevoelig zijn voor framing en beschrijvingswijze.

Oorspronkelijke auteurs: Luise Ge, Yongyan Zhang, Yevgeniy Vorobeychik

Gepubliceerd 2026-04-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Luise Ge, Yongyan Zhang, Yevgeniy Vorobeychik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De Grote KLOOF in de Keuzes van AI: Reden versus Gesprek

Stel je voor dat je twee soorten robots hebt die je helpen beslissingen nemen in een casino. De ene robot is een wiskundig genie (we noemen ze "Redenerende Modellen" of RMs), en de andere is een sociale praatpaal (de "Conversational Modellen" of CMs).

De onderzoekers van deze paper hebben gekeken hoe deze robots kiezen tussen risico's, en ze ontdekten iets verrassends: deze robots gedragen zich totaal verschillend, afhankelijk van hoe je ze de informatie geeft en wat je van ze vraagt.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. De Twee Teams: De Rekenmeester vs. De Verhalenverteller

De onderzoekers keken naar 20 verschillende AI-modellen. Ze ontdekten dat ze in twee duidelijke groepen vallen:

De Redenerende Modellen (RMs): Denk aan een strakke, koude rekenmachine. Als je ze vraagt om te kiezen, kijken ze puur naar de cijfers. Ze gedragen zich bijna als een "ideale economische mens" die altijd de keuze maakt die het meeste geld oplevert. Ze zijn niet te verleiden door mooie woorden of hoe je de vraag stelt.
De Conversational Modellen (CMs): Dit zijn de robots die we vaak gebruiken om te chatten. Ze zijn vriendelijker, maar ook veel meer als mensen. Ze laten zich beïnvloeden door de sfeer, de volgorde van de woorden en hoe je ze aanspreekt. Ze maken vaak "irrationele" keuzes, net zoals wij mensen dat doen.

De metafoor: Als je een Redenerende robot vraagt "Welke auto is het veiligst?", kijkt hij naar de crashtestcijfers. Als je een Conversational robot vraagt, kijkt hij misschien naar hoe mooi de auto eruitziet in de reclame, of wat de verkoper zegt.

2. Het Grote Geheim: De "Beschrijving vs. Ervaring" KLOOF

Dit is het belangrijkste stukje van het onderzoek. Mensen gedragen zich anders als ze iets lezen dan wanneer ze het ervaren.

De Beschrijving (Het Menu): Je leest: "Er is 70% kans op $100 en 30% kans op niets."
De Ervaring (De Geschiedenis): Je krijgt een lijstje met 20 keer een resultaat: 14 keer $100 en 6 keer niets.

Wat gebeurde er met de robots?

De Redenerende robots (RMs) zagen geen verschil. Of je gaf ze het menu of het lijstje, ze maakten dezelfde, logische keuze. Ze waren niet te verwarren.
De Conversational robots (CMs) vielen in een enorme valstroom. Als ze het lijstje zagen (de ervaring), veranderden hun keuzes drastisch. Ze werden dan veel meer als mensen: ze leken de kans op winst te onderschatten of te overschatten, afhankelijk van hoe het lijstje eruitzag.

De onderzoekers noemen dit de "DH-Gap" (Beschrijving-Historie KLOOF). De conversatie-robots hebben hier een grote kloof, terwijl de rekenrobots nauwelijks een kloof hebben.

3. De Kracht van Uitleg: Waarom "Waarom?" belangrijk is

De onderzoekers vroegen de robots ook om hun keuze te uitleggen.

Verrassing: Als je een conversatie-robot vraagt om een korte, simpele zin als uitleg ("Ik kies A omdat..."), worden ze vaak slimmer en meer rationeel. Het lijkt alsof het proces van het uitleggen hen dwingt om na te denken.
Maar pas op: Als je ze vraagt om een wiskundige uitleg te geven, worden ze soms juist weer minder rationeel. Het is alsof ze in de wiskunde verstrikt raken en de logica kwijtraken.

4. Waarom is dit zo? (De Oorzaak)

De onderzoekers keken naar hoe deze robots zijn getraind. Het verschil zit hem in wiskundig redeneren.

De robots die specifiek zijn getraind om wiskundige problemen op te lossen (zoals het oplossen van vergelijkingen), werden de "Redenerende Modellen".
De robots die vooral getraind zijn om te chatten en gesprekken te voeren, bleven de "Conversational Modellen".

Het lijkt erop dat wiskundetraining de robot leert om zich te houden aan de feiten, terwijl chat-training de robot leert om te reageren op de context en de "sfeer" van de vraag.

Conclusie: Wat betekent dit voor ons?

Als je een AI wilt gebruiken om belangrijke financiële beslissingen te nemen (bijvoorbeeld beleggen of verzekeringen), moet je oppassen.

Gebruik geen "chatbot" als je een eerlijke, rationele berekening wilt. Die kan zich laten verleiden door hoe je de vraag stelt.
Gebruik liever een "redenerende" AI, maar wees je ervan bewust dat deze misschien te koud en te puur rationeel is, en niet begrijpt waarom mensen soms irrationele keuzes maken.

Kort samengevat: AI is niet één soort wezen. Sommige zijn als een strakke rekenmachine die nooit verandert, en andere zijn als een mens die zich laat meeslepen door de manier waarop je het verhaal vertelt. En die kloof tussen "wat je leest" en "wat je ziet gebeuren" is voor de chatbots een enorme valkuil.

Titel: Mind the (DH) Gap! Een Contrast in Risicovolle Keuzes tussen Redenerende en Conversational LLM's

1. Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet als beslissingsondersteunende systemen en in agentische workflows die onzekerheid inherent bevatten. Hoewel hun rol in de economische besluitvorming groeit, blijft het begrip van hoe LLM's beslissingen nemen onder onzekerheid beperkt. Bestaande literatuur levert tegenstrijdige bevindingen op over de mate van rationaliteit van LLM's en hun overeenkomst met menselijk gedrag (bijv. Prospect Theory).

Er is een gebrek aan onderzoek naar twee specifieke dimensies die cruciaal zijn voor taal-gemedieerde besluitvorming:

Representatie van prospects: Het verschil tussen het presenteren van risico's als expliciete beschrijvingen (kansen en uitkomsten) versus als een geschiedenis van waargenomen uitkomsten (ervaring). In de menselijke psychologie staat dit bekend als de Description-Experience (D-E) gap.
Decision Rationale: De impact van het vragen om een uitleg (verantwoording) op de uiteindelijke keuze.

Het paper onderzoekt of LLM's systematisch afwijken van rationeel gedrag (maximalisatie van verwachte opbrengst) en menselijk gedrag, en of deze afwijkingen afhankelijk zijn van het type model en de presentatievorm.

2. Methodologie

De auteurs hebben een gecontroleerde studie uitgevoerd met de volgende opzet:

Deelnemers: 20 state-of-the-art LLM's (zowel gesloten "frontier" modellen als open-weight modellen) en 360 menselijke proefpersonen (via Prolific).
Taalmodellen: De selectie omvatte modellen van Anthropic, OpenAI, Google, DeepSeek, Meta en Qwen. Ze werden onderverdeeld in twee categorieën op basis van hun trainingsdoel: Reasoning Models (RMs) (geoptimaliseerd voor wiskundig redeneren) en Conversational Models (CMs) (geoptimaliseerd voor conversatie).
Experimenteel Ontwerp:
- Taak: Een tweewegige risicovolle keuze tussen twee prospecten (opties).
- Condities:
  - Expliciet: Prospecten worden gepresenteerd als kansenverdelingen (bijv. "70% kans op $100").
  - Implicit (Geschiedenis): Prospecten worden gepresenteerd als een gesimuleerde geschiedenis van uitkomsten (bijv. 15 keer $100 en 5 keer $0 uit 20 trials).
  - Variabelen: Verschillende kaders (winst vs. verlies), volgorde van opties, en drie prompt-stijlen voor uitleg: geen uitleg, één-zin uitleg, en wiskundige redenering.
- Referentiepunten: Het gedrag van de LLM's werd vergeleken met:
  1. Menselijke proefpersonen.
  2. Een ideale economicus (een rationele agent die de verwachte opbrengst maximaliseert).
Analyse:
- Correlatie-analyse: Pearson-correlaties tussen de keuzeverdelingen van modellen, mensen en de economicus.
- Interpreteerbare Modellen: Fitten van een Dual-Beta Prospect Theory model (4 parameters: $\sigma$ voor risicovoorkeur, $\gamma$ voor waarschijnlijkheidsweging, en $\beta_{gain}$ / $\beta_{loss}$ voor besluitvaardigheid in winst/verlies domeinen) om de onderliggende voorkeuren te kwantificeren.
- Consistentie-maten: Analyse van de gevoeligheid voor volgorde, framing en het type uitleg.

3. Belangrijkste Bevindingen

A. Twee Duidelijke Gedragsclusters
De LLM's clusteren in twee distincte groepen:

Reasoning Models (RMs): Gedragen zich sterk rationeel (gelijkend op de economicus). Ze zijn ongevoelig voor de volgorde van prospects, framing (winst/verlies) en het type uitleg. Ze vertonen een kleine "Description-History (DH) gap".
Conversational Models (CMs): Gedragen zich minder rationeel en vertonen meer menselijke kenmerken (hoewel ze niet exact met mensen overeenkomen). Ze zijn zeer gevoelig voor volgorde, framing en uitleg. Ze vertonen een grote DH-gap: hun gedrag verandert drastisch tussen expliciete beschrijvingen en historische data.

B. De Description-History (DH) Gap

Bij CMs is de verschuiving in gedrag tussen expliciete en impliciete prospects enorm: ze worden veel meer mens-achtig en minder rationeel wanneer ze op basis van een geschiedenis moeten beslissen.
Bij RMs is deze verschuiving bescheiden; ze blijven dicht bij de rationele economicus, ongeacht de presentatievorm.
Mensen vertonen een omgekeerd patroon: ze worden juist rationeler (meer economicus-achtig) wanneer prospects impliciet (via geschiedenis) worden gepresenteerd.

C. Impact van Uitleg (Explanations)

Het vragen om een korte uitleg (één zin) verhoogt de rationaliteit van de meeste modellen (vooral CMs) en brengt ze dichter bij de economicus.
Het vragen om een wiskundige uitleg heeft een gemengd effect: bij CMs leidt dit vaak tot minder rationele beslissingen (mogelijk omdat ze niet getraind zijn voor wiskundig redeneren en alleen "opgeblazen" tekst genereren), terwijl RMs stabiel blijven.

D. Rol van Training en Schaal

Wiskundig Redeneren: De belangrijkste differentiator tussen RMs en CMs is de training voor wiskundig redeneren. Modellen die specifiek voor wiskunde zijn gefinetuned (bijv. Qwen-Math, Olmo-Think) vallen in de RM-cluster, ongeacht hun grootte.
Schaal: Grotere modellen neigen over het algemeen dichter bij zowel mensen als de economicus te liggen dan kleinere modellen (Pareto-dominantie), maar het type training (redeneren vs. converseren) is de doorslaggevende factor.

4. Technische Resultaten (Parametrisatie)

Uit het fitten van het Dual-Beta Prospect Theory model bleek:

RMs: Hoge waarden voor $\beta_{gain}$ en $\beta_{loss}$ (hoog determinisme/besluitvaardigheid) en waarden voor $\sigma$ en $\gamma$ dicht bij 1 (risiconeutraal, geen waarschijnlijkheidsdistorsie). Dit komt overeen met rationeel gedrag.
CMs: Lagere waarden voor $\beta$ , wat wijst op minder consistentie. Ze vertonen vaak een asymmetrie tussen winst en verlies (bijv. willekeurige keuzes in het verliesdomein), vergelijkbaar met menselijk gedrag.
Mensen: Toonden een sterke asymmetrie in besluitvaardigheid: hoog determinisme bij winst, maar bijna willekeurig gedrag bij verlies (nabij $\beta_{loss} \approx 0$ ).

5. Bijdrage en Significantie

Taxonomie: Het paper introduceert de eerste systematische gedragsclassificatie van LLM's in twee clusters (Reasoning vs. Conversational) op basis van hun economische rationaliteit.
Nieuw Inzicht in DH-Gap: Het toont aan dat LLM's, afhankelijk van hun trainingsdoel, fundamenteel anders omgaan met informatie die via "ervaring" (geschiedenis) versus "beschrijving" wordt verkregen. Dit is cruciaal voor het ontwerp van agentische systemen die in dynamische omgevingen opereren.
Trainingseffecten: Het bevestigt dat "wiskundig redeneren" een sleuteltraining is voor het bereiken van economische rationaliteit in LLM's, meer dan andere pijlers van de trainingspipeline (zoals DPO of RLVF).
Praktische Implicatie: Voor toepassingen waar economische rationaliteit vereist is (bijv. financiële adviesagenten), moeten systemen gebaseerd op Reasoning Models worden gebruikt. Conversational Models zijn gevoeliger voor contextuele manipulaties (framing, volgorde), wat ze minder betrouwbaar maakt voor strikt rationele taken, maar mogelijk meer geschikt voor menselijke interactie.

Conclusie:
De studie concludeert dat er geen enkele "LLM-economische identiteit" bestaat. Het gedrag is sterk afhankelijk van het modeltype en de interface. Reasoning Models convergeren naar rationele optimalisatie, terwijl Conversational Models contextgevoelig zijn en grote verschillen vertonen tussen beschrijvende en ervaringsgebaseerde beslissingen. Dit onderstreept het belang van het zorgvuldig selecteren van het juiste modeltype voor specifieke economische taken.