Technische Samenvatting: Het afleiden van de bereidheid tot betalen uit subjectieve keuzes in Large Language Models

Probleemstelling

Naarmate Large Language Models (LLM's) steeds vaker worden ingezet als autonome agenten in domeinen zoals reisassistentie en ondersteuning bij aankopen, worden ze frequent geconfronteerd met subjectieve beslissingen waarbij geen objectief juist antwoord bestaat. Er is een kritieke kloof in het huidige onderzoek wat betreft de vraag of deze modellen beschikken over robuuste, interpreteerbare beslissingsgrenzen en hoe vatbaar deze grenzen zijn voor manipulatie via prompt engineering of gebruikerscontext. Specifiek blijft het onduidelijk in welke mate LLM's consistente latente voorkeuren kunnen vertonen die gekwantificeerd en vergeleken kunnen worden met menselijke economische benchmarks, en of deze voorkeuren systematisch verschoven kunnen worden door eenvoudige variaties in de prompt.

Methodologie

De studie hanteert een economisch kader gebaseerd op discrete keuzemodellering om latente voorkeuren af te leiden uit LLM-gedrag. De methodologie verloopt via de volgende fasen:

1. Generatie van Dilemma's: De auteurs hebben 240 keuze-dilemma's geconstrueerd op basis van een eerdere studie door Masiero et al. (2015) betreffende de selectie van hotelkamers. Elk dilemma presenteert twee alternatieven (A en B) die worden gedefinieerd door zeven attributen: Uitzicht, Verdieping, Toegang tot Hotelclub, Gratis Minibar, Gast-smartphone, Annuleringsbeleid en Prijs per nacht.
2. Experimenteel Ontwerp: De studie evalueert drie state-of-the-art LLM's: Llama 3.3 70B, GPT-4o en Gemini-3.1-Pro. Kleinere modellen werden uitgesloten vanwege een gebrekkige verklarende kracht en systematische biases. Experimenten werden uitgevoerd bij een temperatuur van 0 om stochastische ruis te minimaliseren, hoewel robuustheidscontroles werden uitgevoerd bij 0.7.
3. Prompting Strategieën: De auteurs testten vier verschillende prompting-configuraties om Hypothese 2 (contextgestuurde verschuivingen) te beoordelen:
   • Baseline: Geen gebruikersinformatie verstrekt.
   • In-Context Learning (ICL): Het verstrekken van voorbeelden van eerdere gebruikerskeuzes (bijv. consequent kiezen voor goedkopere of duurdere opties).
   • Persona Prompting: Het toekennen van een specifiek gebruikersprofiel (bijv. een budgetbewuste student versus een door een bedrijf betaalde zakenreiziger).
   • Gecombineerd: Een combinatie van persona en ICL-voorbeelden.
4. Data Modellering: Gesimuleerde keuzes werden geanalyseerd met behulp van multinomiale logitmodellen. De nutsfunctie werd gedefinieerd als $U_c^{(i)} = \epsilon_c^{(i)} + \alpha_c + \beta_c \cdot x_c^{(i)}$. Uit de geschatte coëfficiënten ($\beta$) hebben de auteurs de bereidheid tot betalen (Willingness to Pay, WTP) waarden voor elk attribuut afgeleid met de formule: $WTP_k = \frac{\beta_k \cdot \sigma_{price}}{\beta_{price} \cdot \sigma_k}$.
5. Robuustheidsanalyse: De studie bevatte uitgebreide controles voor volgorde-bias (het omdraaien van alternatieven A en B), het herformuleren van prompts, valutaomzetting (HKD vs. USD) en variaties in temperatuur.

Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen aan de literatuur over AI-voorkeursemulicatie:

• Kwantificering van LLM-voorkeuren: Het toont aan dat er voor grotere LLM's betekenisvolle, economisch interpreteerbare WTP-schattingen kunnen worden afgeleid, wat een gestructureerd beeld geeft van de beslissingstendensen van het model dat verder gaat dan standaard nauwkeurigheidsmetingen.
• Contextuele Gevoeligheid: Het toont empirisch aan dat het beslissingsgedrag van LLM's zeer manipuleerbaar is. De inclusie van gebruikersspecifieke context (eerdere keuzes of persona's) induceert systematische en directionele verschuivingen in WTP-waarden, wat de waarden vaak aanzienlijk versterkt.
• Prompt Fragiliteit: De studie benadigt dat WTP-waarden gevoelig zijn voor veranderingen in representatie, inclus\n bij promptlengte, attribuutformulering (positief vs. neutraal), volgorde van presentatie en valuta.
• Identificatie van Falende Casussen: De auteurs identificeren specifieke scenario's waarin de WTP-schatting faalt, zoals wanneer modellen extreme volgorde-bias vertonen, strikte regelgebaseerde beslissingsgrenzen hanteren (waarbij trade-offs worden genegeerd), of negatieve WTP-waarden produceren door positieve prijs-coëfficiënten.

Belangrijkste Resultaten

Emergentie van Structurele Voorkeuren (Hypothese 1)

Grotere modellen (Llama 3.3 70B, GPT-4o, Gemini-3.1-Pro) vertonen over het algemeen interpreteerbare WTP-schattingen met hoge pseudo-$R^2$ waarden, wat aangeeft dat hun keuzes gerechtvaardigd kunnen worden door een standaard discreet keuze-model. Er werden echter systematische afwijkingen van menselijke benchmarks (Masiero et al., 2015) waargenomen:

• Onderwaardering: Modellen kenmerkten over het algemeen een lagere WTP toe aan de attributen "Uitzicht" en "Verdieping" vergeleken met menselijke participanten.
• Overwaardering: Modellen waardeerden "Toegang tot Hotelclub" consequent hoger, met schattingen die variëren van 2x tot 4x hoger dan menselijke benchmarks.
• Model Variantie: GPT-4o en Gemini-3.1-Pro vertoonden over het algemeen een hogere verklarende kracht ($R^2$) dan Llama 3.3 70B, hoewel alle modellen een zekere mate van volgorde-bias vertoonden.

Contextgestuurde Waardeverschuivingen (Hypothese 2)

Het verstrekken van gebruikerscontext veranderde de WTP-schattingen aanzienlijk:

• Opwaartse Verschuivingen: Het conditioneren van modellen op "dure" voorkeuren (via ICL-voorbeelden van dure keuzes of een "zakelijk" persona) leidde tot dramatische stijgingen in WTP. Zo verhoogde het toevoegen van drie dure voorbeelden de WTP voor "Toegang tot Club" met factoren van 6.4x (Llama), 8.5x (GPT-4o) en 10.07x (Gemini) ten opzichte van de baseline.
• Neerwaartse Verschuivingen: Het conditioneren op "goedkope" voorkeuren (student-persona of goedkope voorbeelden) verlaagde de WTP over het algemeen. In extreme gevallen (Gemini-3.1-Pro met een student-persona) stortte het model in tot een beslissingsregel met slechts één attribuut, waarbij de kamer met de laagste prijs werd gekozen ongeacht andere kenmerken, waardoor WTP-schatting onmogelijk werd.
• Interactie-effecten: Het combineren van persona's met ICL-voorbeelden versterkte deze effecten vaak, wat leidde tot extremere waarderingen voor de zakelijke persona en meer realistische (hoewel nog steeds verschoven) waarderingen voor de student-persona in Llama 3.3 70B.

Prompt-afhankelijke Verschuivingen (Hypothese 3)

De studie bevestigde dat WTP-waarden niet stabiel zijn over promptvariaties heen:

• Gevoeligheid voor Formulering: Het inkorten van de beschrijving van "Clubtoegang" verminderde de WTP hiervan met ongeveer 50%, terwijl het uitbreiden van de beschrijving van "Uitzicht" de WTP verdubbelde of verviervoudigde, afhankelijk van het model.
• Volgorde-bias: Hoewel minder aanwezig in grotere modellen vergeleken met kleinere modellen, bleef volgorde-bias bestaan, waarbij alternatief-specifieke constanten statistisch significant bleven.
• Valuta en Temperatuur: Modellen toonden relatieve robuustheid tegenover veranderingen in valuta (USD vs. HKD) en temperatuurvariaties (0 vs. 0.7), hoewel Llama 3.3 70B een grotere variantie vertoonde dan Gemini-3.1-Pro.

Betekenis en Praktische Implicaties

Het artikel concludeert dat hoewel grotere LLM's interpreteerbare WTP-waarden kunnen genereren, ze geen betrouwbare, autonome optimaliseerders van voorkeuren zijn voor subjectieve besluitvorming zonder waarborgen. De betekenis van deze bevindingen ligt in de volgende praktische implicaties:

1. Transparantie en Auditing: De voorgestelde methodologie biedt een instrument om het beslissingsgedrag van LLM's te auditeren, waarbij wordt onthuld of aanbevelingen worden gedreven door attribuutvoorkeuren of door heuristieken zoals volgorde-bias.
2. Modelselectie: Praktijkgebruikers moeten kleinere modellen vermijden voor subjectieve besluitvorming vanwege hun vatbaarheid voor volgorde-bias en lage verklarende kracht. Zelfs grotere modellen vereisen zorgvuldige monitoring.
3. Contextbeheer: De toevoeging van gebruikersinformatie (persona's of historie) moet met uiterste voorzichtigheid worden behandeld, omdat dit extreme waarderingsgedragingen kan induceren die sterk afwijken van menselijke normen.
4. Kwetsbaarheid voor Formulering: De gevoeligheid voor positieve formulering suggereert dat LLM-gebaseerde assistenten gemanipuleerd kunnen worden door leveranciers om specifieke kenmerken te overwaarderen. Systemen moeten "afgedekt" worden tegen dergelijke formulering.
5. Human-in-the-loop: Gezien de geïdentificeerde falende casussen (bijv. negatieve WTP, rigide regelvolging), pleiten de auteurs tegen volledige autonomie voor LLM-reisagenten. In plaats daarvan moet de inzet voorzien in waarborgen, randomisatie van de volgorde en menselijk toezicht om incoherente trade-offs te detecteren.

De studie benadrukt dat door LLM afgeleide voorkeuren modelafhankelijk en zeer gevoelig zijn voor promptontwerp, wat suggereert dat toekomstige implementaties in agentic settings prioriteit moeten geven aan robuustheidscontroles en human-in-the-loop mechanismen boven onbeperkte delegatie.