Sensitivity to Subjective Expected Utility Maximization: A Methodological Study, with an Illustrative Application to LLM Decision-Making

Technische Samenvatting: Gevoeligheid voor Maximalisatie van Subjectieve Verwachte Nut

Probleemstelling
Het evalueren van de kwaliteit van beslissingen onder onzekerheid is berucht moeilijk wanneer gelabelde uitkomsten schaars, kostbaar of verward door toeval zijn. Traditionele "label-gebaseerde" beoordeling vertrouwt op een externe sleutel van correcte keuzes of gerealiseerde uitkomsten. Dergelijke sleutels zijn echter vaak onpraktisch te construeren (bijv. in de triage van verzekeringen of nieuwe domeinen) en fundamenteel gebrekkig als maatstaf voor besluitvormingskwaliteit, omdat een goede uitkomst geen goede beslissing garandeert (uitkomsten hangen af van kans, niet alleen van het besluitvormingsproces).

Dit artikel stelt een "consistentie-gebaseerd" evaluatiekader voor. In plaats van te vragen of een agent de "juiste" optie heeft gekozen, vraagt het of de keuzes van de agent coherent zijn met een gestelde standaard van rationaliteit: de maximalisatie van het Subjectieve Verwachte Nut (SEU). Het doel is om de mate te meten waarin de keuzes van een agent de SEU-rangschikking volgen, waarbij deze "gevoeligheid" wordt gescheiden van de specifie� 및 de specifieke inhoud van de overtuigingen en nutten van de agent, en van de uitkomsten die zij toevallig realiseren.

Methodologie
Het artikel ontwikkelt een methodologische pijplijn gecentreerd rond een softmax-keuzemodel toegepast op SEU-gewaardeerde alternatieven.

1. Het Model: Het kerninstrument is een Luce–McFadden softmax-regel waarbij de waarschijnlijkheid van het kiezen van alternatief $r$ proportioneel is aan $\exp(\alpha V(r))$. Hierbij is $V(r)$ het verwachte nut van het alternatief, en $\alpha \ge 0$ is een scalaire gevoeligheidsparameter.

   • $\alpha = 0$: Uniforme willekeurige keuze (ongevoelig voor nut).
   • $\alpha \to \infty$: Deterministische SEU-maximalisatie (perfect gevoelig).
   • Intermediaire $\alpha$: Een gegradeerde maatstaf voor hoe nauw de keuzes de verwachte nut volgen.

2. Parametrisering:

   • Overtuigingen ($\beta$): Subjectieve waarschijnlijkheden worden gegenereerd via een lineaire-softmax kaart van feature-vectoren.
   • Nutten ($\delta$): Nutten worden geconstrueerd vanuit geordende incrementen met vaste eindpunten ($0$ en $1$) om affine onbepaaldheid op te lossen.
   • Gevoeligheid ($\alpha$): De primaire parameter van belang, die de dispositie van de agent vertegenwoordigt om actie te ondernemen op basis van hun commitments.

3. Twee Modellen:

   • Model $m_0$ (Alleen onzekere keuzes): Agenten kiezen tussen alternatieven met subjectieve waarschijnlijkheden.
   • Model $m_1$ (Uitgebreid met risicovolle keuzes): Agenten kiezen ook tussen alternatieven met objectieve waarschijnlijkheden (loterijen). Dit maakt een "risicovrije" identificatie van nutten ($\delta$) mogelijk, aange omdat objectieve loterijen niet afhankelijk zijn van de overtuigingsparameter $\beta$.

4. Computationele Validatie: De auteurs implementeren deze modellen in Stan en valideren ze met een rigoureuze Bayesiaanse workflow:

   • Prior Predictive Checks: Controleren of priors een zinvol bereik aan gedrag toestaan.
   • Parameter Recovery: Simuleren van data uit bekende parameters om te testen of het model de parameters kan terugwinnen.
   • Simulation-Based Calibration (SBC): Verifiëren of de posterieure verdelingen gekalibreerd zijn (rangen van ware parameters zijn uniform).

Belangrijkste Bijdragen en Bevindingen

1. De kloof tussen Identificeerbaarheid en Schatbaarheid
Het artikel biedt een formele identificeerbaarheidsanalyse die een cruciaal onderscheid onthult tussen theoretische identificeerbaarheid en praktische schatbaarheid bij realistische steekproefgroottes.

• Voor $\alpha$ (Gevoeligheid): $\alpha$ is identificeerbaar vanuit de verwachte nutvector $\eta$ (gegeven niet-constante waarden). In de praktijk wordt $\alpha$ met hoge precisie en lage bias teruggewonnen, zelfs wanneer andere parameters slecht geïdentificeerd zijn.
• Voor $\delta$ (Nutten): In het model met alleen onzekere keuzes ($m_0$) zijn overtuigingen ($\beta$) en nutten ($\delta$) slechts zwak geïnformeerd door de data; ze wisselen met elkaar uit, wat resulteert in brede, gecorreleerde posterieure verdelingen.
• De beperking van het uitgebreide model ($m_1$): Hoewel het toevoegen van risicovolle keuzes de nutten ($\delta$) theoretisch identificeert (door de $\beta$-$\delta$ koppeling te verbreken), stelt het artikel vast dat deze theoretische identificeerbaarheid bij realistische steekproefgroottes verwaarloosbare praktische winst oplevert. De reductie in de breedte van de betrouwbaarheidsintervallen voor $\delta$ is minder dan 1%, en de RMSE blijft ongewijzigd.
• Voor de precisie van $\alpha$: In tegenstelling tot de intuïtie dat "betere" datatypen (risicovol versus onzeker) de precisie verbeteren, stelt de studie vast dat de eind-steekproef precisie voor $\alpha$ wordt gedreven door de hoeveelheid data, niet door het type keuze. Het verdubbelen van het aantal onzekere keuzes verscherpt de schattingen van $\alpha$ aanzienlijk, terwijl het vervangen van een gelijk aantal risicovolle keuzes geen detecteerbare precisiewinst oplevert.

2. De Marginale SBC-demarcatie
De auteurs introduceren een cruciaal diagnostisch inzicht: Marginale SBC-passes impliceren geen gezamenlijke posterieure kalibratie.

• Standaard SBC-checks (ranguniformiteit) slaagden voor alle parameters ($\alpha, \beta, \delta$) in beide modellen.
• Echter, de gezamenlijke posterieure verdeling voor $(\beta, \delta)$ bleef zwak gecontracteerd en sterk gecorreleerd (zwak geïnformeerd).
• Conclusie: Een model kan perfect gekalibreerd zijn marginaal (elke parameter ziet er in isolatie correct uit), terwijl de gezamenlijke verdeling onopgelost blijft. Marginale SBC is blind voor zwakke gezamenlijke informatieve kracht.

3. Illustratieve Toepassing op LLM's
Het framework werd end-to-end toegepast op besluitvormingsdata van GPT-4o en Claude 3.5 Sonnet over twee taken: triage van verzekeringsclaims en Ellsberg-stijl urn-weddenschappen.

• Workflow: De pijplijn slaagde erin de $\alpha$ voor echte LLM-keuzes te herstellen, met diagnostiek die de modeladequaatheid bevestigde (met uitzondering van de verwachte zwakke inferentie op de nuisance-parameters $\beta, \delta$).
• Resultaten:
  • GPT-4o: Toonde een gestructureerde, monotone daling in gevoeligheid ($\alpha$) naarmate de sampling temperature toenam over beide taken. Het effect was statistisch robuust ($P(\text{helling} < 0) \approx 0.99$).
  • Claude 3.5: Toonde geen monotoon patroon in geen van de twee taken.
  • Cruciaal Voorbehoud: Het artikel stelt expliciet dat het gebrek aan een patroon voor Claude een inconclusieve nul is, en geen bewezen afwezigheid van effect. De resolutie van de studie (minimale detecteerbare effect) was onvoldoende om een GPT-4o-achtig effect voor Claude uit te sluiten. Het instrument "weigert een effect te ondersteunen" in plaats van de afwezigheid ervan te certificeren.
• Interpretatie: De resultaten ondersteunen een binnen-ontwerp vergelijkende claim (GPT-4o is gevoeliger voor SEU dan Claude onder deze specifieke condities), maar ondersteunen geen absolute claims over welke model "rationeler" is in een context-vrije zin.

Betekenis en Omvang
Het artikel positioneert zichzelf als een methodologische bijdrage in plaats van een substantiële doorbraak in de gedragswetenschap van LLM's of de besluitvormingstheorie.

• Conceptueel: Het biedt een geprincipeerde explicatie van "gevoeligheid voor SEU-maximalisatie" als een gegradeerde, meetbare dispositie, onderscheiden van overtuigingen, nutten en uitkomsten.
• Methodologisch: Het demonstreert dat identificeerbaarheidsanalyse noodzakelijk maar onvoldoende is voor het ontwerpen van experimenten; eind-steekproef precisie hangt af van de hoeveelheid data en specifieke ontwerpspecificaties, niet alleen van theoretische identificeerbaarheid. Het verheldert ook de beperkingen van marginale SBC bij het diagnosticeren van de gezamenlijke posterieure geometrie.
• Beperkingen: Het artikel vermijdt expliciet het beoordelen van normatieve vragen (bijv. of SEU de juiste standaard is of het testen van ambiguïteitsaversie; het model absorbeert ambiguïteit in overtuigingen of ruis). Het claimt niet "rationaliteit" in een absolute zin te meten, maar slechts conformiteit aan een gestelde standaard binnen een specifiek ontwerp.

Samenvattend biedt het artikel een transparant, herbruikbaar framework voor het evalueren van besluitvormers tegen een rationaliteitsstandaard, waarbij het meetinstrument rigoureus wordt gevalideerd terwijl de eind-steekproef beperkingen en resolutiegrenzen expliciet worden gerapporteerd.