📈 economics

Nondistortionary belief elicitation

Dit artikel identificeert de noodzakelijke en voldoende voorwaarden waaronder een onderzoeker de overtuigingen van een besluitvormer waarheidsgetrouw kan eliciteren zonder de oorspronkelijke keuze te verstoren, en beschrijft hoe dit voor drie klassen van problemen kan worden bereikt met variaties op het Becker-DeGroot-Marschak-mechanisme.

Oorspronkelijke auteurs: Marcin Pęski, Colin Stewart

Gepubliceerd 2026-04-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Marcin Pęski, Colin Stewart

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een onderzoeker bent die een spelletje speelt met een proefpersoon. De proefpersoon moet een keuze maken (bijvoorbeeld: "Welke auto koop ik?" of "Welk antwoord is correct?") en krijgt daarvoor een beloning.

Nu wil de onderzoeker iets belangrijks weten: Hoe zeker is de proefpersoon van zijn keuze? Wil hij weten of de proefpersoon echt denkt dat hij de juiste auto heeft gekozen, of dat hij gewoon geluk heeft?

Het probleem is dat als je de proefpersoon geld belooft voor het zeggen van zijn zekerheid, hij misschien zijn eigen keuze verandert om meer geld te krijgen. Hij zou bijvoorbeeld een slechte auto kunnen kiezen, maar dan zeggen: "Ik weet zeker dat dit een slechte auto is!" en daarvoor een hoge beloning krijgen. De onderzoeker wil dus een manier vinden om de zekerheid te meten zonder dat de proefpersoon zijn gedrag verdraait om meer geld te verdienen.

De auteurs van dit artikel, Marcin Pęski en Colin Stewart, hebben een wiskundige "recept" bedacht om dit op te lossen. Hier is de uitleg in simpele taal:

1. Het Probleem: De "Valse Vriend"

Stel je voor dat je een meerkeuzetoets maakt.

De normale situatie: Je kiest het antwoord dat je het meest waarschijnlijk goed vindt. Je krijgt geld als je het goed hebt.
De valstrik: De onderzoeker zegt: "Als je denkt dat je antwoord fout is, zeg dan 'Ik ben 90% zeker dat het fout is' en je krijgt daarvoor extra geld."

Wat gebeurt er? Een slimme proefpersoon denkt: "Oké, ik weet niet wat het juiste antwoord is. Maar als ik een duidelijk fout antwoord kies en dan zeg: 'Ik ben 90% zeker dat dit fout is', krijg ik veel geld voor die uitspraak."
Dit is verdraaiend. De proefpersoon kiest nu niet meer het beste antwoord, maar het antwoord dat hem het meeste geld oplevert in het tweede deel van het spel. De onderzoeker kan dan niet meer weten wat de proefpersoon écht dacht.

2. De Oplossing: De "Eerlijke Spiegel"

De auteurs zeggen: "We kunnen dit oplossen, maar alleen als we de juiste vragen stellen en de juiste beloningssystemen gebruiken."

Ze introduceren een concept dat ze "uitlijning" (alignment) noemen.

De slechte vraag: "Wat is de kans dat je antwoord goed is?" (Dit werkt vaak niet, want het kan de keuze verstoren).
De goede vraag: "Hoeveel geld denk je dat je gemiddeld gaat verdienen?" of "Hoeveel spijt heb je dat je dit niet had gekozen?"

De Metafoor van de Weegschaal:
Stel je voor dat de proefpersoon op een weegschaal staat.

Links staat zijn keuze (de auto).
Rechts staat zijn eerlijke inschatting.
De auteurs hebben een mechanisme bedacht (een variant van de beroemde Becker-DeGroot-Marschak methode) dat werkt als een perfecte weegschaal. Als de proefpersoon eerlijk is, staat de weegschaal in evenwicht en krijgt hij het meeste geld. Als hij probeert te valsspelen door zijn keuze te veranderen, kantelt de weegschaal en verliest hij geld.

3. De Drie Soorten Spellen

De auteurs laten zien dat dit werkt voor drie soorten situaties, afhankelijk van hoe de keuzes met elkaar verbonden zijn:

A. De "Boom" (Lineaire keuzes)

Voorbeeld: Je moet een getal raden. Als je te hoog raadt, moet je omlaag; als je te laag raadt, moet je omhoog. De opties liggen in een rijtje.
De regel: Hier is het makkelijker. Je hoeft niet overal perfect eerlijk te zijn over de hele lijn. Het is genoeg als je eerlijk bent tussen twee naast elkaar liggende opties.
Analogie: Het is alsof je een trap oploopt. Je hoeft niet te weten hoe hoog de hele trap is, zolang je maar weet dat de volgende tree net iets hoger is dan de vorige.

B. De "Netwerk" (Complexe keuzes)

Voorbeeld: Een meerkeuzetoets waarbij elk antwoord een heel ander onderwerp is. Alle antwoorden hangen met elkaar samen.
De regel: Hier is het veel strenger. Je moet overal perfect uitgelijnd zijn met je eigen beloning. Je kunt geen "korte weg" kiezen.
Analogie: Het is als een groot spinnenweb. Als je aan één draadje trekt, moet het hele web meebewegen op de juiste manier. Als je één stukje verdraait, valt het hele web in elkaar.

C. De "Pakketjes" (Meerdere taken)

Voorbeeld: Je doet 10 verschillende quizzen. Je totale score is de som van al je antwoorden.
De regel: Hier mag je een beetje variëren. Je mag vragen stellen over het verschil tussen twee delen van de test (bijvoorbeeld: "Hoeveel beter denk je dat je bent in de tweede helft dan in de eerste?").
Analogie: Stel je voor dat je twee zakken appels hebt. Je mag vragen: "Hoeveel meer appels zitten er in zak A dan in zak B?" Zolang je de totale balans in de gaten houdt, mag je de verdeling binnen de zakken aanpassen.

4. Waarom is dit belangrijk?

Vroeger dachten onderzoekers vaak: "Als ik de proefpersoon geld beloof voor een eerlijk antwoord, doet hij het wel eerlijk."
Dit artikel zegt: "Nee, niet altijd!"

Als je de verkeerde vraag stelt (zoals "Wat is de kans dat je goed zit?"), verandert de proefpersoon zijn gedrag en wordt je data waardeloos. Maar als je de goede vraag stelt (zoals "Wat is je verwachte winst?") en de goede beloning gebruikt, dan blijft de proefpersoon zijn normale, beste keuze maken, terwijl hij toch eerlijk over zijn zekerheid praat.

Kortom:
De auteurs hebben een handleiding geschreven voor onderzoekers. Ze zeggen: "Wil je weten of mensen zeker zijn van hun keuze? Vraag het niet op de manier die ze verleidt om te liegen. Gebruik onze 'spiegel-methode' en zorg dat je vraag past bij de manier waarop de proefpersoon zijn eigen geluk berekent. Dan krijg je de waarheid, zonder dat ze hun gedrag veranderen."

Titel: Nondistortionary Belief Elicitation (Niet-verstorende Belief-elicitering)

Auteurs: Marcin Pęski en Colin Stewart (University of Toronto)

1. Probleemstelling

Onderzoekers in de experimentele economie willen vaak de overtuigingen (beliefs) van proefpersonen over hun eigen keuzes eliciteren. Voorbeelden zijn het meten van vertrouwen, cognitieve onzekerheid, of de waarschijnlijkheid dat een antwoord correct is.
Om eerlijke rapportage te garanderen, gebruiken onderzoekers doorgaans incentivisatiemechanismen (zoals de Becker-DeGroot-Marschak of BDM-methode). Het centrale probleem dat dit artikel adresseert, is dat deze incentivisatie de oorspronkelijke beslissing van het onderwerp kan verstoren (distort).

Het Dilemma: Als een proefpersoon weet dat zijn beloning in de belief-eliciteringsfase afhangt van zijn gerapporteerde overtuiging, kan hij zijn oorspronkelijke actie veranderen om die overtuiging te manipuleren, zelfs als die actie suboptimaal is voor de hoofdtask.
Doel: Identificeren onder welke voorwaarden een onderzoekster proefpersonen kan belonen voor eerlijke rapportage zonder dat dit de incentives voor de oorspronkelijke keuze verandert. Een vraag is "incentiviseerbaar" als er een betalingsregeling bestaat waarbij:
1. Eerlijke rapportage van de verwachte waarde uniek optimaal is.
2. De set van optimale acties in de gecombineerde situatie (keuze + belief) identiek blijft aan de set van optimale acties in de oorspronkelijke beslissingsprobleem.

2. Methodologie en Model

Het auteurs stellen een model op dat een beslissingsprobleem combineert met een belief-eliciteringsfase.

Beslissingsprobleem: Gedefinieerd door een tuple $(\Theta, A, u)$ , waarbij $\Theta$ toestanden zijn, $A$ acties, en $u$ een nutfunctie.
Vraagprofiel ( $X$ ): De onderzoekster vraagt het onderwerp om een subjectieve verwachting te rapporteren van een functie $X(a; \theta)$ $X (a; θ)$ , afhankelijk van de gekozen actie $a$ $a$ en de toestand $\theta$ $θ$ .
- Voorbeeld 1: $X(a; \theta) = 1\{a \text{ is optimaal in } \theta\}$ (waarschijnlijkheid van ex-post optimaliteit).
- Voorbeeld 2: $X(a; \theta) = u(a; \theta)$ (verwachte uitbetaling).
Elicitatiemethode ( $V$ ): Een betalingsfunctie die afhangt van de gerapporteerde waarde $r$ , de actie $a$ en de gerealiseerde toestand $\theta$ .
Definitie van Incentiviseerbaarheid: Een vraag $X$ is incentiviseerbaar als er een $V$ bestaat zodanig dat voor elke overtuiging $p$ :
$\arg\max_{(r,a)} E_p V(r, a, \cdot) = \{(E_p X(a; \cdot), a) : a \in A(p)\}$
Dit betekent dat het onderwerp zijn oorspronkelijke optimale actie $a$ kiest en vervolgens eerlijk rapporteert $r = E_p X(a; \cdot)$ .

Kernconcept: De Adjacency Graph (Bijliggingsgrafiek)
De auteurs introduceren de adjacency graph om de structuur van het beslissingsprobleem te analyseren. Twee acties $a$ en $b$ zijn "adjacent" (benaard) als er een overtuiging $p$ bestaat waarbij precies deze twee acties optimaal zijn en geen andere. De structuur van deze grafiek (boom, compleet, product) bepaalt welke vragen incentiviseerbaar zijn.

3. Belangrijkste Resultaten en Bijdragen

De paper levert noodzakelijke en voldoende voorwaarden voor incentiviseerbaarheid en karakteriseert deze volledig voor drie canonieke klassen van beslissingsproblemen.

A. Algemene Voorwaarden

Noodzakelijke Voorwaarde (Adjacency Lemma): Voor elk paar benaarde acties $a$ en $b$ , moet de vraag $X$ "uitgelijnd" (aligned) zijn met de nutfunctie $u$ . Dit betekent dat $X(a)$ en $X(b)$ lineair gerelateerd moeten zijn aan de nutverschillen tussen $a$ en $b$ .
Voldoende Voorwaarde (Alignment): Als $X$ over de gehele set acties uitgelijnd is met $u$ (d.w.z. $X(a) \approx u(a) + d$ ), dan is $X$ altijd incentiviseerbaar via een BDM-mechanisme.

B. Karakterisatie per Probleemtype

De auteurs analyseren drie klassen van problemen gebaseerd op de structuur van de adjacency graph:

Adjacency Trees (Bomen):
- Context: Problemen met geordende toestanden en acties (bijv. schatten van een waarde met kwadratisch verlies). De grafiek heeft geen cycli.
- Resultaat: Vragen zijn incentiviseerbaar als ze stuksgewijs uitgelijnd (piecewise aligned) zijn. Dit betekent dat voor elk paar benaarde acties de uitlijning geldt, maar de parameters voor de uitlijning kunnen verschillen tussen verschillende takken van de boom.
- Implicatie: Dit is de meest permissieve categorie; men hoeft niet overal dezelfde uitlijning te hebben.
Complete Adjacency (Compleet):
- Context: Problemen waarbij elke actie met elke andere actie benaard kan zijn (bijv. meerkeuzetoetsen waar elke optie een andere toestand vertegenwoordigt).
- Resultaat: Hier zijn de restricties het strengst. Een vraag is incentiviseerbaar alleen als deze over de gehele actie-set uitgelijnd is met $u$ .
- Implicatie: Vragen zoals "Wat is de kans dat je antwoord correct is?" (die vaak niet lineair uitgelijnd zijn met de nutfunctie in complexe scenario's) zijn hier niet incentiviseerbaar zonder verstoring.
Product Problems (Productstructuur):
- Context: Taken die bestaan uit een som van onafhankelijke sub-taken (bijv. een toets met meerdere vragen, waarbij één willekeurig wordt betaald).
- Resultaat: Vragen zijn incentiviseerbaar als ze gewogen uitgelijnd (weighted aligned) zijn. Dit betekent dat $X$ een lineaire combinatie kan zijn van de nutfuncties van de individuele taken, waarbij de gewichten ( $\tau_i$ ) per taak kunnen verschillen.
- Implicatie: Men kan vragen stellen over de verandering in score tussen twee delen van een toets, maar niet over de kans dat de totale score een bepaalde drempel overschrijdt (tenzij de drempel-lineair is).

C. Praktische Constructie

Voor incentiviseerbare vragen bieden de auteurs een constructie op basis van de Becker-DeGroot-Marschak (BDM) methode.

De vraag wordt genormaliseerd naar het interval $[0, 1]$ .
Het onderwerp rapporteert een waarde $r$ .
Er wordt een willekeurig getal $z$ getrokken. De uitbetaling hangt af van de vergelijking tussen $r$ en $z$ en de gerealiseerde waarde van $X(a; \theta)$ .
Door de juiste normalisatie en gewichting (afhankelijk van de structuur van het probleem) wordt gegarandeerd dat het maximaliseren van de verwachte uitbetaling in de belief-fase consistent is met het kiezen van de optimale actie in de hoofdtask.

4. Significatie en Toepassingen

Oplossing voor "Cognitive Uncertainty": De paper biedt een oplossing voor het meten van cognitieve onzekerheid (Enke & Graeber, 2023). Het toont aan dat vragen over de verwachte uitbetaling (of regret) altijd incentiviseerbaar zijn, terwijl vragen over de kans op optimaliteit vaak niet zijn. Onderzoekers moeten hun vragen herformuleren om verstoring te voorkomen.
Experimenteel Design: Het biedt een blauwdruk voor onderzoekers om eerlijke overtuigingen te meten zonder dat proefpersonen hun gedrag manipuleren om de beloning in de belief-fase te maximaliseren. Dit is cruciaal voor de validiteit van experimenten over zelfvertrouwen, oververzekering en motivatie.
Theoretische Inzicht: De paper verbindt de theorie van mechanism design met de structuur van beslissingsproblemen via de adjacency graph. Het toont aan dat de topologie van de beslissingsruimte (cycli vs. bomen) fundamenteel bepaalt welke informatie kan worden geëliciteerd.
Beperkingen: De methode vereist dat de onderzoekster de nutfunctie, acties en toestanden observeert. Bij endogene overtuigingen (waarbij de keuze de toestand beïnvloedt) of niet-lineaire eigenschappen van overtuigingen (zoals de mediaan) gelden de resultaten mogelijk niet direct zonder aanpassing.

Conclusie

Pęski en Stewart tonen aan dat het mogelijk is om niet-verstorende incentives te creëren voor belief-elicitering, maar alleen onder specifieke voorwaarden die afhangen van de structuur van het beslissingsprobleem. De kernboodschap is dat onderzoekers niet zomaar elke vraag kunnen stellen; ze moeten kiezen voor vragen die "uitgelijnd" zijn met de onderliggende nutfunctie, of hun experimentele ontwerp aanpassen aan de structuur van de adjacency graph om eerlijke rapportage te waarborgen.