📈 economics

Testing Decision Makers without Counterfactuals

Dit artikel onderzoekt of een externe waarnemer de beter geïnformeerde actor tussen een besluitvormer en een adviseur kan identificeren op basis van enkel geobserveerde keuzes en aanbevelingen, waarbij wordt aangetoond dat hoewel een scoringstest succesvol de beter geïnformeerde actor kan onderscheiden in simultane beslissingssituaties, er geen dergelijke test bestaat voor sequentiële keuzes, en elke test die ontworpen is om de beter geïnformeerde actor te identificeren onvermijdelijk een aanzienlijk deel van de potentiële welvaart opoffert.

Oorspronkelijke auteurs: Yakov Babichenko

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yakov Babichenko

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een high-stakes spelshow voor waarbij twee deelnemers, De Kapitein (de Beslisser) en De Adviseur (de Adviser), proberen te bewijzen wie er meer weet over een mysterieus, mistig eiland.

Elke dag moeten ze kiezen welk pad ze nemen op het eiland.

De Kapitein kiest een pad en loopt het. Het publiek ziet precies wat er gebeurt (vonden ze goud, of vielen ze in een kuil?).
De Adviseur fluistert de Kapitein een ander pad toe. Als de Kapitein het advies negeert en een ander pad kiest, ziet het publiek nooit wat er op het pad van de Adviseur zou zijn gebeurd. Het blijft een "wat als"-scenario, een geest van een weg die niet is genomen.

Het publiek wil weten: Wie is eigenlijk slimmer? Wie heeft de betere kaart?

De vraag is: Kunnen we een scorebord (een "test") ontwerpen dat alleen kijkt naar de werkelijke keuzes van de Kapitein en de suggesties van de Adviseur, en de winnaar correct aanwijst, ook al kunnen we de "geestpaden" van de Adviseur niet zien?

Hier is de uiteenzetting van de bevindingen van het paper, met behulp van eenvoudige analogieën:

1. Het "Simultane" Spel: Wanneer Beiden Tegelijk Spreken

Stel je een spel voor waarbij de Kapitein en de Adviseur hun keuzes tegelijkertijd roepen, voordat iemand beweegt.

Het Resultaat: Ja, we kunnen de slimste vinden.
De Truc: Het paper stelt een specifiek scorebord voor. Als ze hetzelfde pad kiezen, krijgt de Kapitein punten gebaseerd op hoe goed de uitkomst was. Als ze verschillende paden kiezen, krijgt de Kapitein negatieve punten (een straf) gebaseerd op de uitkomst.
Waarom het werkt: De slimste persoon (die het eiland beter kent) kan de zet van de ander voorspellen en het spel manipuleren om de punten te winnen. De minder slimme persoon raakt in de war en verliest.
De Haken en O de Wetten: Om dit scorebordspel te winnen, kan de Kapitein stoppen met het maken van de beste keuzes voor het welzijn van het eiland. Ze kunnen beginnen met het spelen van "spelletjes" om de test te winnen, zelfs als dat betekent dat ze af en toe in een kuil lopen.

2. Het "Sequentiële" Spel: Wanneer de Een op de Ander Reageert

Stel je nu een andere regel voor: De Kapitein kiest eerst een pad, daarna ziet de Adviseur dit en stelt een alternatief voor.

Het Resultaat: Nee, we kunnen de slimste niet vinden.
De Reden: De Adviseur kan altijd "faken". Omdat de Adviseur eerst ziet wat de Kapitein deed, kan de Adviseur altijd een pad suggereren dat er lijkt alsof het beter zou zijn geweest, zelfs als hij eigenlijk totaal geen kennis heeft. Omdat het publiek het pad van de Adviseur nooit ziet (omdat de Kapitein het niet heeft genomen), kan de Adviseur nooit worden bewezen te hebben gefaald. Het "geestpad" is te krachtig; het stelt de minder geïnformeerde persoon in staat zich te verschuilen achter de keuzes van de Kapitein.
De Uitzondering: Er is één klein, specifiek scenario (een "Veilig Pad" versus een "Risicovol Pad") waar het wel mogelijk is om hen uit elkaar te houden, maar alleen als de Adviseur eerst spreekt. Als de Kapitein eerst spreekt in dit specifieke scenario, kan de Adviseur nog steeds aan de zijlijn blijven staan.

3. De Grote Afweging: Juist Zijn versus Goed Zijn

Dit is de meest kritische waarschuwing van het paper.

Het Dilemma: Het publiek heeft twee doelen:
1. De slimste leider identificeren (zodat we hem later kunnen inhuren).
2. Vandaag de beste resultaten behalen (zodat het eiland veilig en welvarend is).
Het Slechte Nieuws: Je kunt niet beide hebben.
De Analogie: Stel je voor dat je een chef beoordeelt. Je wilt weten wie de beste kok is (de "meer geïnformeerde"). Maar als je een test opzet waarbij de chefs gedwongen worden een spel te spelen om te bewijzen dat ze de beste zijn, kunnen ze stoppen met het koken van heerlijke maaltijden en beginnen met het koken van "vreemde" maaltijden, enkel om de test te winnen.
De Wiskunde: Het paper bewijst dat in een wereld met slechts twee keuzes, als je een test ontwerpt die succesvol de slimste persoon identificeert, het beste wat je kunt hopen is dat de Kapitein beslissingen neemt die niet beter zijn dan het opgooien van een munt.
- Als je probeert de Kapitein goede beslissingen te laten maken, faalt de test om de slimste persoon te identificeren.
- Als je de test dwingt om de slimste persoon te identificeren, zal de Kapitein slechte beslissingen nemen om de test te winnen.

Samenvatting van het "Wat als"-probleem

Het paper benadrukt een fundamenteel gebrek in het beoordelen van beslissingen wanneer je de alternatieven niet kunt zien.

Citaat van Judea Pearl: Het paper begint met een citaat van Pearl, die zegt dat "wat als"-redeneren onwetenschappelijk is omdat je het alternatief niet kunt observeren.
Conclusie van het Paper: Omdat we de "wat als"-scenario's niet kunnen zien (de ongekozen paden van de Adviseur), kunnen strategische spelers (de Kapitein en de Adviseur) het scorebord manipuleren.
- Als ze tegelijkertijd bewegen, kunnen we de leugenaar ontmaskeren, maar zal de Kapitein slecht presteren om te winnen.
- Als ze na elkaar bewegen, kan de leugenaar zich zo goed verschuilen dat we hem helemaal niet kunnen ontmaskeren.

Kortom: Je kunt een test bouren om de slimste persoon te vinden, maar het doen van die test zal die persoon waarschijnlijklijk onverstandig laten handelen in de echte wereld. Of, als ze in een specifieke volgorde bewegen, kun je de slimste persoon misschien helemaal niet vinden.

Technische Samenvatting: Het testen van besluitvormers zonder contrafactuele gegevens

1. Probleemstelling

Het artikel behandelt de fundamentele uitdaging van het evalueren van de kwaliteit van besluitvorming in omgevingen waar contrafactuele gegevens niet geobserveerd kunnen worden. In veel kritieke domeinen, zoals geopolitieke strategie of bedrijfsmanagement, handelt een besluitvormer (Decision-Maker, DM) onder onzekerheid, waarbij alleen de uitkomst van de gekozen actie wordt waargenomen. Een concurrerende agent, de Adviseur (Adviser, AD), doet aanbevelingen, maar de uitkomsten van deze niet-gekozen aanbevelingen blijven ongeobserveerde contrafactuele gegevens.

De centrale vraag is: Kan een externe waarnemer, die uitsluitend vertrouwt op de opeenvolging van geobserveerde beslissingen, aanbevelingen en gerealiseerde uitkomsten, identificeren welke agent beter geïnformeerd is?

Het artikel formaliseert "beter geïnformeerd zijn" aan de hand van de Blackwell-ordening: één agent beschikt over de informatie van de andere plus aanvullende private informatie. De agenten worden gemodelleerd als strategisch, met als enig doel om door een publieke test als "winnaar" te worden gekozen. Dit induceert een zero-sum spel tussen de agenten. Het artikel onderzoekt of een scoring test — een regel die een numerieke score toekent aan elke observatie en de agent met de hogere gemiddelde score selecteert — er in staat is om de beter geïnformeerde agent in evenwicht te identificeren.

2. Methodologie en Raamwerk

Modèlestructuur

De auteurs modelleren de interactie als een herhaalde bandit-omgeving met $n$ armen (acties).

Agenten: Een besluitvormer (DM) en een adviseur (AD). De één houdt informatie $r$ vast (beter geïnformeerd), de ander houdt $q$ vast (minder geïnformeerd), waarbij $r$ een verfijning is van $q$ .
Observaties: In elke periode kiest de DM een arm $a_{DM}$ , en de AD stelt een arm $a_{AD}$ voor. Alleen de realisatie van $a_{DM}$ wordt waargenomen.
Incentives: Beide agenten zijn puur strategisch en streven ernaar hun kans op selectie door de test te maximaliseren. Ze geven niet om maatschappelijk welzijn, tenzij dit de testuitkomst beïnvloedt.
Definitie van de Test: Een scoring test $s: O \to \mathbb{R}$ wijst een score toe aan elke uitkomst-triple $(a_{DM}, a_{AD}, u_{DM})$ . De winnaar wordt bepaald door het limietgemiddelde van deze scores.

Analytische benadering

De kern van de methodologische bijdrage is de reductie van de complexe herhaalde interactie met onvolledige informatie naar een eenmalige interactie met volledige informatie.

Scheiding versus Identificatie: De auteurs definiëren een scoringfunctie als scheidend als deze in staat is om de beter en minder geïnformeerde agent te onderscheiden in een eenmalig zero-sum spel.
Equivalentie-lemma's:
- Lemma 1: Als een scoringfunctie scheidend is, identificeert de bijbehorende scoring test de beter geïnformeerde agent in elke veranderende omgeving.
- Lemma 2: Als er geen scheidende scoringfunctie bestaat, kan geen enkele scoring test de beter geïnformeerde agent identificeren, zelfs niet in een vaste omgeving.
Reductie naar volledige informatie: Om te bepalen of een functie scheidend is, analyseren de auteurs het spel $G(s, p)$ $G (s, p)$ waarbij beide agenten een gemeenschappelijke prior $p$ $p$ delen en geen private signalen hebben.
- Lemma 3: Een noodzakelijke voorwaarde voor scheiding is dat de waarde van het spel $G(s, p)$ nul moet zijn voor alle priors $p$ .
- Lemma 4: Onder specifieke aannames vereist scheiding dat de optimale strategie van de tie-breaking agent in $G(s, p)$ de welvaartsmaximaliserende arm voor elke prior uniek identificeert.

3. Belangrijkste Resultaten

Het artikel stelt een dichotomie vast tussen simultane en sequentiële beslissingssettings, en een fundamentele afruil tussen identificatie en welvaart.

A. Simultane Beslissingen

Theorem 1 (Positief resultaat): In een setting met simultane beslissingen en een veranderende omgeving bestaat er een scoring test die de beter geïnformeerde agent identificeert.

Mechanisme: De voorgestelde test wijst een score toe die gelijk is aan de gerealiseerde welvaart als de agenten overeenstemmen ( $a_{DM} = a_{AD}$ ) en een negatieve score die proportioneel is aan de welvaart als ze niet overeenstemmen.
Logica: De beter geïnformeerde agent kan een positieve verwachte score garanderen door de actie van de minder geïnformeerde agent te matchen wanneer deze optimaal is, terwijl de minder geïnformeerde agent dit gedrag niet consistent kan nabootsen over alle informatiestructuren heen.

Theorem 2 (Negatief resultaat - Welvaartsafruil): In een omgeving met twee armen en simultane beslissingen kan geen enkele scoring test tegelijkertijd de beter geïnformeerde agent identificeren en meer dan helft van de optimale welvaart realiseren.

Implicatie: De test die er succesvol in slaagt de betere agent te identificeren, dwingt de DM in een zero-sum spel waarbij zij hun acties moeten randomiseren om exploitatie te voorkomen. Deze randomisatie leidt tot ernstig suboptimale welvaart (benaderend de prestaties van een willekeurige gok) in worst-case scenario's.

B. Sequentiële Beslissingen

Theorem 3 (Onmogelijkheidsresultaat): In een setting met sequentiële beslissingen en een vaste omgeving bestaat er geen scoring test die de beter geïnformeerde agent identificeert.

Redenering: In een sequentiële setting kan de volger altijd reageren op de keuze van de leider. De auteurs tonen aan dat voor elke scoring test de volger een niet-negatieve score kan garanderen zonder enige private informatie nodig te hebben, waardoor de test niet in staat is om informatieniveaus te onderscheiden.

Nuance in speciale gevallen (Veilige vs. Risicovolle armen):

Proposition 1: Als de omgeving bestaat uit één veilige arm en één risicovolle arm, en de Adviseur handelt eerst, dan is identificatie mogelijk. De beter geïnformeerde agent kan de DM exploiteren die een gebrek aan informatie heeft over de realisatie van de risicovolle arm.
Proposition 2: Als de Besluitvormer eerst handelt in dezelfde veilige/risicovolle setting, is identificatie onmogelijk. De keuze van de DM voor de veilige arm verbergt de contrafactuele uitkomst van de risicovolle arm, waardoor de AD niet in staat is om superieure informatie te bewijzen.

4. Betekenis en Claims

Het artikel beweert de spanning op te lossen tussen het evalueren van besluitvormingskwaliteit en het stimuleren van optimaal gedrag in de afwezigheid van contrafactuele gegevens.

Haalbaarheid van Identificatie: De auteurs demonstreren dat, tegen de intuïtie in dat ongeobserveerde contrafactuele gegevens identificatie onmogelijk maken, het mogelijk is om de beter geïnformeerde agent in simultane settings te identificeren met behulp van eenvoudige scoring regels.
De Kosten van Identificatie: Het artikel benadrukt een ernstige beperking: het mechanisme zelf dat een waarnemer in staat stelt de betere agent te identificeren (een zero-sum scoring spel), vernietigt de prikkels voor de agent om welvaart te maximaliseren. Het artikel stelt dat het bereiken van identificatie onvermijdelijk leidt tot een "suboptimaal" evenwicht waarbij de acties van de DM worden gedreven door de test in plaats van door de werkelijke welvaart van de uitkomst.
Strategische Aard van Data: Het werk benadrukt dat in strategische omgevingen de geobserveerde data worden gevormd door de pogingen van de agenten om de test te doorstaan. Dit onderscheidt het probleem van niet-strategische causale inferentie, waarbij contrafactuele gegevens simpelweg ongeobserveerd zijn maar niet gemanipuleerd worden.
Beperkingen van Scoring Tests: De resultaten suggereren dat hoewel scoring tests voldoende zijn voor identificatie in simultane settings, ze fundamenteel ontoereikend zijn in sequentiële settings (tenzij specifieke structurele beperkingen zoals "veilig vs. risicovol" en de volgorde van handelen van toepassing zijn).

Het artikel concludeert dat hoewel het mogelijk is om een test te ontwerpen om een "winnaar te kiezen" op basis van informatieniveaus, dit ten koste gaat van de prestaties van de besluitvormer, wat een inherent conflict creëert tussen de wens van het publiek om een bekwaam leider te selecteren en de noodzaak om goede beslissingen te nemen in het heden.