Unintended Consequences: Updating Causal Models

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een kapitein bent die een schip vaart door een mistige zee. Je hebt een kaart (je causale model) om te weten hoe je van A naar B komt. Maar wat als die kaart verouderd is, of zelfs fout? En wat als je, ondanks dat je schip vastloopt op een onbekend rif, blijft geloven dat je kaart klopt?

Dit is precies waar het artikel "Unintended Consequences: Updating Causal Models" van Halpern, Piermont en Vierø over gaat. Het onderzoekt hoe mensen hun overtuigingen over de wereld vormen, hoe ze beslissingen nemen op basis van die overtuigingen, en waarom ze soms in een oneindige cirkel van vergissingen blijven hangen, zelfs als ze constant feedback krijgen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. De Kaart en de Wereld

In dit verhaal heeft iedereen een "kaart" van hoe de wereld werkt.

De echte wereld: Dit is de feitelijke oorzaak-en-gevolg-relatie (bijvoorbeeld: als je regen maakt, wordt het nat).
Jouw kaart: Dit is wat jij denkt dat de oorzaak is. Misschien denk jij: "Als ik een paraplu open, wordt het nat." (Niet waar, maar dat is jouw kaart).

Het probleem is dat we vaak niet weten welke kaart de juiste is. We hebben een verzameling mogelijke kaarten in ons hoofd en geven elke kaart een kans (een waarschijnlijkheid).

2. Het Experiment: De "Gok"

Elke dag moet je een keuze maken (een actie).

Voorbeeld: Je wilt de zon laten opkomen.
Jouw actie: Je doet een ritueel (je "intervenieert" in de wereld).
Het resultaat: De zon komt op (of niet).

Hier komt de slimme kant van het artikel: je doet dit niet alleen voor het resultaat, maar ook om je kaart te verbeteren. Als je ritueel werkt, denk je: "Zie je wel? Mijn kaart klopt!" Als het niet werkt, moet je je kaart aanpassen.

3. Twee Verhalen uit het Artikel (De Metaforen)

De auteurs gebruiken twee prachtige voorbeelden om te laten zien hoe dit in de praktijk werkt.

Verhaal A: De Slangen-jager (De "Cash for Snakes" situatie)

De situatie: Een gouverneur in India wil slangen uit de stad krijgen. Hij denkt: "Als ik geld beloof voor dode slangen, zullen mensen ze vangen en de stad wordt veilig."
Zijn kaart: Slangen vangen = minder slangen.
Het resultaat: Mensen beginnen slangen te fokken om het geld te krijgen. De stad zit vol slangen.
De les: De gouverneur ziet de slangenmassa en denkt: "Wacht, mijn kaart klopt niet!" Omdat de werkelijkheid (veel slangen) totaal niet past bij zijn kaart (weinig slangen), is hij verbaasd. Hij moet zijn kaart volledig herschrijven. Hij leert zijn les en stopt het programma.
- Dit is een geval waar feedback werkt.

Verhaal B: De Aition-stam (De "Zon-ritueel" situatie)

De situatie: Een stam gelooft dat hun godin de zon laat opkomen, maar alleen als ze elke dag bidden.
Hun kaart: Geen gebed = geen zon.
Het resultaat: Ze bidden elke dag. De zon komt elke dag op.
De les: Ze denken: "Zie je wel? Onze kaart klopt perfect!"
- Het probleem: De zon komt op zowel als ze bidden als als ze niet bidden. Maar omdat ze altijd bidden, zien ze nooit wat er gebeurt als ze niet bidden.
- Ze zitten in een steady state (een evenwicht). Hun actie (bidden) bevestigt altijd hun verkeerde geloof. Ze worden nooit verrast, dus ze veranderen nooit van mening. Ze blijven eeuwig bidden, terwijl ze het eigenlijk niet nodig hebben.
- Dit is een geval waar feedback faalt.

4. Waarom blijven we in de fout? (De "Steady State")

Het artikel introduceert het concept van een Steady State (een stabiele toestand). Dit gebeurt als:

Je kiest de actie die op dat moment het beste lijkt, gebaseerd op je huidige kaart.
Het resultaat van die actie past precies bij wat je kaart voorspelde.
Omdat het resultaat past, verander je je kaart niet.
Omdat je kaart niet verandert, kies je morgen weer dezelfde actie.

Het is alsof je een kompas hebt dat altijd naar het Noorden wijst. Als je per ongeluk in een gebied loopt waar het magnetisch veld anders is, maar je kompas blijft toch naar het Noorden wijzen, dan loop je in cirkels. Je denkt dat je correct bent, maar je loopt in de verkeerde richting.

5. Wat als je niet weet dat je niet weet? (Introspectieve Onwetendheid)

Het artikel gaat nog een stapje verder. Wat als je niet alleen een verkeerde kaart hebt, maar ook niet weet dat er andere kaarten bestaan die jij niet eens in je hoofd hebt?

Stel, je denkt dat alleen "regens" en "zonneschijn" bestaan. Je weet niet dat "hagel" bestaat.
Als het plotseling hagelt, ben je niet alleen verrast, je bent ontzet. Je kaart kan dit niet verklaren.

De auteurs zeggen: soms weten mensen dat ze iets missen, maar ze weten niet wat ze missen. Ze denken: "Misschien gebeurt er iets vreemds dat ik niet kan voorspellen." Ze geven een kleine kans aan dit "onbekende mysterie". Als het mysterie te vaak gebeurt, kunnen ze hun hele wereldbeeld laten vallen en een nieuwe, betere kaart maken.

Samenvatting in één zin

Mensen maken keuzes op basis van wat ze denken dat de waarheid is; als die keuzes altijd bevestigd worden door de werkelijkheid (zelfs als de werkelijkheid toevallig is), blijven ze vastzitten in een vergissing, tenzij de werkelijkheid zo vreemd wordt dat hun oude kaart volledig instort.

De moraal: Soms is het gevaarlijkst om te denken dat je altijd gelijk hebt, omdat je dan nooit leert dat je het misschien mis hebt.

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het artikel "Unintended Consequences: Updating Causal Models" van Halpern, Piermont en Vierø, geschreven in het Nederlands.

Samenvatting: Onbedoelde Gevolgen: Het Bijwerken van Causale Modellen

1. Probleemstelling

Het artikel adresseert een fundamenteel probleem in de besluitvorming: hoe agenten (beslissers) omgaan met onjuiste causale overtuigingen en hoe feedback van hun acties leidt tot het bijwerken van deze overtuigingen.

Het kernprobleem: Agenten begrijpen de ware causale relaties tussen variabelen vaak verkeerd. Dit leidt tot suboptimale keuzes.
De dynamiek: In een dynamische omgeving observeert een agent resultaten van haar acties. Normaal gesproken zou dit leiden tot het corrigeren van foutieve overtuigingen. Het artikel onderzoekt echter of agenten altijd convergeren naar de waarheid.
De paradox: Het paper toont aan dat agenten in een "steady state" kunnen vastlopen waar ze onjuiste overtuigingen blijven handhaven, zelfs na oneindig veel interacties, omdat de gegenereerde data consistent is met hun foutieve model. Omgekeerd kan een agent ook worden gedwongen haar wereldbeeld volledig te herzien wanneer data onverklaarbaar is binnen haar huidige model.

2. Methodologie en Model

De auteurs bouwen een formeel raamwerk op dat drie hoofdbestanddelen combineert:

A. Structurele Causale Modellen (Structural-Equations Framework)

De wereld wordt beschreven door een set variabelen: exogene variabelen ( $U$ , bepaald door externe factoren) en endogene variabelen ( $V$ , bepaald door het model).
Een causaal model $M$ bestaat uit een set structurele vergelijkingen die de waarden van endogene variabelen bepalen op basis van andere variabelen.
De auteurs beperken zich tot acyclische modellen.
Interventies: Agenten kunnen handelingen uitvoeren die bestaan uit het forceren van variabelen naar specifieke waarden (interventies, genoteerd als $\vec{X} \leftarrow \vec{x}$ ).

B. Overtuigingen en Bijwerking (Conditional Probability Systems - CPS)

De agent is onzeker over het ware model $M^*$ en heeft een probabilistische overtuiging over de set mogelijke modellen.
Om omgang met "onverklaarbare" data (data die waarschijnlijkheid 0 heeft onder het huidige geloof) mogelijk te maken, wordt gebruikgemaakt van een Conditioneel Kwaliteitssysteem (CPS). Dit systeem definieert conditionele overtuigingen voor elk niet-lege subset van mogelijke modellen, inclusief gebeurtenissen met een voorafgaande kans van 0.
Bijwerking: Wanneer een agent een observatie $o$ doet (een combinatie van interventie en uitkomst), update ze haar overtuigingen via Bayesiaanse regels binnen de CPS. Als de observatie niet verklaard kan worden door modellen in de steun van haar huidige overtuiging, schakelt ze over naar een nieuwe conditionele verdeling die de onverklaarbare gebeurtenis mogelijk maakt.

C. Agentie en Nut (Agency and Utility)

De agent maximaliseert een waarde-functie $VAL(a, \mu)$ $V A L (a, μ)$ die bestaat uit twee componenten:
1. Directe Nut: De verwachte uitkomst van de interventie op basis van huidige overtuigingen.
2. Informatiewaarde: De toekomstige waarde van het bijwerken van overtuigingen (gedisconteerd met factor $\delta$ ).
De agent kiest een actie die deze totale waarde maximaliseert, rekening houdend met het exploratie-exploitatie-dilemma.

3. Belangrijkste Bijdragen en Concepten

A. Het Concept van een "Steady State" (Evenwicht)
De auteurs definiëren een steady state als een paar $(\mu, a)$ waarbij:

De actie $a$ optimaal is gegeven de huidige overtuigingen $\mu$ .
De observatie die voortvloeit uit deze actie (onder het ware model $M^*$ ) de onvoorwaardelijke overtuigingen $\bar{\mu}$ niet verandert.

Conclusie: In een steady state verandert de agent haar gedrag niet, omdat ze denkt dat ze de waarheid al kent, zelfs als ze onwetend is.

B. Convergentie vs. Delusie

Deterministische omgevingen: Als er geen stochastische ruis is in de context, convergeert de agent gegarandeerd naar een steady state (Remark 2).
Stochastische omgevingen: In meer realistische, willekeurige omgevingen is convergentie naar een steady state of zelfs stabiel gedrag niet gegarandeerd. De agent kan in een cyclus blijven hangen waarbij ze van actie wisselt zonder ooit de waarheid te vinden (zie Voorbeeld 3).
Voorbeeld 2 (De Aition-stam): Een stam gelooft dat hun gebeden de zon doen opkomen. Omdat de zon elke dag opkomt (onafhankelijk van hun gebeden), bevestigt de data hun foutieve model. Ze kiezen voor de actie "bidden" omdat dit direct nut oplevert in hun model, en de observatie (zon opkomend) is consistent met hun geloof. Ze veranderen nooit van mening.
Voorbeeld 1 (De Cobra-bounty): Een gouverneur betaalt voor slangenkoppen. Hij denkt dat dit de populatie vermindert. In werkelijkheid kweken mensen slangen. De observatie (meer slangen) is onverklaarbaar voor zijn model, wat leidt tot een radicale herziening van zijn overtuigingen en een stopzetting van het beleid.

C. Introspectieve Onwetendheid (Section 5)
De auteurs breiden het model uit naar agenten die zich bewust zijn dat ze mogelijk onwetend zijn (aware of their unawareness).

De agent kent de waarde $v^*$ van het ontdekken van iets onvoorspelbaars (een paradigma-schok).
Ze heeft een subjectieve kans $\xi(a)$ dat een actie $a$ tot een verrassende uitkomst leidt.
Dit leidt tot een nieuwe waarde-functie $VAL^*$ die een afweging maakt tussen bekende uitkomsten en de subjectieve waarde van mogelijke ontdekkingen. Dit verklaart waarom agenten soms keuzes maken met lage directe opbrengst maar hoge kans op nieuwe inzichten.

4. Resultaten

Foutieve steady states zijn mogelijk: Agenten kunnen vastzitten in een evenwicht met onjuiste causale overtuigingen als de gegenereerde data consistent is met hun foutieve model (zoals in het cobra-voorbeeld, maar dan in een situatie waar de data wel verklaarbaar is, of zoals in het gebed-voorbeeld).
Niet-convergentie: In stochastische omgevingen kan het proces van het maximaliseren van nut leiden tot oneindige cycli van actie en geloofsverandering zonder ooit een stabiel punt te bereiken.
Rationaliteit van fouten: Het model toont aan dat het vasthouden aan foutieve overtuigingen soms rationeel is vanuit het perspectief van de agent, omdat de feedback die ze ontvangt haar niet dwingt om te veranderen.

5. Betekenis en Implicaties

Theoretische bijdrage: Het paper verbindt de literatuur over causale inferentie (Pearl) met die over misgespecificeerde modellen in de economie. Het biedt een wiskundig onderbouwd kader voor hoe subjectieve causale redenering de besluitvorming beïnvloedt.
Praktische relevantie: Het verklaart waarom beleidsmakers of individuen soms hardnekkig vasthouden aan inefficiënte strategieën, zelfs in het licht van nieuwe data, zolang die data niet direct in strijd is met hun huidige causale wereldbeeld.
Toekomstige richting: De auteurs suggereren dat dit raamwerk kan worden uitgebreid naar strategische omgevingen (games), waar agenten bewust proberen andere agenten te misleiden door hun causale modellen te manipuleren.

Kortom, het paper levert een rigoureus wiskundig bewijs dat "leren" niet altijd leidt tot "waarheid", en dat de structuur van de feedbackcyclus cruciaal is voor het al dan niet corrigeren van causale misvattingen.