Choosing with unknown causal information: Action-outcome probabilities for decision making can be grounded in causal models

1. Probleemstelling

Het artikel adresseert een fundamentele kloof in de decisiontheorie met betrekking tot de oorsprong van actie-uitkomstprobabiliteiten.

• Context: Klassieke decisiontheorie (von Neumann-Morgenstern en Savage) biedt een formeel criterium voor rationele keuze: Maximaliseren van de Verwachte Nuttigheid (MEU). Deze kaders vertrouwen echter op associatieve (probabilistische) informatie zonder de bron van de gebruikte probabiliteiten te specificeren.
• De Kloof: Hoewel mensen op natuurlijke wijze causaal redeneren (onderscheid makend tussen het observeren van een gebeurtenis en het interveniëren om deze te veroorzaken), behandelen standaard decisiontheorieën probabiliteiten vaak als puur statistische associaties.
• De Uitdaging:
  1. Hoe besluitvorming te formaliseren wanneer causale informatie bekend is (reeds aangepakt door Judea Pearl).
  2. Hoe besluitvorming te formaliseren wanneer het causale mechanisme dat de omgeving controleert onbekend is voor de rationele agent.
  3. Hoe de voor MEU vereiste probabiliteiten te verankeren in causale modellen in plaats van enkel in observationele data, specifiek in gevallen van onvolledige causale kennis.

2. Methodologie en Theoretisch Kader

De auteurs bouwen een brug tussen Klassieke Decisiontheorie en Causale Inferentie (specifiek Pearls Causale Grafische Modellen).

A. Fundamentele Definities

• Causale Omgeving: Gedefinieerd als een onzekere omgeving $(\Omega, A, C, E)$ aangevuld met een Causaal Grafisch Model (CGM) $G$. Het CGM encodeert causale relaties tussen acties ($A$) en consequenties ($C$), evenals andere omgevingsvariabelen.
• Interventie ($do(\cdot)$): Het kernmechanisme dat causale modellen onderscheidt van associatieve modellen. Een actie $a$ wordt gemodelleerd als een interventie $do(a)$, die de gezamenlijke verdeling van variabelen wijzigt door de waarde van een variabele vast te zetten en inkomende randen naar die knoop in het graf te verwijderen.
• Causaal Besluitprobleem (CDP): Een tuple $(\Omega, A, G, E, C, \succeq)$ waarbij de besluitnemer een actie kiest om de nuttigheid te maximaliseren op basis van het causale model.

B. Theoretische Aanpak

Het artikel verloopt in twee hoofdstappen:

1. Overzicht van Bekende Causale Informatie: Het erkent Pearls (2009) resultaat waarbij een rationele agent met een bekend causaal model $G$ actie $a^*$ kiest om $\sum P_G(c | do(a))u(c)$ te maximaliseren.
2. Extensie naar Onbekende Causale Informatie: De centrale methodologische bijdrage is het uitbreiden hiervan naar scenario's waarin de agent het ware causale model $G$ niet kent.
   • Hypothese: Een rationele agent met onbekende causale structuur heeft subjectieve overtuigingen over een familie van mogelijke causale structuren ($\mathcal{F}$).
   • Mechanisme: De agent behandelt elke mogelijke causale structuur $g \in \mathcal{F}$ als een potentiële waarheid, berekent de verwachte nuttigheid binnen die structuur met behulp van de $do$-operator, en aggregeert vervolgens deze nuttigheden gewogen met de waarschijnlijkheid die de agent toekent aan elke structuur.

3. Belangrijkste Bijdragen

A. Stelling 4.2: Besluitvorming met Onbekende Causale Modellen

De primaire theoretische bijdrage van het artikel is Stelling 4.2, die een representatiestelling biedt voor rationele besluitvorming onder onbekende causale informatie.

• Stelling: Een voorkeursrelatie $\succeq$ over acties in een eindig, begrensd Causaal Besluitprobleem is rationeel dan en slechts dan als er bestaat:

  1. Een nuttigheidsfunctie $u: C \to \mathbb{R}$.
  2. Een kansverdeling $P_C$ over een niet-lege familie van causale grafische modellen $\mathcal{F}$.

• Besluitregel: De agent kiest actie $a$ boven $b$ dan en slechts dan als:
  $$\sum_{c \in C} u(c) \left( \sum_{g \in \mathcal{F}} P_g(c | do(a)) P_C(g) \right) \geq \sum_{c \in C} u(c) \left( \sum_{g \in \mathcal{F}} P_g(c | do(b)) P_C(g) \right)$$
  Waarbij:

  • $P_C(g)$ de subjectieve overtuiging van de agent is dat causale structuur $g$ het ware model is.
  • $P_g(c | do(a))$ de waarschijnlijkheid is van consequentie $c$ gegeven interventie $do(a)$ binnen het specifieke causale model $g$.

• Betekenis: Dit bewijst dat actie-uitkomstprobabiliteiten kunnen worden verankerd in causale modellen, zelfs wanneer het specifieke causale mechanisme onbekend is. De "kans" die wordt gebruikt in de berekening van de verwachte nuttigheid is een mengverdeling over causale structuren.

B. Definitie van Causaal Nash-evenwicht

De auteurs passen Stelling 4.2 toe op Speltheorie om een Causaal Nash-evenwicht te definiëren.

• Context: In een Bayesiaans strategisch spel hebben spelers onvolledige informatie over het ware causale model $\omega$ dat de omgeving bestuurt.
• Definitie: Een actieprofiel $a^*$ is een Causaal Nash-evenwicht als geen enkele speler $i$ zijn Causale Verwachte Nuttigheid ($u^C_i$) kan verbeteren door eenzijdig zijn actie te veranderen, gegeven zijn overtuigingen over de causale structuur en de acties van anderen.
• Formule:
  $$u^C_i(a) = \sum_{c \in C} u_i(c) \sum_{\omega \in \Omega} P^\omega_i(c | do(a_i), a_{-i}) P_i(\omega)$$
  Deze formulatie integreert expliciet de $do$-operator, waardoor deze verschilt van standaard Nash-evenwichten die vertrouwen op conditionele probabiliteiten $P(c | a_i, a_{-i})$.

4. Resultaten

1. Formele Verankering: Het artikel demonstreert succesvol dat de probabiliteiten vereist voor het Principe van Verwachte Nuttigheid kunnen worden afgeleid uit causale modellen, waarmee het debat over de "oorsprong" van deze probabiliteiten wordt opgelost.
2. Generalisatie: Het resultaat generaliseert Pearls criterium voor bekende causale modellen naar het realistischere scenario van onbekende causale mechanismen.
3. Berekenbare Implementeerbaarheid: Het kader biedt een berekenbaar implementeerbaar criterium. Een agent kan een verdeling over causale structuren leren (bijvoorbeeld via algoritmen voor structuurleren) en de afgeleide formule gebruiken om optimale beslissingen te nemen.
4. Speltheoretische Extensie: Het artikel stelt vast dat standaard speltheoretische concepten zoals Nash-evenwicht strikt kunnen worden uitgebreid naar omgevingen waarin agenten causaal redeneren in plaats van associatief.

5. Betekenis en Implicaties

• Brug tussen AI en Filosofie: Het werk verbindt het filosofische debat tussen Causale Decisiontheorie (CDT) en Evidentiële Decisiontheorie (EDT) met praktische machine learning en AI-besluitvorming. Het biedt een wiskundige rechtvaardiging voor waarom agenten causaal redeneren moeten gebruiken.
• Robuustheid tegen Distributieverandering: Door beslissingen te verankeren in causale mechanismen (interventies) in plaats van correlaties, is het kader theoretisch robuuster tegen veranderingen in de omgeving (distributieveranderingen) waar puur associatieve modellen zouden falen.
• Mensgerichte AI: Aangezien mensen op natuurlijke wijze causaal redeneren (en de neiging hebben puur probabilistische informatie te negeren ten gunste van causale verklaringen), biedt dit kader een meer "menscompatibele" basis voor het ontwerpen van rationele AI-agenten.
• Strategische Interactie: De introductie van het Causaal Nash-evenwicht opent nieuwe wegen voor het analyseren van strategische interacties in economie en multi-agent systemen waar de onderliggende causale dynamiek onzeker is.

Conclusie

Het artikel betoogt dat rationele besluitvorming onder onzekerheid fundamenteel een causaal proces is. Door het Principe van Verwachte Nuttigheid uit te breiden om een verdeling over causale modellen te omvatten, bieden de auteurs een strikte wiskundige fundering voor besluitvorming wanneer de causale mechanismen onbekend zijn, waarbij wordt gegarandeerd dat actie-uitkomstprobabiliteiten zijn verankerd in de structurele realiteit van de omgeving in plaats van in louter statistische associatie.