Unintended Consequences: Updating Causal Models

Dieses Papier untersucht, wie ein Agent, der über einen Satz möglicher kausaler Modelle unsicher ist, seine kausalen Überzeugungen durch Feedback von seinen Entscheidungen aktualisiert, und definiert einen Gleichgewichtszustand, in dem die Rückmeldungen der optimalen Handlungen mit den aktuellen Überzeugungen vereinbar sind.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Kapitän auf einem Schiff, das durch ein nebliges Meer fährt. Ihr Ziel ist es, die schnellste und sicherste Route zu finden. Aber hier ist das Problem: Sie haben keine perfekte Karte. Stattdessen haben Sie ein paar alte, vielleicht fehlerhafte Skizzen in Ihrer Hand, und Sie glauben, dass eine davon die wahre Karte ist.

Dieses Papier von Halpern, Piermont und Vierø untersucht genau diese Situation: Wie treffen Menschen Entscheidungen, wenn sie die wahren Zusammenhänge der Welt nicht verstehen, und wie ändern sie ihre Meinung, wenn die Realität nicht so läuft, wie sie erwartet haben?

Hier ist die einfache Erklärung der Kernideen, verpackt in Alltagsbeispiele:

1. Die falsche Landkarte (Kausale Modelle)

Stellen Sie sich vor, Sie glauben, dass das Aufziehen einer Uhr die Sonne am Himmel aufgehen lässt. Das ist Ihre „Landkarte" (Ihr kausales Modell). In Wirklichkeit geht die Sonne natürlich von selbst auf, aber Sie wissen das noch nicht.

• Das Problem: Wenn Sie jeden Morgen die Uhr aufziehen und die Sonne aufgeht, denken Sie: „Siehst du? Meine Theorie stimmt!" Sie bestätigen Ihre falsche Überzeugung durch die Beobachtung.
• Die Wissenschaft: Die Autoren nutzen ein mathematisches Gerüst (nennen wir es „Strukturgleichungen"), um zu beschreiben, wie Menschen denken. Sie gehen davon aus, dass wir nicht nur eine Theorie haben, sondern eine ganze Sammlung möglicher Theorien, von denen wir glauben, dass die eine oder andere wahr sein könnte.

2. Der „Cash-for-Snakes"-Fehler (Unerwartete Konsequenzen)

Das Papier beginnt mit einem berühmten Beispiel aus der Geschichte:
Der Gouverneur von Indien wollte Schlangen loswerden. Er dachte: „Wenn ich Leute dafür bezahle, tote Kobra-Köpfe zu bringen, werden die Schlangen verschwinden."

• Seine Logik: Mehr Köpfe = Weniger Schlangen.
• Die Realität: Die Leute begannen, Schlangen zu züchten, um das Geld zu kassieren. Als die Regierung das Programm einstellte, ließen sie die gezüchteten Schlangen frei. Plötzlich gab es mehr Schlangen als vorher.

Die Lehre: Der Gouverneur hatte eine falsche Landkarte. Er sah nicht, dass sein Handeln (das Geld) einen neuen Faktor (die Zucht) auslöste, den er nicht auf seiner Karte hatte.

3. Der ewige Irrglaube (Der „Steady State")

Das ist der spannendste Teil des Papiers. Was passiert, wenn jemand eine falsche Theorie hat, aber niemals merkt, dass sie falsch ist?

Stellen Sie sich einen Stamm vor, der jeden Morgen vor Sonnenaufgang tanzt, weil sie glauben: „Wenn wir nicht tanzen, geht die Sonne nicht auf."

• Sie tanzen.
• Die Sonne geht auf.
• Sie denken: „Ha! Wir haben es geschafft! Unsere Theorie war richtig!"

Auch wenn die Sonne natürlich von selbst aufgeht, passt das Ergebnis perfekt zu ihrer falschen Theorie. Da ihre Handlung (Tanzen) immer das gewünschte Ergebnis (Sonne) liefert, ändern sie ihre Meinung nie. Sie bleiben in einem „Steady State" (einem stabilen Zustand des Irrtums). Sie tanzen ewig weiter, weil ihre „Landkarte" durch die Realität nie widerlegt wird.

Der Unterschied zum Schlangen-Beispiel:

• Im Schlangen-Beispiel führte die Handlung zu einem Ergebnis, das nicht in die Theorie passte (mehr Schlangen statt weniger). Da die Realität so laut war, dass sie die falsche Theorie nicht ignorieren konnten, mussten sie ihre Meinung ändern.
• Im Tanz-Beispiel war das Ergebnis genau das, was sie erwartet hatten. Die Lüge wurde zur Wahrheit, weil sie nie getestet wurde.

4. Der Entdecker-Modus (Lernen durch Handeln)

Die Autoren zeigen auch, wie wir lernen sollten. Ein kluger Kapitän weiß: „Vielleicht ist meine Karte falsch. Vielleicht sollte ich einen Umweg fahren, nur um herauszufinden, ob dort eine Bucht ist, auch wenn der direkte Weg schneller aussieht."

• Exploration (Erkundung): Man tut etwas, das vielleicht nicht sofort den besten Gewinn bringt, aber neue Informationen liefert.
• Exploitation (Ausnutzung): Man tut das, was man jetzt für das Beste hält.

Das Papier beschreibt eine Art „Gleichgewicht", bei dem man so handelt, dass man nicht nur den sofortigen Gewinn maximiert, sondern auch lernt. Aber wenn man in einer „falschen Realität" gefangen ist (wie beim Tanz-Stamm), sieht man keinen Grund zu erkunden, weil man denkt, man wüsste schon alles.

5. Das Bewusstsein des Unbewusstseins (Introspektion)

Am Ende fragen die Autoren: Was, wenn wir wissen, dass wir etwas Wichtiges übersehen könnten, aber nicht wissen, was das ist?
Stellen Sie sich vor, Sie wissen: „Ich habe vielleicht eine falsche Landkarte, aber ich weiß nicht, welche Berge fehlen."
Die Autoren modellieren, wie ein solcher Mensch handelt. Er ist vorsichtig. Er denkt: „Vielleicht passiert etwas, das ich mir gar nicht vorstellen kann." Er gibt diesem „Unbekannten" einen kleinen Wert, auch wenn er nicht weiß, wie es aussieht. Das hilft ihm, nicht in einem ewigen Irrglauben stecken zu bleiben, sondern offen für Überraschungen zu sein.

Zusammenfassung in einem Satz

Dieses Papier erklärt, warum wir manchmal ewig an falschen Ideen festhalten (weil unsere Handlungen zufällig bestätigen, was wir glauben wollen) und wie wir lernen können, unsere mentalen Landkarten zu aktualisieren, wenn die Realität uns einen Schlag ins Gesicht gibt – oder warum wir manchmal gar nicht merken, dass wir uns täuschen.

Es ist eine Anleitung dazu, wie wir zwischen „Ich habe recht, weil es passiert ist" und „Vielleicht habe ich die Welt falsch verstanden" unterscheiden können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Unintended Consequences: Updating Causal Models" von Halpern, Piermont und Vierø auf Deutsch.

1. Problemstellung

Das Paper adressiert das Problem, wie Agenten, die über falsche oder unvollständige kausale Modelle der Welt verfügen, ihre Entscheidungen treffen und wie Feedback aus diesen Entscheidungen zu einer Aktualisierung ihrer Überzeugungen führt.

• Kausale Fehleinschätzung: Agenten verstehen oft die wahren kausalen Zusammenhänge zwischen Variablen nicht (z. B. durch Unwissenheit oder Missinterpretation).
• Dynamische Anpassung: In wiederholten Umgebungen beobachten Agenten Ergebnisse, die ihre aktuellen Modelle widerspiegeln oder widersprechen. Die zentrale Frage ist, ob dieser Lernprozess zu korrekten Überzeugungen und stabilem Verhalten führt oder ob Agenten in einem „falschen Gleichgewicht" (Steady State) verharren, in dem sie trotz inkorrekter Modelle optimale Handlungen basierend auf diesen falschen Modellen wählen.
• Das Paradoxon: Es kann vorkommen, dass Agenten aufgrund falscher Kausalmodelle suboptimale Aktionen wählen, aber das daraus resultierende Feedback ihre falschen Überzeugungen bestätigt, sodass sie nie lernen, das Modell zu korrigieren (Beispiel: Der „Aition"-Stamm, der die Sonnenaufgänge als Bestätigung eines falschen Rituals interpretiert).

2. Methodik und Modellrahmen

Die Autoren nutzen das Framework der strukturellen kausalen Modelle (Structural Causal Models, SCM) nach Pearl, erweitert um eine Theorie der Entscheidungsfindung und des Lernens.

A. Strukturelle Kausale Modelle

• Variablen: Unterscheidung zwischen exogenen Variablen ($U$) und endogenen Variablen ($V$).
• Modelle: Ein kausales Modell $M$ besteht aus einer Signatur und strukturellen Gleichungen $F$, die die Werte der endogenen Variablen basierend auf anderen Variablen bestimmen.
• Interventionen: Agenten können durch Interventionen ($do$-Operationen, z. B. $X \leftarrow x$) Variablen manipulieren. Dies erzeugt kontrafaktische Modelle.

B. Überzeugungen und Aktualisierung (Conditional Probability Systems)

Da Agenten das wahre Modell $M^\star$ nicht kennen, halten sie eine Wahrscheinlichkeitsverteilung über einen Raum möglicher Modelle.

• Bedingte Wahrscheinlichkeitssysteme (CPS): Um auch mit Beobachtungen umzugehen, die unter dem aktuellen Glauben eine Wahrscheinlichkeit von 0 haben (d. h. „unerklärliche" Daten), verwenden die Autoren ein CPS (nach Popper/de Finetti). Dies erlaubt es der Agentin, konditionale Überzeugungen auch für Ereignisse mit unbedingter Wahrscheinlichkeit 0 zu definieren.
• Aktualisierungsregel: Wenn eine Agentin eine Beobachtung $o$ macht (Intervention + Ergebnis), aktualisiert sie ihre CPS. Modelle, die $o$ nicht produzieren können (Wahrscheinlichkeit 0), werden ausgeschlossen. Die relative Wahrscheinlichkeit der verbleibenden Modelle wird basierend auf der Likelihood der Beobachtung aktualisiert.

C. Agency und Nutzenfunktion

• Aktionen: Eine Aktion $a$ besteht aus einer Intervention und einem Satz von zu beobachtenden Variablen.
• Nutzen: Der Nutzen hängt von den Werten der Variablen ab (repräsentiert durch eine spezielle Variable $UTIL$).
• Wertfunktion (VAL): Der Agent maximiert einen diskontierten Gesamtnutzen, der zwei Komponenten umfasst:
  1. Sofortiger Nutzen: Der erwartete Nutzen der aktuellen Intervention.
  2. Informationswert: Der diskontierte zukünftige Nutzen, der durch das Lernen aus der Beobachtung entsteht (Verbesserung zukünftiger Entscheidungen).
  • Formel: $VAL(a, \mu) = E[UTIL + \delta \cdot \max VAL(a', \mu_{neu})]$.

3. Schlüsselkonzept: Der Steady State (Gleichgewichtszustand)

Die Autoren definieren einen Steady State als ein Paar $(\mu, a)$, bestehend aus einem CPS $\mu$ (Überzeugungen) und einer Aktion $a$, das folgende Bedingungen erfüllt:

1. Optimalität: $a$ ist die Aktion, die den Wert $VAL(a', \mu)$ maximiert.
2. Stabilität der Überzeugungen: Die durch die Aktion $a$ im wahren Modell $M^\star$ generierte Beobachtung führt zu keiner Änderung der unbedingten Überzeugungen $\bar{\mu}$. Das heißt, die Beobachtung ist mit dem aktuellen Glauben vereinbar, sodass keine neuen Modelle ausgeschlossen und keine Wahrscheinlichkeiten verschoben werden.

In einem solchen Zustand wählt die Agentin weiterhin dieselbe Aktion, da sie keine neuen Informationen erhält, die ihre Überzeugungen in Frage stellen würden.

4. Ergebnisse und Beispiele

A. Deterministische vs. Stochastische Umgebungen

• Deterministisch: Wenn der Kontext (exogene Variablen) fest ist, konvergiert das Verhalten der Agentin garantiert zu einem Steady State. Da die Anzahl der Modelle endlich ist, werden falsche Modelle durch widersprüchliche Beobachtungen ausgeschlossen, bis nur noch konsistente Modelle übrig bleiben.
• Stochastisch: Bei zufälligen Kontexten konvergiert das System nicht notwendigerweise. Es kann zu einem zyklischen Verhalten kommen, bei dem die Agentin zwischen verschiedenen Aktionen hin- und herwechselt, ohne jemals einen stabilen Zustand zu erreichen (Beispiel 3 im Paper).

B. Fallbeispiele

1. Der Aition-Stamm (Beispiel 2):

   • Szenario: Der Stamm glaubt, ein Ritual bringe die Sonne hervor (falsches Modell $M^\dagger$). Die wahre Kausalität ist, dass die Sonne unabhängig aufgeht ($M^\star$).
   • Ergebnis: Da das Ritual (Intervention) in beiden Modellen zum selben Ergebnis (Sonnenaufgang) führt, ist die Beobachtung für den Agenten nicht informativ. Er aktualisiert seine Überzeugungen nicht. Dies ist ein Steady State des Irrtums: Die Agentin handelt „optimal" gemäß ihren falschen Überzeugungen, und das Feedback bestätigt diese ständig.

2. Die Schlangen-Bounty (Beispiel 1):

   • Szenario: Der Gouverneur glaubt, das Töten von Schlangen reduziere die Population (Modell $M^\dagger$, ignoriert Zucht). Die Wahrheit ist, dass die Prämie die Zucht fördert, was die Population erhöht ($M^\star$).
   • Ergebnis: Die Aktion (Bounty) führt zu einer Beobachtung (Anstieg der Schlangen), die im Modell $M^\dagger$ unmöglich ist (Wahrscheinlichkeit 0). Die Agentin muss ihr CPS aktualisieren und das falsche Modell verwerfen. Sie lernt, ändert ihre Politik und erreicht einen neuen Steady State (Rücknahme der Prämie). Hier führt Feedback zur Korrektur.

3. Zyklisches Verhalten (Beispiel 3):

   • In einer stochastischen Umgebung kann es passieren, dass keine Aktion die Agentin zwingt, ein Modell zu verwerfen, aber die beobachteten Ergebnisse je nach Zufall die Wahrscheinlichkeiten so verschieben, dass sich die optimale Aktion ändert. Dies führt zu einem endlosen Zyklus von Aktionen ohne Konvergenz.

C. Introspektive Unwissenheit (Section 5)

Die Autoren erweitern das Modell um Agenten, die sich ihrer eigenen Unwissenheit bewusst sind (sie wissen, dass sie etwas nicht wissen, aber nicht, was es ist).

• Sie führen einen subjektiven Wert $v^*$ für das Lernen von Unvorhersehbarem ein.
• Eine introspektive Steady State erfordert, dass nicht nur die Überzeugungen stabil bleiben, sondern auch die Wahrscheinlichkeit, überrascht zu werden, konstant bleibt. Dies erklärt, warum Agenten manchmal Exploration (Suche nach neuen Modellen) bevorzugen, wenn der erwartete Nutzen bestehender Modelle gering ist.

5. Bedeutung und Beiträge

• Formalisierung von kausalem Lernen: Das Paper bietet einen rigorosen mathematischen Rahmen, der kausale Überzeugungen, Entscheidungen und Lernen in einem einzigen Modell vereint.
• Erklärung von Persistenz von Irrtümern: Es zeigt, dass falsche Überzeugungen nicht nur durch mangelndes Lernen, sondern durch die Struktur der Feedback-Schleife selbst aufrechterhalten werden können. Wenn die Handlungen, die auf falschen Überzeugungen basieren, keine Daten generieren, die diese Überzeugungen widerlegen, bleibt der Irrtum bestehen.
• Unterscheidung von Umgebungen: Es wird deutlich gemacht, dass die Konvergenz zu wahren Modellen in stochastischen Umgebungen nicht garantiert ist, was eine wichtige Einschränkung für die Annahme rationalen Lernens in komplexen Systemen darstellt.
• Anwendbarkeit: Die Ergebnisse sind relevant für Wirtschaftswissenschaften (Makroökonomie, Verhaltensökonomie), Politikgestaltung (Vermeidung unbeabsichtigter Folgen) und KI (Robustes Lernen unter Modellunsicherheit).

Zusammenfassend liefert das Paper eine theoretische Grundlage dafür, warum Agenten in dynamischen Umgebungen trotz rationalen Verhaltens in suboptimalen Gleichgewichten stecken bleiben können und wie die Struktur der verfügbaren Informationen (oder deren Fehlen) die Evolution von Kausalmodellen bestimmt.