No More Maybe-Arrows: Resolving Causal Uncertainty by Breaking Symmetries

Die Arbeit stellt CausalSAGE vor, ein neues Rahmenwerk, das durch die Expansion diskreter Variablen, die Nutzung strukturellen Wissens und die Anwendung eines einheitlichen differenzierbaren Ziels partielle Ancestral-Graphen (PAGs) in eindeutige gerichtete azyklische Graphen (DAGs) umwandelt, um kausale Unsicherheiten zu beseitigen.

Das Wesentliche

Das Problem: Die unvollständige Landkarte

Stell dir vor, du möchtest die Straßen einer fremden Stadt kartieren. Du hast nur eine alte, ungenaue Landkarte (die Beobachtungsdaten). Du siehst, dass zwei Orte oft zusammen auftreten, aber du weißt nicht, wer wen beeinflusst.

• Die Situation: Ein Computer-Algorithmus (wie FCI) versucht, die Straßen zu zeichnen. Da er nur beobachtet und nicht experimentiert, kann er oft nicht sagen, ob die Straße von A nach B führt oder umgekehrt.
• Das Ergebnis: Er zeichnet eine PAG (Partial Ancestral Graph). Das ist wie eine Landkarte, auf der manche Straßen als eindeutige Einbahnstraßen markiert sind, aber viele andere als zweispurige, ungerichtete Wege oder sogar als Vielleicht-Pfeile (man weiß nicht, in welche Richtung der Verkehr fließt).
• Das Problem: Für viele wichtige Aufgaben (z. B. „Was passiert, wenn wir die Ampel an Ort A ändern?") brauchst du eine klare Einbahnstraße. Eine „Vielleicht-Straße" ist für solche Berechnungen nutzlos.

Die Lösung: CausalSAGE – Der Straßenbau-Experte

Die Autoren stellen CausalSAGE vor. Das ist wie ein hochmoderner Bauleiter, der diese unklare Landkarte nimmt und sie in eine perfekte, vollständig gerichtete Straßenkarte (einen DAG) verwandelt, ohne dabei die echten Regeln der Stadt zu brechen.

Hier ist, wie CausalSAGE das macht, in drei Schritten:

1. Der Mikroskop-Effekt (Zustands-Erweiterung)

Stell dir vor, eine Variable (z. B. „Wetter") ist normalerweise nur ein Punkt auf der Karte. CausalSAGE schaut aber genauer hin. Es zerlegt das „Wetter" in seine einzelnen Zustände: „Sonne", „Regen", „Schnee".

• Der Vergleich: Statt nur zu sagen „A beeinflusst B", schaut CausalSAGE: „Wenn es Sonne ist, führt das zu Regen bei B, aber wenn es Schnee ist, passiert gar nichts."
• Warum? Durch dieses feine Detailwissen (die „Zustände") finden sich oft versteckte Muster, die zeigen, in welche Richtung der Einfluss wirklich geht. Es ist, als würde man statt einer groben Skizze jetzt eine hochauflösende Fotografie verwenden.

2. Die Baustellen-Sperren (Strukturelle Constraints)

Bevor der Bauleiter anfängt zu bauen, schaut er sich die alte Landkarte (die PAG) an.

• Die Regel: Wenn die alte Karte sagt „Hier gibt es keine Straße", dann darf CausalSAGE dort auch keine bauen. Wenn sie sagt „Die Straße muss von A nach B gehen", dann ist das fest.
• Die Freiheit: Nur bei den „Vielleicht-Straßen" darf CausalSAGE entscheiden. Aber es darf keine neuen Straßen bauen, die gegen die alten Regeln verstoßen. Es ist wie ein Architekt, der ein altes, verfallenes Haus sanieren muss: Er darf Wände einreißen oder neue Fenster setzen, aber das Fundament (die grundlegenden Verbindungen) muss erhalten bleiben.

3. Der große Wettkampf (Optimierung)

Jetzt startet der eigentliche Prozess. CausalSAGE simuliert den Verkehr auf allen möglichen „Vielleicht-Straßen".

• Der Wettkampf: Es probiert aus: „Was wäre, wenn der Pfeil von A nach B zeigt?" und „Was wäre, wenn er von B nach A zeigt?".
• Der Gewinner: Die Richtung, die die Daten besser erklärt (also den Verkehr flüssiger macht und weniger Fehler macht), gewinnt.
• Der Trick: Um sicherzustellen, dass nicht beide Richtungen gleichzeitig als „richtig" gelten (was zu einem Kreisverkehr führen würde, den es in der Realität nicht gibt), gibt es eine Strafe für solche Kreise. Außerdem nutzt das System manchmal eine künstliche Intelligenz (LLM), die sich die Namen der Variablen ansieht. Wenn die Variable „Regen" ist und die andere „Bodenfeuchtigkeit", sagt die KI: „Regen macht den Boden nass, nicht umgekehrt." Das gibt dem Algorithmus einen kleinen Startvorteil in die richtige Richtung.

Das Ergebnis: Eine klare Landkarte

Am Ende hat CausalSAGE:

1. Alle „Vielleicht-Pfeile" in klare Einbahnstraßen verwandelt.
2. Sicherstellen, dass es keine logischen Kreise gibt (man kommt nicht ewig im Kreis).
3. Die ursprünglichen Regeln der Stadt respektiert.

Warum ist das toll?
Früher mussten Forscher bei unklaren Daten aufgeben oder sehr teure Experimente machen. CausalSAGE zeigt, dass man aus den vorhandenen Daten durch „intelligentes Nachdenken" (und etwas Rechenleistung) eine klare Kausalität herstellen kann. Es ist wie der Unterschied zwischen einer Landkarte mit Fragezeichen und einer perfekten Navigationsanleitung, die dir genau sagt, wohin du fahren musst, um dein Ziel zu erreichen.

Zusammenfassend:
CausalSAGE nimmt eine unvollständige, verwirrende Skizze von Ursache und Wirkung und poliert sie so lange, bis sie eine klare, logische und nutzbare Anleitung wird – ganz ohne neue Experimente, nur durch cleveres Analysieren der Details.

Technische Zusammenfassung

1. Problemstellung

Kausale Entdeckungsalgorithmen (Causal Discovery) arbeiten häufig mit beobachteten Daten, die die wahre kausale Struktur (einen gerichteten azyklischen Graphen, DAG) nur bis zu einer Markov-Äquivalenzklasse einschränken. Herkömmliche constraint-basierte Methoden (wie FCI oder PC) geben daher oft einen partiellen ancestral graph (PAG) aus. Ein PAG enthält Kanten, deren Richtung unbestimmt ist (z. B. $X \circ\rightarrow Y$), und erfasst Unsicherheiten bezüglich latenter Confounder.

Das Hauptproblem besteht darin, dass viele Downstream-Aufgaben (z. B. Interventionsplanung oder kontrafaktisches Schließen) einen vollständig gerichteten DAG benötigen. Die in PAGs verbleibende Ambiguität verhindert die Berechnung von Interventionswirkungen. Bisherige Ansätze zur Auflösung dieser Äquivalenzklassen erfordern oft zusätzliche, starke Annahmen oder sind rechnerisch ineffizient.

2. Methodik: CausalSAGE

Die Autoren schlagen CausalSAGE (Causal State-Augmented Graph Estimation) vor, ein differenzierbares Verfeinerungsframework, das PAGs in vollständige DAGs umwandelt, ohne die zugrunde liegenden kausalen Relationen zu verletzen. Das Framework besteht aus drei eng gekoppelten Stufen:

A. Zustandsbasierte Repräsentation (State-Level Expansion)

Statt diskrete Variablen als einzelne kategoriale Knoten zu behandeln, werden diese in One-Hot-Encodings ihrer einzelnen Zustände zerlegt.

• Eine diskrete Variable $V_i$ mit $L_i$ Zuständen wird zu einem Vektor $z_i \in \{0, 1\}^{L_i}$.
• Dies ermöglicht eine feinkörnige Modellierung von Interaktionen auf Ebene einzelner Zustände (z. B. könnte Zustand $a_1$ von $V_i$ spezifisch Zustand $b_2$ von $V_j$ beeinflussen, während andere Zustände keine Korrelation zeigen).
• Die Parameter werden in Blöcke $W_{ij}$ unterteilt, die den Einfluss von $V_i$ auf $V_j$ auf Zustandsniveau parametrisieren.

B. Strukturelle Kodierung und Constraints

Der Eingabe-PAG definiert harte strukturelle Constraints im Parameterraum:

• Variable-Level Admissibility: Basierend auf dem PAG-Skelett und identifizierten v-Strukturen werden erlaubte Richtungen definiert.
• State-Level Lifting: Diese Constraints werden auf die Zustands-Ebene erweitert, um eine Maske $S$ zu erzeugen, die verbotene Verbindungen während des Trainings auf Null setzt.
• Weiche Priors (Symmetry Breaking): Um Symmetrien zu brechen, die zu bidirektionalen Lösungen führen könnten, wird eine weiche Initialisierung verwendet. Dies kann zufällig oder durch LLMs (Large Language Models) erfolgen, die semantische Hinweise nutzen, um eine anfängliche Asymmetrie in den Logits zu erzeugen.

C. Unified Differentiable Objective

Das Training optimiert eine kombinierte Verlustfunktion, die folgende Komponenten vereint:

1. Rekonstruktions-Likelihood ($L_{recon}$): Ein Cross-Entropy-Verlust, der die Wahrscheinlichkeit der beobachteten Zustände basierend auf den erlaubten Eingängen maximiert. Die Richtung wird implizit durch den Beitrag zur Reduktion des Rekonstruktionsfehlers gelernt.
2. Block-Sparsity ($L_{sparse}$): Ein gewichteter Group-Lasso-Strafterm, der schwache Blöcke (Zustands-zu-Zustands-Interaktionen) entfernt und dichte bidirektionale Strukturen verhindert.
3. Zyklus-Strafterm ($L_{cycle}$): Bestraft gleichzeitig große Normen in beiden Richtungen eines Variablenpaares ($c_{i \to j} \cdot c_{j \to i}$), um bidirektionale Aktivierung zu unterdrücken und Asymmetrie zu fördern.
4. Skelett-Erhaltung ($L_{skeleton}$): Verhindert, dass Kanten, die im ursprünglichen PAG-Skelett vorhanden waren, während der Optimierung vollständig entfernt werden, auch wenn die Richtung noch unbestimmt ist.

Nach dem Training wird die Adjazenzmatrix durch Block-Max-Thresholding extrahiert, und falls notwendig, werden Zyklen durch Entfernen der schwächsten Kante aufgebrochen, um einen gültigen DAG zu erhalten.

3. Wichtige Beiträge

• Neues Framework: Einführung von CausalSAGE als differenzierbares, end-to-end optimierbares Verfahren zur Umwandlung von PAGs in DAGs.
• Zustandsbasierte Modellierung: Der innovative Ansatz, diskrete Variablen auf Zustandsniveau zu expandieren, um zusätzliche Asymmetrien in den Daten zu nutzen, die auf Variablenlevel verloren gehen.
• Symmetriebrechung ohne harte Annahmen: Nutzung von weichen Priors (zufällig oder LLM-basiert) und gemeinsamen Rekonstruktionszielen, um die Markov-Äquivalenzklasse aufzubrechen, ohne neue starke kausale Annahmen treffen zu müssen.
• Skalierbarkeit: Das Verfahren ist effizient implementiert und skaliert auf Graphen mit hunderten von Variablen.

4. Ergebnisse

Die Evaluierung erfolgte auf Standard-Benchmarks (von 11 bis 724 Variablen) unter Verwendung von FCI/RFCI als Baseline für die PAG-Erstellung.

• Verbesserung der Strukturgenauigkeit: CausalSAGE reduziert den Structural Hamming Distance (SHD) signifikant im Vergleich zu rohen PAGs. Auf dem Datensatz "pigs" sank der SHD beispielsweise von 276 auf 20.
• Auflösung von Ambiguitäten: Der Anteil ungelöster Richtungen (unresolved direction ratio) wurde von 46–86 % (bei FCI/RFCI) auf 0 % reduziert. Das Framework liefert in allen Fällen vollständig gerichtete DAGs.
• Vergleich mit direkten DAG-Learnern: Im Vergleich zu klassischen Score-basierten Methoden (Tabu, Hill Climbing) und Constraint-basierten Methoden (PC) erreicht CausalSAGE eine wettbewerbsfähige bis überlegene Leistung, insbesondere bei mittleren bis großen Graphen, wo andere Methoden oft instabil werden oder katastrophal versagen.
• Skalierbarkeit: Das Verfahren ist effizient. Selbst der größte Testgraph mit 724 Variablen ("Link") wurde auf einer einzelnen CPU in ca. 12 Minuten verarbeitet.
• Robustheit: Die Ergebnisse sind robust gegenüber unterschiedlichen Stichprobengrößen und Initialisierungen, wobei LLM-basierte Priors die Konsistenz bei großen Graphen weiter verbessern.

5. Bedeutung

Das Paper adressiert eine kritische Lücke in der kausalen Inferenz: Die Lücke zwischen der theoretischen Unsicherheit von PAGs und dem praktischen Bedarf an vollständigen DAGs für Interventionsanalysen.

• Praktische Anwendbarkeit: CausalSAGE ermöglicht es Forschern, aus rein beobachteten Daten (die oft der einzige verfügbare Datentyp sind) präzise kausale Modelle für Downstream-Aufgaben abzuleiten.
• Effizienz: Durch die Nutzung differenzierbarer Optimierung und moderner Hardware (GPUs/CPUs) wird die Berechnung komplexer kausaler Strukturen beschleunigt, was Anwendungen in Biologie, Ökonomie und Klimawandelforschung erleichtert.
• Zukunftsperspektive: Die Methode legt den Grundstein für die Integration von semantischem Wissen (via LLMs) in die kausale Entdeckung und könnte zukünftig auf dynamische Systeme erweitert werden.

Zusammenfassend bietet CausalSAGE eine robuste, skalierbare und dateneffiziente Lösung, um die „Maybe-Arrows" (unsichere Kanten) in kausalen Graphen zu eliminieren und so die Brücke zwischen theoretischer Äquivalenzklassen-Theorie und praktischer kausaler Anwendung zu schlagen.