Scalable Contrastive Causal Discovery under Unknown Soft Interventions

Die Autoren stellen ein skalierbares Modell zur kausalen Entdeckung vor, das unter der Annahme unbekannter weicher Interventionen durch kontrastives Lernen über Beobachtungs- und Interventionsregimes hinweg eine global konsistente kausale Struktur rekonstruiert und dabei theoretisch fundierte Verbesserungen gegenüber nicht-kontrastiven Methoden sowie eine bessere Generalisierungsfähigkeit bietet.

Das Wesentliche

Stell dir vor, du bist ein Detektiv, der versuchen soll, das Geheimnis eines riesigen, verworrenen Netzwerks zu lüften. Vielleicht ist es ein Netzwerk aus Genen in einer Zelle, ein System von Börsenkursen oder sogar das Wetter. Deine Aufgabe: Herausfinden, wer wen beeinflusst. Wer ist der Chef (Ursache) und wer ist der Angestellte (Wirkung)?

Das Problem ist: Du hast nur zwei Arten von Beweisen, und beide sind unvollständig.

1. Der passive Beobachter (Beobachtungsdaten): Du sitzt nur da und schaust zu. Du siehst, dass A und B oft gleichzeitig passieren. Aber weißt du, ob A B verursacht, B A verursacht oder ob ein unsichtbarer C beide steuert? Das ist wie zu sehen, dass sich alle Menschen, die einen Regenschirm tragen, auch nass werden. Das bedeutet nicht, dass der Schirm die Nässe verursacht! In der Wissenschaft nennt man das eine "Markov-Äquivalenzklasse" – eine Gruppe von möglichen Erklärungen, die man mit bloßem Beobachten nicht unterscheiden kann.
2. Der sanfte Eingriff (Weiche Interventionen): Manchmal kannst du etwas verändern. Aber statt einen Schalter komplett umzulegen (hart), drehst du nur ein wenig am Regler (weich). Und das Tückische: Du weißt nicht genau, welchen Regler du gedreht hast! Es ist, als würdest du in einem Raum mit 100 Lichtschaltern einen Schalter umlegen, aber du siehst nur, dass das Licht im Raum etwas heller wird, ohne zu wissen, welcher Schalter es war.

Bisherige Methoden scheiterten oft daran, dass sie entweder zu langsam waren (wie ein Detektiv, der jeden einzelnen Schalter einzeln testet) oder dass sie bei großen Räumen (großen Netzwerken) völlig den Überblick verloren.

Die Lösung: SCONE – Der kontrastive Detektiv

Die Autoren dieses Papers haben SCONE entwickelt. Stell dir SCONE als einen super-intelligenten Detektiv vor, der zwei besondere Fähigkeiten hat:

1. Das "Vergleichs-Prinzip" (Kontrastives Lernen)

Stell dir vor, du hast zwei Fotos desselben Raumes: eines bei Tageslicht und eines bei Kunstlicht.

• Auf dem ersten Foto (Regime 0) siehst du, wie die Möbel stehen.
• Auf dem zweiten Foto (Regime 1) hast du irgendeinen Schalter umgelegt, aber du weißt nicht welchen.

SCONE vergleicht nun nicht nur die Möbel auf jedem Bild einzeln, sondern schaut sich genau an, was sich unterscheidet.

• Wenn sich die Helligkeit an einem bestimmten Punkt ändert, aber die Möbel an einem anderen Punkt genau gleich bleiben, kann SCONE ableiten: "Aha! Der Schalter, den ich umgelegt habe, muss mit dem ersten Punkt zu tun haben, aber nicht mit dem zweiten."
• Diese Methode nennt man kontrastiv. Sie nutzt die Unterschiede zwischen den beiden Welten, um die Richtung der Ursache-Wirkung-Kette zu entschlüsseln, wo normale Methoden nur raten könnten.

2. Der "Puzzle-Strategist" (Skalierbarkeit)

Statt den ganzen riesigen Raum auf einmal zu analysieren (was für Computer zu schwer ist), schneidet SCONE das Puzzle in viele kleine, handliche Stücke (Subsets).

• Er löst zuerst kleine 10-teilige Puzzles.
• Dann nutzt er einen cleveren Mechanismus (eine Art "Axial-Attention", stell dir das wie einen sehr aufmerksamen Blick vor, der über das ganze Bild gleitet), um diese kleinen Puzzleteile wieder zusammenzufügen.
• Das Besondere: Er vergleicht die kleinen Teile aus beiden Welten (Tageslicht vs. Kunstlicht) direkt miteinander, um die Richtung der Kanten (Pfeile) im Puzzle zu bestimmen.

Warum ist das revolutionär?

• Es funktioniert auch, wenn man nicht weiß, was man geändert hat: Frühere Methoden brauchten perfekte Experimente ("Ich habe genau Schalter X umgelegt"). SCONE kommt auch mit "sanften" und unbekannten Änderungen zurecht.
• Es ist schnell: Während andere Methoden bei großen Netzwerken (z. B. 100 Variablen) Stunden oder Tage brauchen oder gar abstürzen, schafft SCONE das in Minuten.
• Es ist robust: Selbst wenn die Regeln, nach denen das System funktioniert, sich leicht ändern (z. B. andere Formeln für die Zusammenhänge), bleibt SCONE stabil. Es verallgemeinert das Gelernte auf neue, unbekannte Situationen.

Die einfache Zusammenfassung

Stell dir vor, du versuchst, die Hierarchie in einer großen Firma zu verstehen, indem du nur zwei Tage lang zuschaust: einen normalen Arbeitstag und einen Tag, an dem der Chef heimlich ein paar Regeln geändert hat, ohne jemandem zu sagen, was er getan hat.

• Normale Methoden würden raten: "Vielleicht ist A der Chef von B, oder vielleicht ist B der Chef von A."
• SCONE schaut sich genau an, was sich am Verhalten der Mitarbeiter geändert hat. "Aha! Mitarbeiter X hat sich verändert, aber Mitarbeiter Y nicht. Also muss die Änderung von X beeinflusst worden sein, nicht von Y."

Dadurch kann SCONE das wahre Machtgefüge (die kausale Struktur) viel genauer und schneller rekonstruieren als alle bisherigen Methoden, selbst wenn die Daten unvollständig oder "verrauscht" sind. Es ist ein großer Schritt hin zu KI, die nicht nur Muster erkennt, sondern wirklich versteht, warum Dinge passieren.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Scalable Contrastive Causal Discovery under Unknown Soft Interventions" auf Deutsch:

1. Problemstellung

Das Ziel der kausalen Entdeckung (Causal Discovery) ist es, die zugrunde liegende Struktur von Directed Acyclic Graphs (DAGs) aus Daten zu rekonstruieren.

• Herausforderung der Beobachtungsdaten: Reine Beobachtungsdaten erlauben die Identifizierung der kausalen Struktur nur bis zur Äquivalenzklasse nach Markov (Markov Equivalence Class, MEC). Das bedeutet, dass viele Kanten nicht gerichtet werden können.
• Einschränkungen bei Interventionen: Interventionen können diese Mehrdeutigkeit auflösen. In der Praxis sind Interventionen jedoch oft:
  1. Soft (weich): Sie verändern die Mechanismen einer Variable (Verteilungsverschiebung), ändern aber nicht die Graphenstruktur selbst.
  2. Unbekannte Ziele: Es ist oft nicht bekannt, welche Variablen genau interveniert wurden.
  3. Eingeschränkte Datenverfügbarkeit: Oft liegt nur ein einziges Interventionsregime (neben einem Beobachtungsregime) vor, und keine globalen Oracle-Abfragen über bedingte Unabhängigkeiten sind möglich.
• Skalierbarkeit: Bestehende theoretische Ansätze (wie $\Psi$-FCI) sind zwar korrekt, aber nicht skalierbar auf große Graphen und erfordern globale Zugriffsmöglichkeiten, die in realen Szenarien fehlen.

2. Methodik: SCONE

Die Autoren stellen SCONE (Scalable contrastive Causal discOv-ery under unknowN soft intervEntions) vor, ein skalierbares Framework, das kausale Strukturen aus zwei Regimen (z. B. Beobachtung und Intervention) mit unbekannten weichen Interventionszielen lernt.

Kernkomponenten:

1. Theoretisches Fundament (Eingeschränkte $\Psi$-Äquivalenz):

   • Das Modell definiert eine eingeschränkte $\Psi$-Äquivalenzklasse, die auf den tatsächlich verfügbaren Informationen basiert: (i) lokale PDAGs (Partially Directed Acyclic Graphs) für Teilmengen von Variablen und (ii) eine endliche Menge getesteter Invarianz-Abfragen zwischen den Regimen.
   • Das Ziel ist die Rekonstruktion des test-induzierten $\Psi$-Essential Graphs ($G_{test}$), der die maximal gerichteten Kanten enthält, die unter diesen Einschränkungen identifizierbar sind.

2. Architektur und Lernprozess:

   • Subsampling: Anstatt den gesamten Graphen zu verarbeiten, werden adaptive Teilmengen von Variablen (Subsets) gesampelt.
   • Lokale Schätzung: Auf jeder Teilmenge wird eine klassische kausale Entdeckung (Ensemble-Methoden wie PolyBIC) für jedes Regime separat durchgeführt, um lokale PDAGs zu erhalten.
   • Kontrastive Orientierungsregeln (Bias Heads): Das Herzstück von SCONE sind drei lernbare Regeln, die Kanten basierend auf den Unterschieden zwischen den Regimen orientieren:
     • Single-Sided Invariance (SSI): Wenn eine Kante in beiden Regimen ungerichtet ist, aber nur ein Knoten eine signifikante Verteilungsverschiebung zeigt, wird die Kante in Richtung des veränderten Knotens orientiert.
     • Contrastive V-Structure (CVT): Nutzt Invarianz-Scores, um Collider-Strukturen ($i \to j \leftarrow k$) zu identifizieren, wenn der mittlere Knoten invariant ist, aber die Umgebung sich ändert.
     • Contrastive Discriminating Path (DPT): Erweitert die Logik auf diskriminierende Pfade, um Orientierungen über längere Wege zu bestimmen.
   • Axiale Aggregation: Ein Transformer-ähnlicher Mechanismus (Axial Attention) aggregiert die lokalen Informationen aus allen Subsets und integriert globale Kontextinformationen, um einen konsistenten globalen PDAG zu konstruieren.
   • Reparametrisierung: Die Eingabe wird in invariante und kontrastive Kanäle zerlegt, um Regime-spezifische Variationen von der zugrunde liegenden Struktur zu trennen.

3. Wichtige Beiträge

• Theoretische Soundness: Die Autoren beweisen, dass die vorgeschlagenen kontrastiven Regeln restricted-$\Psi$-sound sind. Das bedeutet, sie orientieren nur Kanten, die in der eingeschränkten Äquivalenzklasse zwingend gerichtet sein müssen, und führen keine falschen Orientierungen ein.
• Trennung zu nicht-kontrastiven Methoden: Es wird bewiesen, dass reine Aggregationsmethoden ohne kontrastive Regeln (die nur lokale PDAGs nutzen) eine strikte Untergrenze der Identifizierbarkeit haben und bestimmte Kanten niemals orientieren können, die SCONE jedoch findet.
• Asymptotische Konsistenz: Unter Annahmen über die Konsistenz der lokalen Schätzer und die Abdeckung der „Zeugen" (Witnesses) durch das Sampling konvergiert das Modell asymptotisch gegen den wahren $G_{test}$.
• Skalierbarkeit: Durch den Ansatz des Subsampling und der neuronalen Aggregation ist das Modell auf Graphen mit 100+ Knoten anwendbar, wo traditionelle Methoden versagen.

4. Ergebnisse

Die Evaluation erfolgte auf synthetischen Daten mit unbekannten weichen Interventionen und verschiedenen kausalen Mechanismen (linear, polynomial, neuronale Netze).

• In-Distribution Performance: SCONE übertrifft State-of-the-Art-Methoden (wie NOTEARS, DCDI, AVICI) deutlich in Bezug auf strukturelle Hamming-Distanz (SHD) und F1-Score, selbst wenn Trainings- und Testdaten aus demselben Mechanismus stammen.
• Out-of-Distribution Generalisierung: SCONE zeigt robuste Generalisierung auf völlig unbekannte Mechanismen (z. B. Training auf linearen/NN-Daten, Test auf polynomialen Daten), während andere Methoden stark an Leistung verlieren.
• Skalierbarkeit: Auf Graphen mit 100 Knoten und 100 Kanten erreicht SCONE den niedrigsten SHD und den höchsten F1-Score. Andere skalierbare Methoden (wie SEA oder DCD-FG) scheitern oft oder produzieren sehr dichte, ungenaue Graphen.
• Ablationsstudien:
  • Das Entfernen der kontrastiven Bias-Heads führt zu einer signifikanten Verschlechterung, was die Notwendigkeit der kontrastiven Regeln für die Orientierung bestätigt.
  • Das Entfernen der kontrastiven Features (Reparametrisierung) führt ebenfalls zu einem starken Leistungsabfall, was zeigt, dass die explizite Modellierung von Invarianz/Veränderung essenziell ist.

5. Bedeutung und Fazit

SCONE adressiert eine kritische Lücke in der kausalen Entdeckung: die Kombination aus Skalierbarkeit, Unbekannten weichen Interventionen und Out-of-Distribution-Generalisierung.

• Praktische Relevanz: In vielen realen Anwendungen (z. B. Biologie, Genetik) sind Interventionen oft weich und ihre Ziele unbekannt. SCONE bietet einen Weg, kausale Strukturen auch unter diesen unvollständigen Bedingungen zu lernen.
• Theoretischer Fortschritt: Die Arbeit erweitert die Theorie der $\Psi$-Markov-Äquivalenz auf ein skalierbares, subset-basiertes Setting und beweist, dass kontrastives Lernen notwendig ist, um die Identifizierbarkeitsgrenzen rein lokaler Methoden zu überwinden.
• Zukunftsperspektive: Das Framework legt den Grundstein für foundation models in der kausalen Entdeckung, die auf großen, heterogenen Datensätzen trainiert werden können, um robuste kausale Mechanismen zu extrahieren.

Zusammenfassend stellt SCONE einen bedeutenden Schritt vorwärts dar, um kausale Entdeckung von theoretischen Idealbedingungen in realistische, skalierbare Anwendungen zu überführen.