📊 statistics

FoundCause: Causal Discovery with Latent Confounders from Observational Data

FoundCause ist ein neuartiges amortisiertes kausales Entdeckungsmodell, das eine Transformer-Architektur mit spezialisierten induktiven Biases nutzt, um kausale Graphen, einschließlich latenter Confounder, direkt aus Beobachtungsdaten in einem einzigen Vorwärtspass zu inferieren, wobei es sowohl klassische als auch bestehende amortisierte Methoden über verschiedene reale Datensätze hinweg übertrifft.

Ursprüngliche Autoren: Patrick Blöbaum, Krishnakumar Balasubramanian, Shiva Prasad Kasiviswanathan

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Patrick Blöbaum, Krishnakumar Balasubramanian, Shiva Prasad Kasiviswanathan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, wer was verursacht hat, an einem komplexen Tatort, aber Sie haben nur einen Stapel unscharfer Überwachungsfotos (Beobachtungsdaten). Sie können nicht zurückgehen und das Verbrechen erneut nachstellen (Interventionen), und Sie vermuten, dass unsichtbare Drahtzieher (latente Störfaktoren) im Hintergrund die Fäden ziehen, die Sie nicht sehen können.

Dies ist die Herausforderung der kausalen Entdeckung (Causal Discovery). Das Paper stellt ein neues Detektiv-Werkzeug namens FoundCause vor.

So funktioniert FoundCause, erklärt durch Alltagsanalogien:

1. Die „Trainingsmontage“ (Amortisierte Inferenz)

Die meisten altmodischen Detektive (traditionelle Algorithmen) versuchen, jeden neuen Fall von Grund auf neu zu lösen. Sie verbringen Stunden damit, die spezifischen Fotos zu analysieren, komplexe mathematische Tests durchzuführen und nach Mustern zu suchen. Das ist langsam und scheitert oft, wenn der Fall unübersichtlich ist.

FoundCause ist anders. Es ist wie ein Detektiv, der sich schon tausende Trainingsfilme (synthetische Daten) angesehen hat, bevor er überhaupt einen echten Fall sieht.

Die Analogie: Anstatt ein Puzzle für jedes neue Puzzle Stück für Stück zu lösen, hat FoundCause bereits an Millionen von gefälschten Puzzles geübt. Es hat die allgemeinen Regeln gelernt, wie Ursachen und Wirkungen aussehen.
Das Ergebnis: Wenn Sie ihm einen echten Datensatz geben, muss es nicht stundenlang „nachdenken“ oder rechnen. Es betrachtet einfach die Daten und zeichnet sofort (in einem einzigen Vorwärtspass) die Karte, wer was verursacht hat. Es ist wie das sofortige Erkennen eines Gesichts in einer Menge, weil man diesen Gesichtstyp schon eine Million Mal gesehen hat.

2. Die „Zwei-Kanal-Sicht“ (Umgang mit fehlenden Daten)

Reale Daten sind oft unordentlich. Einige Überwachungskameras sind defekt oder einige Zeugen sind nicht erschienen (fehlende Daten).

Die Analogie: Traditionelle Methoden versuchen oft, die fehlenden Teile zu „erraten“, indem sie die Lücken mit Durchschnittswerten füllen (wie die Vermutung, ein fehlendes Puzzleteil sei blau, weil der Himmel blau ist). Dies führt oft zu falschen Schlussfolgerungen.
Der Trick von FoundCause: Es besitzt einen speziellen „Masken“-Kanal. Es schaut nicht nur auf die Zahlen; es schaut auch darauf, wo die Zahlen fehlen. Es behandelt das „Fehlen“ selbst als einen Hinweis. Es ist wie ein Detektiv, der weiß, dass die Abwesenheit eines Zeugen in einem bestimmten Raum genauso wichtig ist wie der Zeuge, der da war.

3. Der „Unsichtbare Drahtzieher“ (Latente Störfaktoren)

Manchmal geschehen zwei Dinge gleichzeitig, nicht weil das eine das andere verursacht hat, sondern weil ein drittes, unsichtbares Element beides verursacht hat.

Die Analogie: Stellen Sie sich vor, Sie sehen, dass „Eiscreme-Verkäufe“ und „Haifischangriffe“ gemeinsam ansteigen. Ein schlechter Detektiv würde sagen: „Eiscreme verursacht Haifischangriffe.“ Ein kluger Detektiv weiß, dass es einen versteckten Faktor gibt: Sommerhitze.
Der Trick von FoundCause: Es besitzt ein spezielles Modul, das darauf spezialisiert ist, diese unsichtbaren „Sommerhitzen“ zu finden. Es verwendet lernbare „Tokens“ (wie unsichtbare Klebezettel), um versteckte gemeinsame Ursachen darzustellen. Es fragt explizit: „Gibt es einen unsichtbaren Drahtzieher, der die Fäden für diese zwei Variablen zieht?“ Dies ist eine Premiere für diesen Typ von KI-Modell.

4. Das „Spezialisierte Werkzeugset“ (Induktive Bias)

FoundCause ist kein generisches Gehirn; es ist mit spezifischen Werkzeugen gebaut, die auf Kausalität ausgelegt sind.

Der „Asymmetrie“-Sensor: Ursache und Wirkung sind selten symmetrisch. Wenn man einen Ball stößt, bewegt er sich; wenn der Ball sich bewegt, stößt er einen nicht unbedingt zurück. FoundCause nutzt klassische statistische „Asymmetrie“-Maße (wie die Prüfung, ob das Rauschen in den Daten anders aussieht, je nachdem, aus welcher Richtung man blickt), um die Richtung zu bestimmen.
Der „Dreiecks“-Verfeinerer: Kausalität geschieht oft in Ketten (A verursacht B, B verursacht C) oder V-Formen (A und B verursachen beide C). FoundCause besitzt einen Schritt zur „dreieckigen Verfeinerung“. Es betrachtet Gruppen von drei Variablen gleichzeitig, um zu sehen, ob sie eine Kette oder eine Gabelung bilden, was hilft, ähnlich aussehende Muster zu unterscheiden, die andere Methoden verwirren.

5. Der „Faktorisierte Decoder“ (Trennung von „Ob“ und „In welche Richtung“)

Bei der Entscheidung, ob zwei Variablen miteinander verbunden sind, teilt FoundCause die Entscheidung in zwei Schritte auf:

Existenz: „Sind diese zwei Variablen überhaupt miteinander verbunden?“ (Symmetrische Prüfung).
Richtung: „Wenn sie verbunden sind, wer ist der Boss?“ (Asymmetrische Prüfung).
Dies ist so, als würde man zuerst fragen: „Haben diese zwei Personen miteinander gesprochen?“ und danach fragen: „Wer hat das Gespräch begonnen?“ anstatt zu versuchen, beides gleichzeitig zu beantworten.

Die Ergebnisse: Warum es wichtig ist

Das Paper hat FoundCause gegen 15 verschiedene reale Datensätze getestet (von medizinischen Aufzeichnungen bis hin zu Microservice-Logs) und es mit 11 klassischen Methoden und 4 anderen KI-Methoden verglichen.

Geschwindigkeit: Es löst das Problem in unter 2 Sekunden, während klassische Methoden Stunden oder sogar Tage dauern können.
Genauigkeit: Es hat die „Richtung“ der Ursachen häufiger richtig erkannt als jede andere Methode (Verbesserung des F1-Scores um fast 10 %).
Robustheit: Es ist nicht abgestürzt oder gescheitert bei schwierigen, unordentlichen Datensätzen, bei denen andere Methoden aufgegeben haben.
Generalisierung: Selbst als es mit Datensätzen getestet wurde, die mehr Variablen enthielten, als es jemals im Training gesehen hatte (wie der Übergang von einem 50-Variablen-Puzzle zu einem 100-Variablen-Puzzle), brach es nicht zusammen; es wurde lediglich etwas weniger präzise, funktionierte aber dennoch.

Zusammenfassend lässt sich sagen: FoundCause ist ein „Super-Detektiv“, der aus Millionen von gefälschten Fällen gelernt hat, der weiß, wie man unsichtbare Drahtzieher aufspürt, der mit kaputten Kameras umgehen kann und der neue Rätsel sofort löst, indem er die gelernten Muster anwendet, anstatt das Rad für jeden neuen Fall neu zu erfinden.

Technisches Resümee: FoundCause

Problemstellung

Die kausale Entdeckung aus Beobachtungsdaten bleibt eine fundamentale Herausforderung in der künstlichen IntelligenCl und Statistik. Die Kernschwierigkeit liegt in der Rekonstruktion gerichteter kausaler Strukturen und der Identifizierung latenter Konfundierung ohne Zugang zu kontrollierten Interventionen. Während klassische Methoden (z. B. constraint-basierte PC, score-basierte GES und Optimierungsansätze wie NOTEARS) gut fundiert sind, leiden sie unter erheblichen Einschränkungen: Sie erfordern eine teure, datensatzspezifische Optimierung, reagieren empfindlich auf Hyperparameter sowie Verteilungsannahmen und scheitern oft an der Skalierbarkeit auf hochdimensionale oder heterogene Datenregime. Darüber hinaus ist die kausale Entdeckung im Allgemeinen nicht identifizierbar ohne starke Annahmen (z. B. Linearität, additive Rauschmodelle oder Faithfulness), die in realen Szenarien häufig verletzt werden.

Neuere amortisierte Ansätze haben versucht, die Skalierbarkeit durch das Training von Modellen auf synthetischen Daten zu adressieren, um Datensätze direkt auf Graphen abzubilden. Bestehende neuronale Methoden lassen jedoch oft explizite domänenspezifische kausale Induktions-Biases vermissen, wie etwa die Asymmetrie in Ursache-Wirkungs-Beziehungen oder höherwertige strukturelle Muster (Ketten, Collider), und versäumen es meist, latente Konfundierung explizit zu modellieren.

Methodik: FoundCause

FoundCause ist ein amortisiertes Modell zur kausalen Entdeckung, das darauf ausgelegt ist, Beobachtungsdatensätze direkt auf kausale Graphen (sowohl gerichtete Kanten als auch latente Konfundierungsmatrizen) in einem einzigen Vorwärtspass abzubilden. Das Modell wird vollständig auf synthetischen Strukturellen Kausalen Modellen (SCMs) trainiert und generalisiert auf reale Daten, ohne dass eine datensatzspezifische Feinabstimmung erforderlich ist.

Architektur

Die Architektur ist ein hybrides Design, das einen permutationsinvarianten Transformer mit expliziten statistischen Induktions-Biases kombiniert:

Input-Repräsentation: Das Modell akzeptiert eine Datenmatrix $X \in \mathbb{R}^{N \times D}$ und eine optionale binäre Beobachtung-Maske $M$ . Jeder Eintrag wird als 2-Kanal-Vektor dargestellt, der den normalisierten Wert und den Beobachtungsstatus enthält, wodurch das Modell fehlende Daten nativ verarbeiten kann, ohne dass eine Imputation nötig ist.
Achsen-faktorisierter Encoder: Der Kern-Encoder nutzt einen Transformer mit alternierenden Attention-Blöcken über Stichproben ( $N$ $N$ ) und Variablen ( $D$ $D$ ).
- Variablen-Attention: Integriert lernbare globale Token und einen statistisch bedingten Bias. Dieser Bias injiziert paarweise statistische Merkmale, die aus klassischen Asymmetriemaßen (z. B. Korrelation, Residuenvarianz-Asymmetrie, V-Struktur-Indikatoren) abgeleitet sind, direkt in den Attention-Mechanismus, um das Modell in Richtung bekannter kausaler Signale zu leiten.
- Stichproben-Attention: Aggregiert Informationen über die Stichproben hinweg, um distributionale Eigenschaften zu erfassen.
Pooling (PMA): Ein Pooling by Multihead Attention (PCA)-Mechanismus aggregiert die Stichproben-Embeddings zu pro-Variablen-Repräsentationen, kombiniert mit Max-Pooling, um höherwertige distributionale Eigenschaften wie Multimodalität zu erfassen.
Faktorisierter Edge-Decoder: Der Prediction-Head trennt das Vorhandensein einer Kante von deren Richtung:
- Existence Head: Verwendet symmetrische Merkmale (Summe der Embeddings, elementweise Produkte und Konfundierungs-Scores), um vorherzusagen, ob eine Kante existiert.
- Direction Head: Verwendet antisymmetrische Merkmale (Differenz der Embeddings und gesteuerte asymmetrische Statistiken), um die Orientierung vorherzusagen.
Trianguläre Verfeinerung: Inspiriert von AlphaFold2 führt ein Verfeinerungsmodul $R$ Runden von Updates über Variablen-Triple $(i, k, j)$ durch. Dies ermöglicht das Schließen über höherwertige kausale Motive (Ketten, Forks, Collider), um Markov-Äquivalenzklassen aufzulösen.
Konfundierungs-Modul: Ein dediziertes Modul nutzt lernbare latente Token, um verborgene gemeinsame Ursachen zu modellieren. Es berechnet paarweise Konfundierungswahrscheinlichkeiten via Noisy-OR-Aggregation der Variablen-Token-Loadings und erzeugt so eine symmetrische Konfundierungsmatrix $\hat{C}$ .

Training und Loss

Das Modell wird auf tausenden synthetischen SCMs trainiert, die mittels DoWhy und benutzerdefinierter Generatoren erstellt wurden und diverse Graph-Topologien, nichtlineare Mechanismen sowie Rauschverteilungen abdecken. Wesentliche Trainingsstrategien sind:

Kontinuierliche Regeneration: Synthetische Daten werden in jeder Epoche neu generiert, um ein Overfitting auf einen festen Korpus zu verhindern.
Anti-Shortcut-Augmentierung: Zufällige Permutation von Variablenindizes und Mischung von Subpopulationen werden eingesetzt, um zu verhindern, dass das Modell auf Schein-Korrelationen (z. B. Variablenreihenfolge) vertraut.
Loss-Funktion: Das Zielobjektiv kombiniert eine klassenbalancierte Binary Cross-Entropy für gerichtete Kanten mit mehreren Hilfs-Termen:
- Direction Calibration ( $L_{cal}$ ): Begrenzt extreme Logit-Gaps zwischen entgegengesetzten Richtungen.
- Skeleton Supervision ( $L_{skel}$ ): Bietet richtungsagnostische Supervision für die Adjazenz.
- Confounder Loss ( $L_{conf}$ ): Überwacht das latente Konfundierungsmodul.
- Sparsity und Regularisierung: Strafen für zu dichte Graphen und Regularisierung für Pooling/Gating-Mechanismen.

Zentrale Beiträge

Explizite Modellierung latenter Konfundierung: FoundCause ist der erste amortisierte Ansatz zur kausalen Entdeckung, der latente Konfundierung explizit durch dedizierte lernbare Token modelliert und sowohl einen gerichteten azyklischen Graphen (DAG) als auch eine symmetrische Konfundierungsmatrix ausgibt.
Statistische Induktions-Biases: Im Gegensatz zu generischen neuronalen Architekturen injiziert FoundCause klassische paarweise statistische Merkmale (Asymmetrie, V-Strukturen) direkt in den Attention-Mechanismus und den Decoding-Prozess, wodurch klassische Prinzipale der kausalen Entdeckung mit Deep Learning überbrückt werden.
Trianguläre Verfeinerung: Die Einführung eines dreiecksbasierten Verfeinerungsmoduls ermöglicht es dem Modell, über höherwertige kausale Motive zu schlussfolgern, was die Auflösung von Markov-äquivalenten Strukturen verbessert.
Native Handhabung fehlender Daten: Die Architektur verarbeitet maskierte Inputs nativ, wodurch der Bias vermieden wird, der durch die in klassischen Baselines üblichen Imputationsmethoden entsteht.
Zero-Shot Generalisierung: Das Modell demonstriert eine robuste Generalisierung auf Variablenanzahlen ( $D$ ) und Stichprobengrößen ( $N$ ) jenseits seines Trainingsbereichs ( $D \in [2, 50]$ ) und behält seine Leistung bei Datensätzen mit bis zu $D=100$ bei.

Experimentelle Ergebnisse

FoundCause wurde auf 15 realen und semirealistischen Benchmarks (darunter ASIA, CHILD, SACHS und PETSHOP) sowie dem Tübingen Cause-Effect-Pairs-Benchmark evaluiert.

Performance: FoundCause übertrifft 11 klassische, nicht-amortisierte Methoden (z. B. PC, GES, NOTEARS) und 4 amortisierte Methoden (z. B. AVICI, CSIvA, SEA).
- Es erzielt eine Verbesserung des F1-Scores um +9,6 % und eine Steigerung des AUROC um +1,2 % gegenüber den stärksten nicht-amortierten Methoden.
- Es reduziert die Structural Hamming Distance (SHD/d) im Vergleich zum besten klassischen Baseline-Modell um 18,9 %.
- Es ist die einzige Methode, die Spitzenwerte bei F1, AUROC und SHD/d erreicht und gleichzeitig die Inferenz auf allen 15/15 Datensätzen erfolgreich abschließt (einige klassische Methoden laufen in Timeouts oder scheitern an dichten Graphen).
Bivariate Richtung: Beim Tübingen-Benchmark nähert sich FoundCause der Performance spezialisierter bivariater Methoden (SLOPPY, HECI) an und übertrifft klassische Baselines wie ICA-LiNGAM signifikant.
Robustheit: Bei einer 30 %igen "Missing At Random" (MAR)-Korruption behält FoundCause 92 % seines F1-Scores unter sauberen Daten bei, während klassische Methoden, die auf Mittelwert-Imputation angewiesen sind, signifikant degradieren.
Effizienz: Die Inferenz erfolgt im Durchschnitt in unter 2 Sekunden in einem einzigen Vorwärtspass, verglichen mit den Stunden, die optimierungsbasierte Methoden benötigen.

Bedeutung und Ansprüche

Das Paper behauptet, dass FoundCause einen bedeutenden Schritt hin zu einer skalierbaren, praktischen kausalen Entdeckung darstellt. Durch die Kombination von amortisierter Inferenz mit strukturierten Induktions-Biases adressiert es den Trade-off zwischen den theoretischen Garantien klassischer Methoden und der Skalierbarkeit neuronaler Ansätze.

Die Autoren betonen, dass FoundCause nicht auf neuen Identifizierbarkeitsgarantien beruht, sondern praktische Inferenzverfahren erlernt, die über ein breites Spektrum von datengenerierenden Prozessen hinweg gut funktionieren. Die explizite Modellierung latenter Konfundierung und die Fähigkeit, fehlende Daten nativ zu handhaben, werden als kritische Fortschritte für die reale Anwendbarkeit hervorgehoben. Die Arbeit positioniert FoundCause sowohl als praktisches Werkzeug für die angewandte kausale Analyse als auch als Fundament für zukünftige Modelle, die kausales Denken nativ integrieren. Die Autoren planen, das Modell Open-Source zur Verfügung zu stellen, um die Reproduzierbarkeit zu unterstützen.