📊 statistics

CDFM: Towards a General-Purpose Causal Discovery Foundation Model

Dieses Paper stellt das Causal Discovery Foundation Model (CDFM) vor, ein vereinheitlichtes, universell einsetzbares Framework, das einen prinzipienbasierten variativen Ansatz und massives Pretraining auf synthetischen kausalen Modellen nutzt, um Zero-Shot-Strukturelle Inferenz zu erreichen und dadurch die Skalierbarkeitseinschränkungen traditioneller, datensatzspezifischer Kausalitätsentdeckungsalgorithmen zu überwinden.

Ursprüngliche Autoren: Jie Qiao, Ruichu Cai, Zijian Li, Weilin Chen, Pengfei Hua, Boyan Xu, Zhengming Chen, Zhifeng Hao, Peng Cui

Veröffentlicht 2026-07-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jie Qiao, Ruichu Cai, Zijian Li, Weilin Chen, Pengfei Hua, Boyan Xu, Zhengming Chen, Zhifeng Hao, Peng Cui

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: Wer hat was verursacht? Sie haben einen Haufen an Hinweisen (Daten), die zeigen, wie verschiedene Dinge zusammen hingen, aber Sie haben keinen Zeugen, der Ihnen die Geschichte erzählt. Jahrzehntelang mussten Detektive für jeden einzelnen Fall ein spezifisches „Regelbuch“ auswählen. Ein Regelbuch besagte: „Gehe davon aus, dass alles eine gerade Linie ist!“ Ein anderes sagte: „Gehe davon aus, dass das Rauschen seltsam und uneben ist!“ Wenn Sie das falsche Regelbuch für den falschen Fall wählten, war Ihre Lösung unbrauchbar.

Dieses Paper stellt eine neue Art von Detektiv vor: CDFM (Causal Discovery Foundation Model). Anstatt ein Regelbuch auszuwählen, ist CDFM wie ein superintelligenter Lehrling, der jedes mögliche Regelbuch im Universum gelesen hat, bevor er jemals einen echten Fall sieht.

Der alte Weg vs. der neue Weg

Der alte Weg (Der Kampf mit dem „Test-getriebenen“ Ansatz):
Stellen Sie sich vor, Sie haben ein unordentliches Zimmer (Ihre Daten). Die alte Methode sagt: „Wurde das Chaos durch einen Tornado verursacht? Lassen Sie uns prüfen, ob der Wind nicht-gaußsch war! Wurde es durch eine Kat verursacht? Lassen Sie uns prüfen, ob das Rauschen additiv ist!“ Sie müssen ein Dutzend verschiedene Tests durchführen, raten, welcher passt, und wenn Sie falsch raten, fangen Sie von vorne an. Es ist langsam, fragmentiert und bricht zusammen, wenn das Zimmer zu unordentlich oder seltsam ist.

Der neue Weg (CDFM):
CDFM überspringt das Ratespiel. Es betrachtet das unordentliche Zimmer und sagt: „Ich habe Millionen von Zimmern wie diesem in meinem Training gesehen.“ Es muss nicht von Ihnen wissen, ob die Daten linear oder nicht-linear sind. Es schaut einfach auf die Muster und zeichnet die Karte, wer was verursacht hat. Es ist ein „Zero-Shot“-Detektiv, was bedeutet, dass es ein brandneues Rätsel lösen kann, ohne dafür zuerst neu trainiert werden zu müssen.

Wie hat es so viel gelernt? (Der „Synthetische Spielplatz“)

Sie fragen sich vielleicht: „Wie kann ein Computer alles über Ursache und Wirkung wissen?“ Die Autoren haben es nicht mit realen Daten gefütert (die oft unordentlich sind und häufig fehlende Antworten haben). Stattdessen haben sie ein massives, unendliches Videospiel gebaut.

In diesem Spiel haben sie 15 verschiedene Familien von künstlichen Welten generiert. Einige Welten hatten Regeln mit geraden Linien, andere hatten wilde, gekrümmte Regeln, manche hatten versteckte „Geistervariablen“, die im Hintergrund die Fäden ziehen, und einige hatten fehlende Datenteile. Sie erstellten 10 verschiedene Größen dieser Welten, die von winzigen Rätseln mit 10 Variablen bis hin zu massiven Systemen mit 100 Variablen reichten. Sie variierten auch die Anzahl der Hinweise, von 500 bis zu 4.000 Beobachtungen.

CDFM hat lange in diesem Videospiel gespielt und gelernt, die „Fußabdrücke“ verschiedener Ursachen zu erkennen. Es lernte, dass wenn ein Muster wie eine bestimmte Art von Rauschen aussieht, es wahrscheinlich eine bestimmte Art von Ursache ist; wenn es wie eine andere aussieht, ist es eine andere Art.

Der magische Trick: „Variational Inference“

Hier ist der clevere Teil. Das Paper argumentiert, dass man nicht einfach nur raten kann; man muss mathematisch beweisen, dass die eigene Vermutung die einzige ist, die passt. Die Autoren nutzten einen mathematischen Trick namens Variational Inference.

Stellen Sie sich das so vor: CDFM sagt nicht nur: „Ich glaube, A hat B verursacht.“ Es sagt: „Ich werde mir jede mögliche Art vorstellen, wie A B hätte verursachen können, gewichte sie alle und wähle diejenere, die am meisten Sinn ergibt. Es behandelt die „Regeln“ der Welt als verborgene Variablen, die es zu entschlüsseln versucht, während es gleichzeitig die Struktur bestimmt. Dies stellt sicher, dass, wenn die Mathematik sagt, dass eine Richtung unmöglich ist, CDFM sie nicht errät.

Hat es tatsächlich funktioniert? (Der Beweis)

Die Autoren haben es nicht nur behauptet. Sie haben es auf drei Arten getestet:

Der synthetische Hindernislauf: Sie warfen CDFM den 15 verschiedenen Arten von künstlichen Welten zu, die es während der finalen Testphase nicht gesehen hatte.
- Das Ergebnis: CDFM gewann. In einem Test mit 4.000 Stichproben erreichte es einen AUROC von 0,888 (ein Maß für Genauigkeit, wobei 1,0 perfekt ist). Die nächstbeste Methode, TabCausal, erreichte nur 0,786. Selbst als das Rätsel riesig wurde (100 Variablen), blieb CDFM stark mit einem AUROC über 0,87, während andere einbrachen.
- Die Erkenntnis: Dies deutet darauf hin, dass CDFM eine breite Palette von unordentlichen, realitätsnahen Situationen bewältigen kann, ohne ein spezifisches Regelbuch zu benötigen.
Der Realwelt-Test: Sie testeten es an echten Daten, wie einem physikalischen System namens Causal Chamber (wo Lichtkanäle und Sensoren echte Physik erzeugen) und dem Tübingen-Benchmark (reale Paare wie „Größe verursacht Gewicht“).
- Das Ergebnis: Beim Causal Chamber Task A1 erreichte CDFM einen AUROC von 0,952 und schlug damit TabCausal (0,930). Beim Tübingen-Benchmark erreichte es 67,1 % Genauigkeit und übertraf damit den bisherigen Bestwert von 63,8 %.
- Die Erkenntnis: Die im Videospiel gelernten Fähigkeiten ließen sich tatsächlich auf das echte Leben übertragen.
Der „Ehrlichkeits“-Check: Die Autoren wollten sicherstellen, dass CDFM nicht einfach blind rät. Sie testeten es in Situationen, in denen es mathematisch gesehen niemandem möglich ist, die Antwort zu kennen (wie etwa wenn zwei Dinge perfekt symmetrisch sind).
- Das Ergebnis: Wenn die Mathematik sagt, dass es unmöglich ist, zu unterscheiden, sank die Genauigkeit von CDFM auf 0,5 (was nur dem Raten wie bei einem Münzwurf entspricht). Wenn die Mathematik sagt, dass es möglich ist, stieg die Genauigkeit auf 1,0.
- Die Erkenntnis: Dies deutet darauf hin, dass CDFM die Gesetze der Logik respektiert. Es weiß, wann es die Antwort nicht wissen darf.

Was es nicht kann (Die Regeln)

Das Paper ist sehr klar darüber, was CDFM nicht ist.

Es ist kein Zauberstab, der die Notwendigkeit von Annahmen beseitigt. Das Paper stellt explizit fest, dass man gewisse kausale Annahmen treffen muss; CDFM lernt lediglich ein breites Spektrum davon anstelle von nur einer einzigen.
Es ist nicht in allem perfekt. In sehr spezifischen, einfachen Fällen (wie einer perfekt linearen Welt mit nicht-gaußschem Rauschen) können ältere, spezialisierte Werkzeuge wie DirectLiNGAM immer noch etwas besser abschneiden. CDFM ist ein „Generalist“, kein „Spezialist“ für eine winzige Nische.
Die Ergebnisse bei Realdaten sind auf spezifischen Benchmarks (Causal Chamber, Tübingen) gemessen. Das Paper behauptet nicht, dass es die kausale Entdeckung für jedes Problem im Universum gelöst hat, sondern dass es über einen riesigen Bereich hinweg bemerkenswert gut funktioniert.

Der Bonus: Die fehlenden Teile

Als Nebeneffekt seines Trainings wurde CDFM auch sehr gut darin, fehlende Puzzleteile zu ergänzen. Wenn man ihm einen Datensatz mit Lücken gibt, kann es erraten, welche Zahlen dort gefehlt haben. In Tests schlug es Standardmethoden wie Mean oder KNN bei der Imputation und erreichte einen Mean Absolute Error (MAE) von 0,452 bei kontinuierlichen Daten und 0,717 bei diskreten Daten.

Das Fazste

Dieses Paper deutet auf einen großen Wandel hin: Anstatt für jede neue Art von Daten ein neues, spezialisiertes Werkzeug zu bauen, könnten wir in der Lage sein, ein einziges, riesiges, vortrainiertes Gehirn zu erschaffen, das die Sprache von Ursache und Wirkung versteht. Es ist nicht die Lösung für jedes Rätsel der Welt, aber es ist ein massiver Schritt hin zu einem Detektiv, der in jeden Raum treten, die Hinweise betrachten und sagen kann: „Das habe ich schon einmal gesehen. Hier ist die Karte.“

Technisches Resümee: CDFM: Auf dem Weg zu einem universellen Foundation Model für kausale Entdeckung

Problemstellung

Die kausale Entdeckung (Causal Discovery) – der Prozess der Rekonstruktion zugrunde liegender kausaler Strukturen aus Beobachtungsdaten – beruhte traditionell auf einem fragmentierten, testgesteuerten Paradigma. Bestehende Algorithmen sind akribisch für spezifische kausale Mechanismen konzipiert (z. B. lineare Nicht-Gaussianität, additives Rauschen oder spezifische Unabhängigkeitsbedingungen). Folglich glänzen diese Methoden nur dann, wenn ihre zugrunde liegenden Annahmen strikt erfüllt sind. In realen Szenarien, die durch heterogene Daten und unbekannte Generierungsprozesse gekennzeichnet sind, stehen Praktiker vor einer erschöpfenden Schleife aus manueller Algorithmenwahl, Verifizierung von Annahmen und Re-Evaluierung statistischer Tests. Dieser datenspezifische Ansatz skaliert nicht mit den Anforderungen moderner wissenschaftlicher Entdeckungen und hat Schwierigkeiten, über diverse, unbekannte kausale Mechanismen hinweg zu generalisieren.

Methodik

Die Autoren schlagen das Causal Discovery Foundation Model (CDFM) vor, ein vereinheitlichtes Framework, das für die Zero-Shot-Strukturendifferenzierung über heterogene und anfänglich unbekannte kausale Mechanismen hinweg konzipiert ist. Die Methodik basiert auf einem fundierten variativen Framework, das die Theorie der kausalen Identifizierbarkeit mit dem Design tiefer Lernarchitekturen verbindet.

1. Theoretische Grundlage: Variative Dekomposition

Die zentrale theoretische Erkenntnis ist, dass kausale Entdeckung unter unbekannten Mechanismen ein bayesianisches Modellselektionsproblem darstellt. Da der wahre kausale Mechanismus $M^*$ unbekannt ist, muss das Modell über einen riesigen Hypothesenraum von Mechanismen $\mathcal{M}$ marginalisieren.

Identifizierbarkeitsgrenzen: Das Paper stellt fest, dass ohne Einschränkungen die kausale Richtung mathematisch unmöglich zu identifizieren ist (Theorem 1). Wenn der Raum der Mechanismen $\mathcal{M}$ jedoch eine Eigenschaft der „strekten Raum-Identifizierbarkeit“ erfüllt, identifiziert die exakte marginale Likelihood den wahren Graphen eindeutig (Theorem 3).
Variative Inferenz: Die direkte Berechnung der marginalen Likelihood ist intratabel. CDFM formuliert das Problem mittels variativer Inferenz und führt eine parametrisierte Verteilung $Q(M|X)$ $Q (M ∣ X)$ ein, um die Posterior-Verteilung über die Mechanismen zu approximieren. Dies ergibt eine Evidence Lower Bound (ELBO), die das Lernziel in drei handhabbare Komponenten zerlegt:
1. Mechanismus-Inferenz: $Q(M|X)$ , extrahiert statistische Signaturen (Rauscheigenschaften, Nichtlinearitäten), um latente Mechanismus-Kodierungen abzuleiten.
2. Daten-Rekonstruktion: $\log P(X|G, M)$ , stellt sicher, dass der inferierte Mechanismus und der Graph die beobachteten Daten erklären (selbstüberwachtes Signal).
3. Graph-Inferenz: $\log P(G|M)$ , dekodiert den strukturellen Graphen unter der Bedingung des kodierten Mechanismus.

2. Architekturdesign

Die Architektur von CDFM spiegelt explizit die variative Dekomposition wider:

Spaltenweise Einbettung & Alternierende Attention: Die Eingangsdaten (die fehlende Werte über einen binären Indikator-Kanal handhaben) werden mittels eines Set Transformers eingebettet, um Randverteilungen zu erfassen. Ein Stapel aus alternierenden zeilen- und spaltenweisen Attention-Blöcken integriert gemeinsame Abhängigkeiten, um die latente Mechanismus-Verteilung $Q(M|X)$ zu parametrisieren.
Daten-Rekonstruktion (Imputation): Ein Residual-Block sagt bedingte Quantilwerte für maskierte Einträge voraus. Dies dient als selbstüberwachte Aufgabe, um den Term der Daten-Rekonstruktion zu erfüllen. Während der Attention wird eine „Soft Causal Mask“ verwendet, die den Informationsfluss von nicht-kausalen Variablen basierend auf aktuellen Kanten-Gewicht-Hypothesen bestraft, wodurch eine unüberwachte innere Schleife zur Strukturverfeinerung entsteht.
Graph-Inferenz: Induzierte Self-Attention extrahiert „Ursache“- und „Wirkung“-Zusammenfassungsvektoren für jede Variable. Ein Mixture-of-Experts (MoE) Bilinear-Head dekodiert diese Vektoren in Kanten-Logits, was gerichtete Kanten und bidirektionale Kanten (für latente Konfundierung) natürlich berücksichtigt. Ein leichtgewichtiger, graph-adaptiver Schwellenwert-Kalibrator konvertiert kontinuierliche Wahrscheinlichkeiten in einen binären Graphen.

3. Pretraining-Strategie

CDFM wird auf einem massiven, hochdiversen Raum synthetischer Struktureller Kausaler Modelle (SCMs) vortrainiert. Der Datengenerator umfasst:

Graphstrukturen: Sechs zufällige Graphmodelle (ER, Scale-Free, WS, SBM, etc.) mit variierender Sparsität und Größe ( $D \in [2, 100]$ ).
Mechanismus-Diversität: Lineare und nichtlineare Modelle (Additive Noise, Post-Nonlinear, Random Fourier Features), diskrete und gemischte Typen sowie physik-inspirierte Modelle.
Rauschen & Konfundierung: Diverse Rauschverteilungen (Gaussian, Laplace, Cauchy, etc.), Heteroskedastizität und latente Konfundierung (15 % der Batches).
Realismus: Simulierte Messfehler, Diskretisierung und zufällige fehlende Werte (MCAR).

Zentrale Beiträge

Paradigmenwechsel: Formuliert die kausale Entdeckung als allgemeines Foundation-Model-Problem und verschiebt den Fokus von der spezialisierten Algorithmenwahl hin zu einem vereinheitlichten Inferenzansatz, der zur Zero-Shot-Strukturendifferenzierung fähig ist.
Fundiertes Framework: Vereint Foundation Models und strukturelle Identifizierbarkeit durch ein variatives Framework, das unbekannte Mechanismen als latente Variablen behandelt, um das Marginalisierungsproblem in ein handhabbares Lernziel zu übersetzen.
Architekturdesign: Gestaltet CDFM so, dass Mechanismus-Kodierung, struktur-bewusste Rekonstruktion und Graph-Dekodierung mit der theoretischen Dekomposition korrespondieren, was eine robuste Inferenz direkt aus Beobachtungsdaten ermöglicht.
Großskaliges Pretraining: Führt ein umfassendes Pretraining-Regime ein, das durch diverse kausale Wissensstrukturen angetrieben wird und einen massiven Hypothesenraum synthetisiert, um komplexe statistische Asymmetrien zu internalisieren.

Experimentelle Ergebnisse

Die Autoren evaluieren CDFM anhand synthetischer Benchmarks, realer Datensätze und kontrollierter Identifizierbarkeitsstudien.

Synthetische Benchmarks: CDFM übertrifft konsistent traditionelle Algorithmen (PC, GES, DirectLiNGAM, NOTEARS) und amortisierte Baselines (AVICI, TabCausal, Arrow) über 15 verschiedene Mechanismus-Familien und variierende Graphgrößen ( $D \in [10, 100]$ ) sowie Stichprobengrößen ( $N \in [500, 4000]$ ). Es erreicht überlegene AUROC- und F1-Scores und zeigt eine stabile Performance bei steigender Skalierung des Problems.
Real-World Benchmarks:
- Causal Chamber: Bei physikalischen multivariaten Systemen (Aufgaben A1 und A2) erreicht CDFM hohe AUROC-Werte (0,952 und 0,965), übertrifft alle Baselines und demonstriert die Übertragbarkeit von synthetischen auf physikalische Systeme.
- Tübingen Benchmark: Bei 95 bivariate Ursache-Wirkung-Paaren erreicht CDFM eine Genauigkeit von 67,1 % und übertrifft damit andere State-of-the-Art-Methoden.
Validierung der Identifizierbarkeit: Kontrollierte Experimente bestätigen, dass CDFM die theoretischen Grenzen der Identifizierbarkeit einhält. Es identifiziert die kausale Richtung korrekt, wenn funktionale Asymmetrie (Nichtlinearität/Nicht-Gaussianität) oder V-Strukturen vorliegen, und fällt in nicht-identifizierbaren Regimen (z. B. lineare Gauß-Modelle) auf das Zufallsniveau zurück (Genauigkeit $\approx$ 0,5).
Imputation fehlender Werte: Als Nebenprodukt des Rekonstruktionsziels erreicht der Imputations-Head von CDFM State-of-the-Art-Performance sowohl bei kontinuierlichen als auch bei diskreten Daten mit fehlenden Werten und übertrifft klassische Methoden wie MissForest und MICE.

Bedeutung und Ansprüche

Das Paper behauptet, dass CDFM einen bedeutenden Schritt in Richtung einer universellen Engine für kausale Entdeckung darstellt. Durch die Verlagerung des Engpasses von der manuellen Algorithmenwahl hin zur skalierbaren Generierung diverser, identifizierbarer synthetischer Daten internalisiert CDFM komplexe kausale Asymmetrien, die es ihm ermöglichen, über unbekannte Generierungsprozesse hinweg zu generalisieren.

Die Autoren betonen, dass das Modell nicht die Notwendigkeit kausaler Annahmen aufhebt, sondern lernt, diese über ein breites Spektrum von Annahmenklassen hinweg zu adaptieren. Die Arbeit deutet auf eine zukünftige Richtung hin, in der kausale Modelle breite Repräsentationen über Familien von Mechanismen lernen, anstatt einzelne, starre Annahmen zu optimieren. Die Ergebnisse zeigen, dass ein solches Foundation Model einen Paradigmenwechsel vorantreiben kann, indem es robuste Zero-Shot-Fählichkeiten zur kausalen Entdeckung bietet, die mit Datenvolumen und Heterogenität skalieren.