🤖 machine learning

A Causal Foundation Model for Structure and Outcome Prediction

Das Papier stellt TabPFN-CFM vor, ein kausales Foundation-Modell, das auf synthetischen Daten trainiert wurde und auf reale Datensätze generalisiert, um gleichzeitig kausale Strukturen und Ergebnisse vorherzusagen, während es Abfragen über alle Ebenen von Pearls kausaler Hierarchie hinweg unterstützt.

Ursprüngliche Autoren: Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha

Veröffentlicht 2026-06-26

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber Sie haben nur einen Stapel alter, unsortierter Fotos (Beobachtungsdaten) und keine Zeugenaussagen. Sie müssen zwei Dinge herausfinden:

Die Geschichte: Wer hat was verursacht? (Hat der Regen das nasse Gras verursacht, oder hat jemand einen Eimer verschüttet?)
Das „Was wäre wenn“: Wenn Sie etwas anders gemacht hätten, was wäre dann passiert? (Wenn Sie den Eimer nicht verschüttet hätten, wäre das Gras dann trotzdem nass gewesen?)

Normalerweise erfordert das Lösen eines solchen Rätsels einen menschlichen Experten, der die Regeln der Welt errät, oder einen Computer, der versucht, Millionen von Vermutungen einzeln durchzuprobieren. Dieses Paper stellt TabPFN-CFM vor, eine neue Art von „Super-Detektiv“-KI, die bereits eine Bibliothek von Millionen von erfundenen Krimi-Geschichten gelesen hat. Da sie so viele verschiedene Szenarien gesehen hat, kann sie sich Ihre chaotischen Fotos ansehen und sofort die Geschichte erraten und Ihre „Was wäre wenn“-Fragen beantworten.

So funktioniert es, unterteilt in einfache Konzepte:

1. Das „Causal Foundation Model“ (Der Super-Detektiv)

Betrachten Sie dieses Modell als einen Studenten, der sein ganzes Leben lang eine riesige Bibliothek synthetischer (künstlicher) Welten studiert hat. In diesen künstlichen Welten haben die Autoren tausende verschiedene Regeln erschaffen: Manchmal funktioniert die Schwerkraft anders, manchmal handeln Menschen zufällig und manchmal bringen versteckte Faktoren (wie ein Geheimagent) die Dinge durcheinander.

Weil dieser Student so viele Variationen gesehen hat, muss er die Regeln nicht erst von Grund auf neu lernen, wenn Sie ihm einen echten Datensatz zeigen (wie Verkaufszahlen oder Schulnoten). Er sagt einfach: „Ah, das sieht aus wie Szenario Nr. 4.592 aus meiner Bibliothek“, und weiß sofort die wahrscheinlichen Ursache-Wirkungs-Beziehungen.

2. Das Lösen von drei Ebenen des Rätsels

Das Paper behauptet, dass dieses Modell drei verschiedene Arten von Fragen bearbeiten kann, die die Autoren als „Kausale Hierarchie“ bezeichnen:

Ebene 1: Der Beobachter (Was passiert gerade?)
- Die Frage: „Wenn jemand ein rotes Hemd kauft, kauft er dann auch einen Hut?“
- Die Aufgabe des Modells: Es sagt das Ergebnis basierend auf dem voraus, was es sieht.
Ebene 2: Der Intervenierer (Was passiert, wenn ich etwas ändere?)
- Die Frage: „Wenn ich erzwinge, dass jeder ein rotes Hemd kauft (selbst wenn er es nicht tun würde), wird er dann einen Hut kaufen?“
- Die Aufgabe des Modells: Das ist knifflig, weil die reale Welt dies nicht getan hat. Das Modell simuliert die Änderung, um das Ergebnis vorherzusagen.
Ebene 3: Der Zeitreisende (Was wäre anders gewesen, wenn die Dinge in der Vergangenheit anders gewesen wären?)
- Die Frage: „John hat einen Hut und ein rotes Hemd gekauft. Aber was wäre gewesen, wenn er das rote Hemd nicht gekauft hätte? Hätte er den Hut immer noch gekauft?“
- Die Aufgabe des Modells: Dies ist die schwierigste Stufe. Es erfordert, die Zeit in der Simulation zurückzuspulen, während andere Fakten unverändert bleiben. Das Paper sagt, dass dieses Modell eines der wenigen ist, die dies gut beherrschen.

3. Der „Versteckte Bösewicht“ (Nicht beobachtete Confounder)

In vielen realen Rätseln gibt es einen „versteckten Bösewicht“, den man nicht sehen kann. Zum Beispiel könnte ein verborgener Faktor (wie „Reichtum“) sowohl den Kauf von roten Hemden als auch von Hüten verursachen. Wenn Sie über „Reichtum“ nichts wissen, könnten Sie fälschlicherweise annehmen, dass das Hemd den Hut verursacht.

Das Paper führt ein spezielles Werkzeug namens ADMG (Acyclic Directed Mixed Graph) ein. Stellen Sie sich dies als eine Karte vor, die zwei Arten von Linien zeichnet:

Pfeile: Zeigen direkte Ursache-Wirkungs-Beziehungen (A verursacht B).
Doppelköpfige, geschwungene Linien: Zeigen „versteckte Bösewichte“ (A und B werden beide von etwas beeinflusst, das man nicht sehen kann).

TabPFN-CFM ist einzigartig, weil es diese geschwungenen Linien automatisch zeichnen kann – es errät, wo die versteckten Bösewichte liegen könnten, selbst wenn Sie sie ihm nicht genannt haben.

4. Die Verwendung eines „Spickzettels“ (Bekannte Graphen)

Manchmal kennen Sie einen Teil der Geschichte bereits. Vielleicht hat ein Experte Ihnen gesagt: „Wir wissen sicher, dass A die Ursache für B ist.“
Das Paper zeigt, dass das Modell noch besser in seinen Vorhersagen wird, wenn Sie ihm diese Information geben (als ob Sie dem Detektiv einen Spickzettel überreichen würden). Es nutzt diese bekannte Struktur, um seine Vermutungen über den Rest des Rätsels zu verfeinern.

5. Wie es gelernt hat (Das Training)

Das Modell wurde anfangs nicht mit echten menschlichen Daten trainiert. Stattdessen hat die Forschergruppe ein Computerprogramm geschrieben, das Hunderttausende von künstlichen Datensätzen mit zufälligen Regeln, zufälligem Rauschen und verborgenen Variablen generiert hat.

Sie haben das Modell darauf trainiert, einen künstlichen Datensatz zu betrachten und die Struktur (die Karte) sowie das Ergebnis (das Resultat) zu erraten.
Es wurde darauf trainiert, dies für alle drei Ebenen der Fragen (Beobachter, Intervenierer, Zeitreisender) gleichzeitig zu tun.
Das Ergebnis: Als sie es auf echte Daten (wie Amazon-Verkäufe oder die Zulassung zu Jurastudien) testeten, schnitt es besser ab als ältere Methoden, insbesondere bei den „Was wäre wenn“-Fragen.

6. Das „Geschwindigkeits-Upgrade“

Die Autoren erwähnen auch, dass sie die „Engine“ (Architektur) des Modells optimiert haben. Sie haben unnötige Teile entfernt und neue Trainings-Tricks hinzugefügt (wie einen besseren Optimierer namens „Muon“ und eine neue Aktivierungsfunktion namens „ReLU2“).

Die Analogie: Stellen Sie sich vor, Sie tunen den Motor eines Autos. Sie haben nicht nur das Auto schneller gemacht; Sie haben dafür gesorgt, dass es 4-mal schneller seine Höchstgeschwindigkeit erreicht, während es weniger Treibstoff (Rechenleistung) verbraucht. Das bedeutet, das Modell lernt viel effizienter.

Zusammenfassung der Behauptungen

Es sagt die Struktur voraus: Es zeichnet die Karte der Ursache und Wirkung, einschließlich verborgener Faktoren.
Es sagt Ergebnisse voraus: Es beantwortet die Frage: „Was passiert, wenn ich X ändere?“
Es beherrscht Kontrafaktika: Es beantwortet die Frage: „Was wäre passiert, wenn X anders gewesen wäre?“
Es nutzt bekannte Karten: Wenn Sie ihm eine Teil-Karte geben, nutzt es diese, um die Genauigkeit zu verbessern.
Es generalisiert: Es funktioniert gut auf realen Daten, obwohl es auf künstlichen Daten trainiert wurde.
Es ist schnell: Neue Trainings-Tricks machen das Training 3- bis 4-mal effizienter.

Das Paper behauptet nicht, dass dies bereits für medizinische Diagnosen oder Gerichtssäle bereit ist. Es behauptet lediglich, dass es auf den getesteten Datensätzen (synthetische mathematische Probleme, Amazon-Verkäufe und Zulassungen zu Jurastudien) die derzeit besten Werkzeuge zur Bestimmung von Ursache und Wirkung übertrifft.

Technisches Resümee: TabPFN-CFM

Problemstellung

Die Bestimmung der kausalen Struktur und die Vorhersage kausaler Ergebnisse aus Beobachtungsdaten bleibt eine erhebliche Herausforderung in maschinellem Lernen und Statistik. Bestehende Methoden adressieren diese Aufgaben typischerweise isoliert: Einige konzentrieren sich auf strukturelle Vorhersagen (Lernen des kausalen Graphen), während andere auf Ergebnisvorhersagen (Schätzung der Wirkung von Interventionen) fokussiert sind. Darüber hinaus haben viele Ansätze Schwierigkeiten, mit nicht beobachteten Störvariablen (Confoundern) umzugehen, was zu nicht identifizierbaren Graphen und verzerrten Ergebnisschätzungen führen kann. Zudem fehlt es aktuellen Modellen oft an der Fähigkeit, das volle Spektrum der durch Pearls Kausale Hierarchie definierten Abfragen zu unterstützen: observational, interventional und counterfactual.

Methodik

Die Autoren führen TabPFN-CFM ein, ein kausales Foundation Model, das darauf ausgelegt ist, kausale Struktur und Ergebnisse gemeinsam aus Beobachtungsdaten vorherzusagen. Der Ansatz basiert auf dem Bayesian Prior-Over-Functions (PFN) Framework.

Kern-Framework

Das Modell nimmt an, dass das zugrunde liegende System einem Strukturellen Kausalen Modell (SCM) $\psi = \{U, V, F\}$ folgt, wobei $U$ für nicht beobachtete Variablen, $V$ für beobachtete Variablen und $F$ für strukturelle Gleichungen steht. Das Modell wird trainiert, um die Posterior-Verteilung $P(\psi | D_{obs}, G_{est})$ zu approximieren, wobei $D_{obs}$ der Beobachtungsdatensatz und $G_{est}$ optionales Vorwissen über den Graphen ist.

Datengenerierung und Training

Synthetische Priors: Das Modell wird auf synthetischen Datensätzen trainiert, die aus einer Prior-Verteilung über SCMs generiert wurden. Dieser Prior umfasst zufällige Graphstrukturen (DAGs), fehlende Knoten, diverse Rauschverteilungen und strukturelle Gleichungen, die durch neuronale Netze mit zufälligen Gewichten und Nichtlinearitäten definiert sind.
Aufgabenformulierung: Jede Trainingsprobe besteht aus einem Fit-Set ( $D_{fit}$ $D_{f i t}$ ), einer Vorhersageabfrage ( $D_{pred}$ $D_{p r e d}$ ) und einer Counterfactual-Probe ( $D_{causal}$ $D_{c a u s a l}$ ). Das Modell wird trainiert, um drei Abfragetypen gleichzeitig zu handhaben:
1. Observational Query: Vorhersage von $P(y^* | x^*, T=t^*)$ .
2. Interventional Query: Vorhersage von $P(y^* | x^*, do(T=1-t^*))$ .
3. Counterfactual Query: Vorhersage von $P(y^* | x^*, do(T=1-t^*), y=y^*)$ .
Graph-Handhabung: Das Modell nutzt Acyclic Directed Mixed Graphs (ADMGs), um unobservierte Konfundierung über bidirektionale Kanten darzustellen. Dies ermöglicht es dem Modell, Konfundierungsstrukturen vorherzusagen, anstatt davon auszugehen, dass alle Variablen beobachtet werden.

Architektur

TabPFN-CFM erweitert die Do-PFN-Architektur um explizite Graph-Konditionierung:

Encoder: Bettet das Fit-Set, die Vorhersageabfrage und die Prior-ADMG-Struktur (Adjazenzmatrix $A$ , bidirektionale Matrix $C$ und Ahnen-Matrix $R$ ) ein. Die Graph-Kodierung ermöglicht den direkten Zugriff auf Eltern-, Kind-, Ahnen- und Nachfahren-Beziehungen.
Transformer-Backbone: Verwendet zeilenweise und spaltenweise Attention-Mechanismen. Entscheidend ist, dass das Vorhersagemodul auf die Graph-Embeddings achtet, wodurch Vorhersagen den Graph-Prior einbeziehen können.
Outputs:
- Ergebnisvorhersage (Outcome Prediction): Ein Head erzeugt Logits über diskretisierte Ergebnis-Buckets.
- Strukturvorhersage (Structure Prediction): Ein Decoder generiert elementweise Vorhersagen für die gerichtete Adjazenzmatrix ( $\hat{A}$ ), die bidirektionale Korrelationsmatrix ( $\hat{C}$ ) und die Ahnen-Matrix ( $\hat{R}$ ).
Trainingseffizienz: Die Autoren implementierten mehrere architektonische und Trainingsoptimierungen (z. B. Muon-Optimizer, ReLU2-Aktivierung, Pre-Layer-Normalisierung), die die Trainingsgeschwindigkeit im Vergleich zu Baseline-Konfigurationen um etwa das 3- bis 4-fache verbesserten.

Verlustfunktion

Das Modell wird unter Verwendung einer gemeinsamen Verlustfunktion optimiert:
$L = L_{pred} + \lambda \cdot L_{graph}$
Wobei $L_{pred}$ der Cross-Entropy-Verlust für die Ergebnisvorhersage ist und $L_{graph}$ der binäre Cross-Entropy-Verlust für die strukturellen Vorhersagen (Adjazenz-, Ahnen- und Konfundierungsmatrizen) ist. Theoretische Beweise im Anhang zeigen, dass die Einbeziehung des Graph-Inputs als Konditionierung die Genauigkeit der Posterior nur verbessern (oder unverändert lassen) kann und dass die Minimierung der Log-Wahrscheinlichkeit äquivalent zur Minimierung der KL-Divergenz zur wahren Posterior ist.

Zentrale Beiträge

Unified Causal Foundation Model: TabPFN-CFM ist das erste Modell, das sowohl kausale Struktur als auch Ergebnisse über alle drei Ebenen von Pearls Kausaler Hierarchie innerhalb eines einzigen Foundation-Model-Frameworks gemeinsam vorhersagt.
Umgang mit unobservierter Konfundierung: Durch die Verwendung von ADMGs sagt das Modell unobservierte Konfundierungsvariablen explizit voraus und adressiert damit eine Einschränkung bestehender Deep-Learning-Methoden zum Lernen kausaler Strukturen.
Graph-konditionierte Inferenz: Das Modell nutzt bekannte Graphstrukturen, sofern verfügbar, um die Vorhersagegenauigkeit zu verbessern, bleibt jedoch robust, wenn der Graph unbekannt ist.
Effizienzsteigerungen: Das verfeinerte Trainingsverfahren und die architektonischen Änderungen führen zu einer fast 4-mal schnelleren Trainingskonvergenz im Vergleich zu früheren Baselines.

Experimentelle Ergebnisse

Das Modell wurde auf synthetischen Datensätzen (sowohl In-Distribution als auch Out-of-Distribution) und realen Datensätzen (Amazon Sales und Law School Admissions) evaluiert.

Ergebnisvorhersage (Outcome Prediction):
- Auf synthetischen Out-of-Distribution (OOD) SEMs erreichte TabPFN-CFM einen geringeren mittleren quadratischen Fehler (MSE) als etablierte Meta-Learner (S-, T-, X-, DR-Learner) und Do-PFN in interventionalen und counterfactual Settings.
- Im Law School Admissions Datensatz verbesserte das Modell die Genauigkeit in Counterfactual-Settings signifikant durch die Nutzung von Counterfactual-Informationen und übertraf damit Baselines, die solche Vorhersagen nicht tätigen können.
Strukturvorhersage (Structure Prediction):
- TabPFN-CFM übertraf starke Baselines (FCI, GES, LiNGAM, PC, AVICI) bei der Vorhersage von Adjazenz-, Ahnen- und Konfundierungsmatrizen.
- Speziell auf OOD-synthetischen Daten erreichte das Modell einen AUROC von 0,889 für die Adjazenz und 0,828 für die Konfundierungsmatrizen, was signifikant höher ist als beim nächstbesten Performer (AVICI mit 0,623 bzw. 0,563).
Graph-Konditionierung: Die Bereitstellung der wahren Graphstruktur als Input verbesserte die Leistung in interventionalen und counterfactual Settings, hatte jedoch einen vernachlässigbaren Einfluss auf observationale Vorhersagen, was konsistent mit der Kausalteorie ist.

Bedeutung

Das Paper postuliert, dass TabPFN-CFM einen Schritt zur Vereinigung kausaler Inferenzaufgaben darstellt. Durch das Training eines einzelnen Modells auf einem diversen Prior kausaler Systeme zeigt der Ansatz, dass Foundation Models zu realen kausalen Problemen generalisieren können, ohne auf spezifische Prior-Verteilungen zu überfitten. Die Fähigkeit, unobservierte Konfundierung zu handhaben und Counterfactual-Abfragen zu unterstützen, deutet auf einen Weg zu robusterem kausalem Denken im maschinellen Lernen hin. Die Autoren merken an, dass sich die aktuelle Arbeit auf azyklische Strukturen konzentriert, zukünftige Erweiterungen jedoch Zeitreihen und zyklische kausale Settings adressieren könnten.