🤖 machine learning

Use What You Know: Causal Foundation Models with Partial Graphs

Dieses Paper stellt eine Methode zur Verbesserung von Kausalen Fundamentmodellen vor, indem diese durch lernbare Attention-Biases und graph-konvolutionale Encoder auf partielle oder vollständige kausale Graphinformationen konditioniert werden, was es ermöglicht, die Leistung spezialisierter Modelle zu erreichen und gleichzeitig Domänenexpertise effektiv zu nutzen.

Ursprüngliche Autoren: Arik Reuter, Anish Dhir, Cristiana Diaconu, Jake Robertson, Ole Ossen, Frank Hutter, Adrian Weller, Mark van der Wilk, Bernhard Schölkopf

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arik Reuter, Anish Dhir, Cristiana Diaconu, Jake Robertson, Ole Ossen, Frank Hutter, Adrian Weller, Mark van der Wilk, Bernhard Schölkopf

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „allwissende“ Detektiv vs. der „skeptische“ Detektiv

Stellen Sie sich vor, Sie versuchen herauszufinden, warum ein bestimmtes Ereignis eingetreten ist. Vielleicht möchten Sie wissen: „Wenn wir diesem Patienten ein neues Medikament geben, wird er gesund werden?“

Lange Zeit mussten Wissenschaftler für jeden einzelnen Fall einen maßgeschneiderten Detektiv bauen. Wenn es um Rauchen und Krebs ging, bauten sie einen Detektiv. Wenn es um Bildung und Einkommen ging, bauten sie einen anderen. Diese Detektive waren großartig in ihrem speziellen Job, aber nutzlos für alles andere.

Vor kurzem wurde ein neuer Typ von „Foundation Model“ (einem superintelligenten KI-Modell) erfunden. Denken Sie an diesen als einen allwössenden Detektiv, der jedes Buch in der Bibliothek gelesen hat. Er kann sich jeden Datensatz ansehen und die Antwort auf fast jede Frage erraten. Dies nennt man ein Causal Foundation Model (CFM).

Das Problem:
Obwohl dieser allwissende Detektiv intelligent ist, ist er derzeit etwas „naiv“. Er schaut nur auf die Rohdaten (die Tatortfotos) und versucht zu erraten, was passiert ist. Er hört nicht auf die Experten.

Beispiel: Wenn Sie den Detektiv fragen: „Verursacht Rauchen Krebs?“, schaut er vielleicht auf die Daten und sagt: „Nun, ich sehe, dass beides oft zusammen auftritt, aber vielleicht verursacht Krebs auch das Rauchen?“ – weil er die biologische zeitliche Abfolge nicht kennt.
Das Problem: In der realen Welt wissen Experten oft einige Dinge. Wir wissen, dass Rauchen vor Krebs kommt. Wir wissen, dass das Alter vor dem Renteneintritt kommt. Aber die aktuellen KI-Modelle weigern sich, dieses „Expertenwissen“ zu nutzen, es sei denn, man baut sie komplett von Grund auf neu auf.

Die Lösung: Dem Detektiv einen „Spickzettel“ geben

Die Autoren dieser Arbeit stellten die Frage: Können wir diesen allwissenden Detektiv dazu bringen, auf unsere Experten-Hinweise zu hören, ohne ihn neu bauen zu müssen?

Sie entwickelten einen Weg, dem Modell während der Arbeit einen „Spickzettel“ (einen partiellen Graphen) zu geben. Dieser Spickzettel muss nicht perfekt sein. Er muss uns lediglich sagen, was wir bereits wissen.

Die „Spickzettel“-Analogie: Der Stammbaum

Stellen Sie sich vor, Sie versuchen herauszufinden, wer mit wem verwandt ist, bei einem riesigen, verwirrenden Familientreffen.

Der alte Weg: Sie betrachten ein Foto von 100 Personen und versuchen zu erraten, wer der Großvater, wer der Cousin und wer das Baby ist. Sie könnten falsch liegen.
Der neue Weg: Sie erhalten ein Blatt Papier (die Partielle Ahnen-Matrix), auf dem steht:
- „Wir wissen sicher, dass die Oma eine Vorfahrin des Babys ist.“ (Dies ist eine 1).
- „Wir wissen sicher, dass das Baby keine Vorfahrin der Oma ist.“ (Dies ist eine -1).
- „Wir haben keine Ahnung, ob Onkel Bob mit Cousine Sue verwandt ist.“ (Dies ist eine 0).

Die Arbeit zeigt, dass die KI selbst mit diesem „unvollständigen“ Spickzettel (bei dem einige Beziehungen als „unbekannt“ markiert sind) viel besser abschneidet, als wenn sie gar keinen Spickzettel hätte.

Wie sie es gemacht haben: Der „Verkehrsleiter“ und der „Kartenleser“

Die Arbeit beschreibt zwei spezifische Tricks, mit denen sie die KI dazu brachten, auf diesen Spickzettel zu hören. Stellen Sie sich die KI als ein riesiges Team von Arbeitern vor, die sich gegenseitig Zettel zuwerfen.

Der Verkehrsleiter (Soft Attention Bias):
Normalerweise werfen die Arbeiter Zettel an jeden, den sie wollen. Die Autoren fügten einen „Verkehrsleiter“ hinzu, der den Spickzettel betrachtet.
- Wenn der Zettel sagt: „Die Oma ist eine Vorfahrin des Babys“, gibt der Controller diesem Zettel ein grünes Licht (er ermutigt die KI, darauf zu achten).
- Wenn der Zettel sagt: „Das Baby ist keine Vorfahrin der Oma“, gibt der Controller diesem Zettel ein rotes Licht (er hält die KI davon ab, darauf zu achten).
- Wenn der Zettel sagt: „Unbekannt“, ist das Licht gelb (die KI kann selbst entscheiden).
- Kernpunkt: Dies ist keine harte Regel; es ist ein sanfter Anstoß. Dies macht das System robust, selbst wenn der Spickzettel Fehler enthält.
Der Kartenleser (Graph Convolutional Network):
Dies ist so, als würde man jedem Arbeiter vor der Arbeit eine Karte des gesamten Stammbaums geben. Es hilft ihnen, ihre „Rolle“ im großen Ganzen zu verstehen. Selbst wenn sie nur eine einzelne Person betrachten, wissen sie: „Oh, ich sehe gerade ein Enkelkind an, also sollte ich über die Eltern nachdenken.“

Die Ergebnisse: Warum „partiell“ besser ist als „perfekt“

Die Forscher testeten dies in vielen verschiedenen Szenarien, von einfachen mathematischen Problemen bis hin zu komplexen, realistischen Simulationen.

Es funktioniert: Als sie dem Modell den Spickzettel gaben, traf es viel genauere Vorhersagen über Ursache und Wirkung.
Es ist flexibel: Das Modell kann mit einem Spickzettel umgehen, der zu 100 % voller Informationen ist, oder mit einem, der zu 90 % leer ist (nur ein paar Hinweise). Es funktioniert in beiden Fällen.
Die „Nicht-Raten“-Regel: Dies ist die wichtigste Erkenntnis. Die Arbeit zeigt, dass es viel besser ist, eine Beziehung als „Unbekannt“ (0) zu markieren, anstatt zu raten und falsch zu liegen, wenn man sich unsicher ist.
- Analogie: Wenn Sie Auto fahren und nicht sicher sind, ob eine Straße eine Einbahnstraße ist, ist es sicherer, anzunehmen „Ich weiß es nicht“ und vorsichtig zu fahren, als zu raten „Es ist eine Einbahnstraße“ und in die falsche Richtung zu fahren. Die Arbeit beweist, dass falsches Raten die Leistung der KI erheblich verschlechtert, während ein „Ich weiß es nicht“ sie nur geringfügig beeinflusst.

Zusammenfassung

Die Arbeit stellt einen Weg vor, um „allwissende“ KI-Modelle aufzuwerten, damit sie partielles Expertenwissen nutzen können. Anstatt eine perfekte Karte der gesamten Welt zu benötigen, kann die KI nun mit einer skizzierten Karte arbeiten, die einige leere Stellen hat. Durch den Einsatz eines „Verkehrsleiters“, der ihre Aufmerksamkeit lenkt, und eines „Kartenlesers“, der das große Ganze versteht, wird die KI zu einem viel besseren Detektiv, der in der Lage ist, „Was wäre wenn?“-Fragen genauer zu beantworten, selbst wenn wir nur unvollständige Informationen haben.

Technisches Resümee: Use What You Know: Causal Foundation Models with Partial Graphs

Problemstellung

Die kausale Inferenz stützt sich traditionell auf einen zweistufigen Prozess: Zuerst werden Identifikationsannahmen getroffen (oft über einen kausalen Graphen) und anschließend wird ein maßgeschneiderter Schätzer ausgewählt, der auf diese Annahmen zugeschnitten ist. Während jüngste Causal Foundation Models (CFMs), die auf Prior-Data-Fitted Networks (PFNs) basieren, einen einheitlichen Ansatz durch die Amortisierung von kausaler Entdeckung und Inferenz bieten, leiden sie derzeit unter einer kritischen Einschränkung: Sie können zum Testzeitpunkt keine Domänenkenntnisse einbeziehen.

Bestehende CFMs:

Beschränken den Trainings-Prior auf spezifische kausale Strukturen (z. B. nur Back-Door-Adjustment-Fälle), was teures Retraining für neue Annahmen erfordert.
Marginalisieren über alle möglichen Strukturen, was zu unnötig konservativen Schätzungen und unpräzisen Vorhersagen führt, wenn partielle Domänenkenntnisse vorhanden sind, aber ignoriert werden.

Die zentrale Herausforderung besteht darin, wie ein universelles CFM in der Lage ist, auf partielle kausale Informationen (wie einen teilweise bekannten kausalen Graphen oder ancestrale Beziehungen) während der Inferenz zu konditionieren, ohne die Flexibilität des Foundation-Model-Paradigmas zu opfern.

Methodik

1. Repräsentation kausalen Wissens: Partial Ancestral Matrices (PAMs)

Die Autoren schlagen vor, Partially Known Ancestral Matrices (PAMs) als Konditionierungssignal zu verwenden. Im Gegensatz zu Adjazenzmatrizen, die Wissen über direkte kausale Kanten ( $A_{ij}=1$ ) erfordern, kodieren PAMs ancestrale Beziehungen ( $T_{ij}=1$ , falls $z_i$ ein Vorfahre von $z_j$ ist).

Vorteile: Ancestrales Wissen ist oft robuster und leichter zu beschaffen als direkte kausale Mechanismen (z. B. zu wissen, dass Rauchen Krebs verursacht, ist einfacher, als den exakten biologischen Pfad zu spezifizieren).
Partialität: Die Matrix $\tilde{T} \in \{-1, 0, 1\}^{K \times K}$ $\tilde{T} \in {- 1, 0, 1}^{K \times K}$ ermöglicht:
- $1$: Bekannter Vorfahre.
- $-1$: Bekannter Nicht-Vorfahre (z. B. durch zeitliche Abfolge ausgeschlossen).
- $0$: Unbekannte Beziehung.
  Diese Repräsentation umfasst Fälle von fehlendem Wissen, partiellem Wissen und vollständigem Wissen.

2. Architektonische Konditionierungsmechanismen

Das Paper führt eine Transformer-basierte CFM-Architektur ein, die modifiziert wurde, um PAMs über zwei komplementäre Mechanismen zu verarbeiten:

Strukturelle Attention-Biasierung:
- Soft Bias: Erlernbare Skalar-Biases ( $\beta_{anc}, \beta_{non-anc}$ ) werden zu den Attention-Logits addiert. Ein positiver Bias fördert die Aufmerksamkeit auf bekannte Vorfahren; ein negativer Bias schreckt die Aufmerksamkeit auf bekannte Nicht-Vorfahren ab. Dies ermöglicht es dem Modell, kausale Eltern zu priorisieren und gleichzeitig robust gegenüber unvollständigen Informationen zu bleiben.
- Hard Masking: Eine Alternative, bei der die Aufmerksamkeit auf bekannte Nicht-Vorfahren strikt auf $-\infty$ gesetzt wird.
Strukturelle Merkmalsmodulation (GCN):
- Ein Graph Convolutional Network (GCN) Encoder verarbeitet die PAM, um struktur-bewusste Knoten-Embeddings zu generieren.
- Diese Embeddings werden in jeden Transformer-Block via Adaptive Layer Normalization (AdaLN) injiziert, wodurch die verborgenen Repräsentationen der Variablen basierend auf ihrer globalen strukturellen Position im kausalen Graphen moduliert werden.

3. Training und Datengenerierung

Prior: Die Autoren konstruierten einen Tabular Foundation Model (TFM) Prior, der nativ kausal ist. Dieser generiert synthetische Datensätze durch Sampling von Structural Causal Models (SCMs) mit diversen Mechanismen (MLPs, XGBoost, verschiedene Nichtlinearitäten) und Rauschverteilungen.
Amortisiertes Training: Das Modell wird darauf trainiert, mit variierenden Graden an fehlender Information umzugehen. Während des Trainings werden Einträge in der PAM zufällig verborgen (auf 0 gesetzt), was das Modell dazu zwingt, einen einzigen Satz von Gewichten zu lernen, der sich an volle, partielle oder gar keine ancestrale Information anpassen kann.

Zentrale Ergebnisse

1. Effektivität der Konditionierung

Experimente an synthetischen linearen-Gaußschen und komplexen nichtlinearen Priors zeigen:

Soft Attention + GCN ist die effektivste Konditionierungsstrategie und übertrifft konsistent Baselines ohne Graph-Konditionierung, Hard Masking oder GCN-only-Ansätze.
Die Konditionierung auf ancestrale Matrizen erweist sich als vergleichbar mit der Konditionierung auf vollständige Adjazenzmatrizen, was die Verwendung von ancestralem Wissen als praktischen Proxy validiert.

2. Robustheit gegenüber partiellen Informationen

Amortisations-Effizienz: Ein einzelnes Modell, das mit amortisierten (zufällig verborgenen) PAMs trainiert wurde, performt nahezu so gut wie spezialisierte Modelle, die ausschließlich auf vollen oder gar keinen Informationen trainiert wurden.
Ignoranz vs. Fehlspezifikation: Eine entscheidende Erkenntung ist, dass das Verbergen unsicherer Kanten (Markierung als "unbekannt") weita viel weniger schädlich ist als die Fehlspezifikation dieser Kanten (Umkehrung der Richtung). Die Performance sinkt graduell, wenn Kanten verborgen werden, bricht jedoch drastisch ein, wenn Kanten falsch spezifiziert werden. Dies unterstreicht den praktischen Wert partieller Matrizen.

3. Semi-synthetische Benchmarks

Auf dem RealCause Benchmark (IHDP, ACIC, CPS, PSID):

Die Bereitstellung partieller ancestraler Informationen, die Unconfoundedness kodieren, verbessert die Performance (gemessen an $\sqrt{PEHE}$ und relativem ATE-Fehler) signifikant im Vergleich zu Modellen ohne Graph-Konditionierung.
Das graph-konditionierte Modell übertrifft spezialisierte Baselines wie Do-PFN und CausalFM in den meisten Datensätzen.
Während CausalPFN die beste Gesamtperformance auf RealCause erzielt, führen die Autoren dies auf eine Prior-Alignment zurück (CausalPFNs Trainingsdaten ähneln dem Datengenerierungsprozess von RealCause) und nicht auf die Graph-Konditionierung. Sob sobald Graph-Konditionierung eingeführt wird, übertrifft ihr Modell CausalFM und Do-PFN.

4. Vergleich mit spezialisierten Modellen

In Szenarien, in denen das Back-Door-Kriterium verletzt wird (ein Setting, in dem spezialisierte Modelle wie CausalPFN und CausalFM auf misspezifizierten Annahmen beruhen), zeigt das graph-konditionierte CFM einen substanziellen Vorteil. Dies demonstriert seine Fähigkeit, nicht identifizierbare Fälle durch Nutzung verfügbarer partieller Strukturen zu handhaben.

Bedeutung und Ansprüche

Das Paper behauptet, eine zentrale Hürde bei der Entwicklung von "All-in-One"-kausalen Foundation Models adressiert zu haben: die Fähigkeit, kausale Fragen datengetrieben zu beantworten und dabei effektiv jegliches Maß an Domänenexpertise zu nutzen.

Vereinheitlichtes Framework: Es zeigt, dass ein einziges CFM flexibel auf Beobachtungsdaten und unterschiedliche Ebenen kausalen Wissens (keines, partielles oder volles) konditionieren kann, ohne ein Retraining zu benötigen.
Praktischer Nutzen: Durch die Verwendung von Partial Ancestral Matrices schließt der Ansatz die Lücke zwischen der Starrheit traditioneller kausaler Schätzer (die präzise Graphen erfordern) und der "Black Box"-Natur aktueller Foundation Models (die Domänenwissen ignorieren).
Begrenzter Umfang: Die Autoren räumen ein, dass die absoluten Performance-Gewinne bei einigen Metriken gering sind (was auf die kleinen kausalen Effekte in ihren Priors zurückzuführen ist), aber die Methode etabliert ein machbares und effektives Fundament für zukünftige robuste Modelle zur Schätzung kausaler Effekte. Sie merken an, dass sich die aktuelle Arbeit auf voll beobachtete Variablen konzentriert und verborgene Konfounder noch nicht adressiert, was sie zukünftigen "All-in-One"-Entwicklungen überlässt.