🤖 machine learning

A Causal Foundation Model for Structure and Outcome Prediction

Het artikel introduceert TabPFN-CFM, een causaal foundation model getraind op synthetische data dat generaliseert naar real-world datasets om gelijktijdig causale structuren en uitkomsten te voorspellen, terwijl het queries ondersteunt over alle niveaus van Pearls Causale Hiërarchie.

Oorspronkelijke auteurs: Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha

Gepubliceerd 2026-06-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar je hebt alleen een stapel oude, ongeordende foto's (observationele data) en geen getuigenverklaringen. Je moet twee dingen uitzoeken:

Het Verhaal: Wie veroorzaakte wat? (Veroorzaakte de regen het natte gras, of heeft iemand een emmer omgegooid?)
De "Wat Als": Als je iets anders had gedaan, wat zou er dan gebeurd zijn? (Als je de emmer niet had omgegooid, zou het gras dan nog steeds nat zijn?)

Normaal gesproken vereist het oplossen hiervan een menselijke expert die de regels van de wereld raadt, of een computer die miljoenen gissingen één voor één probeert. Dit artikel introduceert TabPFN-CFM, een nieuw soort "superdetective" AI die al een bibliotheek van miljoenen verzonnen mysteryverhalen heeft gelezen. Omdat deze al zoveel verschillende scenario's heeft gezien, kan hij naar je rommelige foto's kijken en direct het verhaal raden én je "wat als"-vragen beantwoorden.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het "Causal Foundation Model" (De Superdetective)

Beschouw dit model als een student die zijn hele leven lang een enorme bibliotheek van synthetische (nep) werelden heeft bestudeerd. In deze nepwerelden hebben de auteurs duizenden verschillende regels gecreëerd: soms werkt zwaartekracht anders, soms handelen mensen willekeurig, en soms verstoren verborgen factoren (zoals een geheime agent) de boel.

Omdat deze student zoveel variaties heeft gezien, hoeft hij bij het zien van een echte dataset (zoals verkoopcijfers of schoolcijfers) de regels niet vanaf nul te leren. Hij zegt gewoon: "Ah, dit lijkt op Scenario #4.592 uit mijn bibliotheek," en hij weet direct de waarschijnlijke oorzaak-gevolgrelaties.

2. Het oplossen van drie niveaus van mysterie

Het artikel beweert dat dit model drie verschillende soorten vragen kan afhandelen, die de auteurs de "Causal Hierarchy" noemen:

Niveau 1: De Observator (Wat is er aan de hand?)
- De Vraag: "Als iemand een rood shirt koopt, kopen ze dan ook een hoed?"
- De Taak van het Model: Het voorspelt de uitkomst op basis van wat het ziet.
Niveau 2: De Interventeur (Wat als ik iets verander?)
- De Vraag: "Als ik iedereen dwing om een rood shirt te kopen (zelfs als ze dat niet zouden doen), zullen ze dan een hoed kopen?"
- De Taak van het Model: Dit is lastig omdat de echte wereld dit niet heeft gedaan. Het model simuleert de verandering om het resultaat te voorspellen.
Niveau 3: De Tijdreiziger (Wat als de situatie in het verleden anders was geweest?)
- De Vraag: "John kocht een hoed en een rood shirt. Maar wat als hij het rode shirt niet had gekocht? Zou hij dan nog steeds de hoed hebben gekocht?"
- De Taak van het Model: Dit is het moeilijkste niveau. Het vereist het terugspoelen van de tijd in de simulatie, terwijl andere feiten ongewijzigd blijven. Het artikel stelt dat dit model een van de weinigen is die dit goed kan doen.

3. De "Verborgen Schurk" (Niet-geobserveerde Confounders)

In veel echte-wereld mysteries is er een "verborgen schurk" die je niet kunt zien. Misschien veroorzaakt een verborgen factor (zoals "rijkdom") zowel het kopen van rode shirts als het kopen van hoeden. Als je niet op de hoogte bent van "rijkdom", zou je ten onrechte kunnen denken dat het shirt de hoed veroorzaakt.

Het artikel introduceert een speciaal hulpmiddel genaamd een ADMG (Acyclic Directed Mixed Graph). Stel je dit voor als een kaart die twee soorten lijnen tekent:

Pijlen: Die directe oorzaak-gevolgrelaties laten zien (A veroorzaakt B).
Dubbelkopige kronkelige lijnen: Die "verborgen schurken" laten zien (A en B worden beide beïnvloed door iets dat je niet kunt zien).

TabPFN-CFM is uniek omdat het deze kronkelige lijnen automatisch kan tekenen, waarbij het raadt waar de verborgen schurken zich bevinden, zelfs als je ze niet hebt aangegeven.

4. Gebruikmaken van een "Spiekbriefje" (Bekende Grafen)

Soms weet je een deel van het verhaal wel. Misschien heeft een expert gezegd: "We weten zeker dat A de oorzaak is van B."
Het artikel laat zien dat als je deze informatie aan het model geeft (zoals het overhandigen van een spiekbriefje aan de detective), het model nog beter wordt in zijn voorspellingen. Het gebruikt deze bekende structuur om zijn vermoedens over de rest van het mysterie te verfijnen.

5. Hoe het heeft geleerd (De Training)

Het model is aanvankelijk niet getraind op echte menselijke data. In plaats daarvan hebben de onderzoekers een computerprogramma geschreven om honderdduizenden nepdatasets te genereren met willekeurige regels, willekeurige ruis en verborgen variabelen.

Ze hebben het model geleerd om naar een nepdataset te kijken en de structuur (de kaart) en de uitkomst (het resultaat) te raden.
Ze hebben het getraind om dit voor alle drie de niveaus van vragen (Observator, Interventeur, Tijdreiziger) tegelijkertijd te doen.
Het Resultaat: Wanneer ze het testten op echte data (zoals Amazon-verkopen of toelatingen voor de rechtenstudie), presteerde het beter dan oudere methoden, vooral voor de "Wat als"-vragen.

6. De "Snelheidsupgrade"

De auteurs vermelden ook dat ze de "motor" (de architectuur) van het model hebben aangepast. Ze hebben enkele onnodige onderdelen verwijderd en nieuwe trainingshacks toegevoegd (zoals een betere optimizer genaamd "Muon" en een nieuwe activatiefunctie genaamd "ReLU2").

De Analogie: Stel je voor dat je een automotor upgrade. Ze hebben de auto niet alleen sneller gemaakt; ze hebben ervoor gezorgd dat de auto 4 keer sneller zijn topsnelheid bereikt terwijl hij minder brandstof (rekenkracht) verbruikt. Dit betekent dat het model veel efficiënter leert.

Samenvatting van de Claims

Het voorspelt structuur: Het tekent de kaart van oorzaak en gevolg, inclusief verborgen factoren.
Het voorspelt uitkomsten: Het beantwoordt de vraag: "Wat gebeurt er als ik X verander?"
Het behandelt contrafeitelijkheden: Het beantwoordt de vraag: "Wat zou er gebeurd zijn als X anders was geweest?"
Het gebruikt bekende kaarten: Als je het een gedeeltelijke kaart geeft, gebruikt het deze om de nauwkeurigheid te verbeteren.
Het generaliseert: Het werkt goed op echte data, ook al is het getraind op nepdata.
Het is snel: Nieuwe trainingstechnieken maken het 3 tot 4 keer efficiënter om te trainen.

Het artikel beweert niet dat dit al klaar is voor medische diagnoses of rechtszalen. Het claimt strikt dat op de datasets die zij hebben getest (synthetische wiskundige problemen, Amazon-verkopen en toelatingen voor de rechtenstudie), deze nieuwe "Superdetective" de huidige beste instrumenten overtreft voor het ontrafelen van oorzaak en gevolg.

Technische Samenvatting: TabPFN-CFM

Probleemstelling

Het bepalen van de causale structuur en het voorspellen van causale uitkomsten vanuit observationele data blijft een significante uitdaging in machine learning en statistiek. Bestaande methoden pakken deze taken doorgaans geïsoleerd aan: sommige richten zich op structurele voorspellingen (het leren van de causale graaf), terwijl andere zich richten op uitkomstvoorspellingen (het schatten van het effect van interventies). Bovendien hebben veel benaderingen moeite met het omgaan met niet-geobserveerde confounders (verstorende variabelen), wat kan leiden tot niet-identificeerbare grafen en vertekende schattingen van uitkomsten. Daarnaast missen huidige modellen vaak het vermogen om het volledige spectrum van causale queries te ondersteunen zoals gedefinieerd door de Causale Hiërarchie van Pearl: observationeel, interventioneel en contrafactueel.

Methodologie

De auteurs introduceren TabPFN-CFM, een causaal foundation model dat ontworpen is om zowel de causale structuur als de uitkomsten gezamenlijk te voorspellen vanuit observationele data. De aanpak is geworteld in het Bayesian Prior-Over-Functions (PFN) framework.

Kernframework

Het model gaat ervan uit dat het onderliggende systeem een Structureel Causaal Model (SCM) volgt $\psi = \{U, V, F\}$ , waarbij $U$ de niet-geobserveerde variabelen vertegenwoordigt, $V$ de geobserveerde variabelen en $F$ de structurele vergelijkingen. Het model is getraind om de posterieure verdeling $P(\psi | D_{obs}, G_{est})$ te benaderen, waarbij $D_{obs}$ de observationele dataset is en $G_{est}$ optionele voorkennis van de graaf.

Datageneratie en Training

Synthetische Priors: Het model wordt getraind op synthetische datasets gegenereerd vanuit een priorverdeling over SCM's. Deze prior bevat willekeurige graafstructuren (DAG's), ontbrekende knopen, diverse ruisverdelingen en structurele vergelijkingen gedefinieerd door neurale netwerken met willekeurige gewichten en niet-lineariteiten.
Taakformulering: Elk trainingsmonster bestaat uit een fit-set ( $D_{fit}$ $D_{f i t}$ ), een voorspellingsquery ( $D_{pred}$ $D_{p r e d}$ ) en een contrafactuele sample ( $D_{causal}$ $D_{c a u s a l}$ ). Het model is getraind om drie typen queries gelijktijdig te verwerken:
1. Observationele Query: Voorspellen van $P(y^* | x^*, T=t^*)$ .
2. Interventionele Query: Voorspellen van $P(y^* | x^*, do(T=1-t^*))$ .
3. Contrafactuele Query: Voorspellen van $P(y^* | x^*, do(T=1-t^*), y=y^*)$ .
Graafverwerking: Het model maakt gebruik van Acyclic Directed Mixed Graphs (ADMG's) om niet-geobserveerde confounding te representeren via bidirectionele randen. Dit stelt het model in staat om confounding-structuren te voorspellen in plaats van aan te nemen dat alle variabelen geobserveerd zijn.

Architectuur

TabPFN-CFM breidt de Do-PFN architectuur uit met expliciete graaf-conditionering:

Encoder: Embedt de fit-set, de voorspellingsquery en de prior ADMG-structuur (adjacency matrix $A$ , bidirected matrix $C$ en ancestral matrix $R$ ). De graaf-encoding biedt directe toegang tot parent-, child-, ancestor- en descendant-relaties.
Transformer Backbone: Maakt gebruik van row-wise en column-wise attention mechanismen. Cruciaal is dat het voorspellingsmodule de graaf-embeddings betreft (attentie heeft), waardoor voorspellingen de graaf-prior kunnen incorporeren.
Outputs:
- Uitkomstvoorspelling: Een head produceert logits over gediscretiseerde uitkomst-buckets.
- Structuurvoorspelling: Een decoder genereert element-gewijze voorspellingen voor de gerichte adjacency matrix ( $\hat{A}$ ), de bidirected correlatiematrix ( $\hat{C}$ ) en de ancestral matrix ( $\hat{R}$ ).
Efficiëntieverbeteringen: De auteurs hebben verschillende architecturale en training-optimalisaties geïmplementeerd (bijv. Muon optimizer, ReLU2 activatie, pre-layer normalisatie) die de trainingssnelheid met ongeveer 3-4x hebben verbeterd ten opzichte van baseline configuraties.

Loss Functie

Het model wordt geoptimaliseerd met een gezamenlijke loss functie:
$L = L_{pred} + \lambda \cdot L_{graph}$
Waarbij $L_{pred}$ de cross-entropy loss is voor uitkomstvoorspelling, en $L_{graph}$ de binary cross-entropy loss is voor structurele voorspellingen (adjacency, ancestral en confounding matrices). Theoretische bewijzen in de appendix tonen aan dat het opnemen van de graaf als input als conditie de posterieure nauwkeurigheid alleen maar kan verbeteren (of ongewijzigd laat) en dat het minimaliseren van de log-waarschijnlijkheid gelijk is aan het minimaliseren van de KL-divergentie naar de ware posterieure verdeling.

Belangrijkste Bijdragen

Verenigd Causaal Foundation Model: TabPFN-CFM is het eerste model dat zowel de causale structuur als de uitkomsten gezamenlijk voorspelt over alle drie de niveaus van de Causale Hiërarchie van Pearl binnen één enkel foundation model framework.
Omgaan met Niet-Geobserveerde Confounding: Door ADMG's te gebruiken, voorspelt het model expliciet niet-geobserveerde confounding variabelen, wat een beperking wegneemt bij bestaande deep learning causale structuur-leermethoden.
Graaf-geconditioneerde Inferentie: Het model maakt gebruik van bekende graafstructuren wanneer deze beschikbaar zijn om de voorspellingsnauwkeurigheid te verbeteren, terwijl het robuust blijft wanneer de graaf onbekend is.
Efficiëntieverbeteringen: De verfijnde trainingsprocedure en architecturale wijzigingen resulteren in bijna 4x snellere trainingsconvergentie vergeleken met eerdere baselines.

Experimentele Resultaten

Het model is geëvalueerd op synthetische datasets (zowel in-distribution als out-of-distribution) en real-world datasets (Amazon Sales en Law School Admissions).

Uitkomstvoorspelling:
- Op synthetische Out-of-Distribution (OOD) SEM's behaalde TabPFN-CFM een lagere Mean Squared Error (MSE) dan gevestigde meta-learners (S-, T-, X-, DR-learners) en Do-PFN in interventionele en contrafactuele settings.
- In de Law School Admissions dataset verbeterde het model de nauwkeurigheid in contrafactuele settings aanzienlijk door gebruik te maken van contrafactuele informatie, waarmee het baselines overtrof die dergelijke voorspellingen niet kunnen doen.
Structuurvoorspelling:
- TabPFN-CFM presteerde beter dan sterke baselines (FCI, GES, LiNGAM, PC, AVICI) in het voorspellen van adjacency, ancestral en confounding matrices.
- Specifiek op OOD synthetische data behaalde TabPFN-CFM een AUROC van 0,889 voor adjacency en 0,828 voor confounding matrices, wat significant hoger is dan de op één na beste performer (AVICI met respectievelijk 0,623 en 0,563).
Graaf-conditionering: Het verstrekken van de ware graafstructuur als input verbeterde de prestaties in interventionele en contrafactuele settings, maar had een verwaarloosbare impact op observationele voorspellingen, wat consistent is met de causale theorie.

Betekenis

Het artikel stelt dat TabPFN-CFM een stap voorwaarts vertegenwoordigt in het verenigen van causale inferentie-taken. Door een enkel model te trainen op een diverse prior van causale systemen, demonstreert de aanpak dat foundation modellen kunnen generaliseren naar real-world causale problemen zonder te overfitten op specifieke prior-verdelingen. Het vermogen om met niet-geobserveerde confounding om te gaan en contrafactuele queries te ondersteunen, suggereert een pad naar robuustere causaal redeneren in machine learning. De auteurs merken op dat hoewel het huidige werk zich richt op acyclische structuren, toekomstige uitbreidingen tijdreeksen en cyclische causale settings kunnen adresseren.