📊 statistics

CDFM: Towards a General-Purpose Causal Discovery Foundation Model

Dit artikel introduceert het Causal Discovery Foundation Model (CDFM), een verenigd, algemeen bruikbaar raamwerk dat een principieel variationeel benadering en massale pretraining op synthetische causale modellen aanwendt om zero-shot structurele inferentie te bereiken, waardoor de schaalbaarheidsbeperkingen van traditionele dataset-specifieke causale ontdekkingsalgoritmen worden overwonnen.

Oorspronkelijke auteurs: Jie Qiao, Ruichu Cai, Zijian Li, Weilin Chen, Pengfei Hua, Boyan Xu, Zhengming Chen, Zhifeng Hao, Peng Cui

Gepubliceerd 2026-07-14

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jie Qiao, Ruichu Cai, Zijian Li, Weilin Chen, Pengfei Hua, Boyan Xu, Zhengming Chen, Zhifeng Hao, Peng Cui

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: Wie veroorzaakte wat? Je hebt een stapel aanwijzingen (data) die laten zien hoe verschillende dingen samenhingen, maar je hebt geen getuige die het verhaal vertelt. Decennialang moesten detectives voor elke specifieke zaak een specifiek "regelboek" kiezen. Eén regelboek zei: "Ga ervan uit dat alles een rechte lijn is!" Een ander zei: "Ga ervan uit dat de ruis vreemd en hobbelig is!" Als je het verkeerde regelboek voor de verkeerde zaak koos, was je oplossing waardeloos.

Dit artikel introduceert een nieuw soort detective: CDFM (Causal Discovery Foundation Model). In plaats van een regelboek te kiezen, is CDFM als een superintelligente leerling die elk mogelijk regelboek in het universum heeft gelezen voordat hij ooit een echte zaak heeft gezien.

De Oude Manier vs. De Nieuwe Manier

De Oude Manier (De strijd met de "test-gestuurde" aanpak):
Stel je voor dat je een rommelige kamer hebt (je data). De oude methode zegt: "Is de rommel veroorzaakt door een tornado? Laten we controleren of de wind niet-Gaussiaans was! Wordt het veroorzaakt door een kat? Laten we controleren of de ruis additief is!" Je moet een dozijn verschillende tests uitvoeren, raden welke past, en als je het fout raadt, begin je opnieuw. Het is traag, gefragmenteerd en het breeluurt wanneer de kamer te rommelig of vreemd is.

De Nieuwe Manier (CDFM):
CDFM slaat het gokspel over. Het kijkt naar de rommelige kamer en zegt: "Ik heb miljoenen kamers zoals deze gezien tijdens mijn training." Het heeft niet van jou nodig om te vertellen of de data lineair of niet-lineair is. Het kijkt gewoon naar de patronen en tekent de kaart van wie wat veroorzaakte. Het is een "zero-shot" detective, wat betekent dat het een gloednieuw type mysterie kan oplossen zonder dat het eerst opnieuw getraind hoeft te worden.

Hoe heeft het zoveel geleerd? (De "Synthetische Speelplaats")

Je vraagt je misschien af: "Hoe kan een computer alles weten over oorzaak en gevolg?" De auteurs voedden het niet met echte wereldgegevens (die zijn vaak rommelig en hebben vaak ontbrekende antwoorden). In plaats daarvan bouwden ze een massieve, oneindige videogame.

In deze game genereerden ze 15 verschillende families van nepwerelden. Sommige werelden hadden regels met rechte lijnen, sommige hadden wilde, gebogen regels, sommige hadden verborgen "geest"-variabelen die op de achtergrond de touwtjes trokken, en sommige hadden ontbrekende stukjes data. Ze creëerden 10 verschillende groottes voor deze werelden, variërend van kleine puzzels met 10 variabelen tot enorme structuren met 100 variabelen. Ze varieerden ook het aantal aanwijzingen, van 500 tot wel 4.000 observaties.

CDFM speelde lang in deze videogame en leerde de "voetafdrukken" van verschillende oorzaken te herkennen. Het leerde dat als een patroon eruitziet als een specifiek type ruis, het waarschijnlijk één soort oorzaak is; als het eruitziet als een andere, is het een andere soort.

De Magische Truk: "Variational Inference"

Hier zit de slimme kant. De auteurs beargumenteren dat je niet zomaar kunt gokken; je moet wiskundig bewijzen dat jouw gok de enige is die past. De auteurs gebruikten een wiskundige truc genaamd variational inference.

Denk hierover na als: CDFM zegt niet alleen: "Ik denk dat A de oorzaak is van B." Het zegt: "Ik ga elke mogelijke manier voorstellen waarop A de oorzaak van B zou kunnen zijn, ik weeg ze allemaal af, en kies de manier die het meeste zin maakt bij de data." Het behandelt de "regels" van de wereld als verborgen variabelen die het probeert te ontdekken terwijl het de structuur probeert te begrijpen. Dit zorgt ervoor dat als de wiskunde zegt dat een richting onmogelijk is, CDFM het niet zal raden.

Heeft het echt gewerkt? (Het Bewijs)

De auteurs zeiden niet alleen: "Het ziet er cool uit." Ze zetten het op drie manieren op de proef:

De Synthetische Gauntlet: Ze gooiden CDFM naar de 15 verschillende soorten nepwerelden die het niet had gezien tijdens de uiteindelijke testfase.
- Het Resultaat: CDFM won. In een test met 4.000 monsters behaalde het een AUROC van 0,888 (een maatstaf voor nauwkeurigheid waarbij 1,0 perfect is). De op één na beste methode, TabCausal, haalde slechts 0,786. Zelfs toen de puzzel enorm werd (100 variabelen), bleef CDFM sterk met een AUROC boven de 0,87, terwijl anderen instortten.
- De Les: Dit suggereert dat CDFM een breed scala aan rommelige, echt wereld-achtige situaties kan afhandelen zonder een specifiek regelboek nodig te hebben.
De Test in de Echte Wereld: Ze probeerden het op echte data, zoals een fysiek systeem genaamd Causal Chamber (waar lichttunnels en sensoren echte fysica creëren) en de Tübingen benchmark (echte wereldparen zoals "lengte veroorzaakt gewicht").
- Het Resultaat: Op de Causal Chamber Task A1 behaalde CDFM een AUROC van 0,952, waarmee het de op één na beste (TabCausal met 0,930) versloeg. Op de Tübingen benchmark behaalde het 67,1% nauwkeurigheid, waarmee het de vorige beste van 63,8% versloeg.
- De Les: De vaardigheden die in de videogame zijn geleerd, zijn daadwerkelijk overdraagbaar naar het echte leven.
De "Eerlijkheidscheck": De auteurs wilden zeker weten dat CDFM niet blindelings aan het gokken was. Ze testten het op situaties waarin, wiskundig gezien, niemand het antwoord kan weten (zoals wanneer twee dingen perfect symmetrisch zijn).
- Het Resultaat: Wanneer de wiskunde zegt "het is onmogelijk om het te weten", daalde de nauwkeurigheid van CDFM naar 0,5 (wat neerkomt op gokken als bij een muntje opwerpen). Wanneer de wiskunde zegt "het is mogelijk", schoot de nauwkeurigheid omhoog naar 1,0.
- De Les: Dit suggereert dat CDFM de wetten van de logica respecteert. Het weet wanneer het het antwoord niet zou moeten weten.

Wat het niet kan doen (De Regels)

Het papier is heel duidelijk over wat CDFM niet is.

Het is geen toverstaf die de noodzaak van aannames wegneemt. Het artikel stelt expliciet dat je wel causale aannames moet hebben; CDFM leert simpelweg een breed spectrum van deze aannames in plaats van slechts één enkele aanname.
Het is niet perfect in alles. In zeer specifieke, eenvoudige gevallen (zoals een perfect lineaire wereld met niet-Gaussiaanse ruis), kunnen oudere, gespecialiseerde tools zoals DirectLiNGAM nog steeds iets beter presteren. CDFM is een "generalist", geen "specialist" voor één klein nichegebied.
De resultaten op echte wereldgegevens zijn gemeten op specifieke benchmarks (Causal Chamber, Tübingen). Het artikel beweert niet dat het de causale ontdekking voor elk probleem in het universum heeft opgelost, alleen dat het opvallend goed werkt over een enorme reeks problemen.

De Bonus: Het Ontbrekende Puzzelstukje

Als bijeffect van de training is CDFM ook erg goed geworden in het invullen van ontbrekende puzzelstukjes. Als je het een dataset geeft met gaten, kan het raden wat de ontbrekende getallen waren. In tests versloeg het standaardmethoden zoals Mean of KNN imputatie, waarbij het een Mean Absolute Error (MAE) van 0,452 behaalde voor continue data en 0,717 voor discrete data.

De Kern van het Verhaal

Dit artikel suggereert een grote verschuiving: in plaats van voor elk nieuw type data een nieuwe, gespecialiseerde tool te bouwen, kunnen we misschien één gigantisch, vooraf getraind brein bou hersen bouwen dat de taal van oorzaak en gevolg begrijpt. Het is geen opgeloste kwestie voor elk mysterie in de wereld, maar het is een enorme stap richting een detective die elke kamer kan binnenlopen, naar de aanwijzingen kan kijken en kan zeggen: "Dit heb ik eerder gezien. Hier is de kaart."

Technische Samenvatting: CDFM: Naar een General-Purpose Causal Discovery Foundation Model

Probleemstelling

Causale ontdekking (causal discovery), het proces van het herstellen van onderliggende causale structuren uit observationele data, leunt traditioneel op een gefragmenteerd, testgestuurd paradigma. Bestaande algoritmen zijn minutieus ontworpen voor specifieke causale mechanismen (bijv. lineaire niet-Gaussianiteit, additieve ruis of specifieke onafhankelijkheidsrestricties). Bijgevolg blinken deze methoden alleen uit wanneer hun onderliggende aannames strikt standhouden. In real-world scenario's die worden gekenmerkt door heterogene data en onbekende genererende processen, worden praktici geconfronteerd met een uitputtende lus van handmatige algoritme-selectie, verificatie van aannames en herwaardering van statistische toetsen. Deze datasetspecifieke aanpak slaagt er niet in om te schalen naar de eisen van moderne wetenschappelijke ontdekking en heeft moeite om te generaliseren over diverse, onbekende causale mechanismen.

Methodologie

De auteurs stellen de Causal Discovery Foundation Model (CDFM) voor, een verenigd framework dat is ontworpen voor zero-shot structurele inferentie over heterogene en initieel onbekende causale mechanismen. De methodologie is geworteld in een principieel variationeel framework dat de brug slaat tussen causale identificeerbaarheidstheorie en deep learning architectuurontwerp.

1. Theoretische Fundering: Variationele Decompositie

Het kerninzicht van de theoretische fundering is dat causale ontdekking onder onbekende mechanismen een Bayesiaans modelselectieprobleem is. Omdat het ware causale mechanisme $M^*$ onbekend is, moet het model marginaliseren over een enorme hypotheseruimte van mechanismen $\mathcal{M}$ .

Identificeerbaarheidsgrenzen: Het artikel stelt vast dat zonder restricties de causale richting wiskundig onmogelijk te identificeren is (Theorem 1). Echter, als de ruimte van mechanismen $\mathcal{M}$ een eigenschap van "strict space identifiability" bezit, identificeert de exacte marginale waarschijnlijkheid uniek de ware graaf (Theorem 3).
Variationele Inferentie: Het direct berekenen van de marginale waarschijnlijkheid is onhandelbaar. CDFM formuleert het probleem middels variationele inferentie door een geparametriseerde distributie $Q(M|X)$ $Q (M ∣ X)$ te introduceren om de posterior over mechanismen te benaderen. Dit levert een Evidence Lower Bound (ELBO) op die het leerdoel deelt in drie handelbare componenten:
1. Mechanisme-inferentie: $Q(M|X)$ , het extraheren van statistische voetafdrukken (ruiseigenschappen, niet-lineariteiten) om latente mechanisme-encodings af te leiden.
2. Data-reconstructie: $\log P(X|G, M)$ , wat ervoor zorgt dat het geïnferred mechanisme en de graaf de geobserveerde data verklaren (self-supervised signaal).
3. Graaf-inferentie: $\log P(G|M)$ , het decoderen van de structurele graaf geconditioneerd op het gecodeerde mechanisme.

2. Architectuurontwerp

De architectuur van CDFM weerspiegelt expliciet de variationele decompositie:

Column-Wise Embedding & Alternating Attention: Inputdata (waarbij ontbrekende waarden worden afgehandeld via een binaire indicator-channel) wordt geëmbed via een Set Transformer om marginale distributies te vangen. Een stapel van alternerende rij- en kolom-gewijze attention-blokken integreert gezamenlijke afhankelijkheden om de latente mechanisme-distributie $Q(M|X)$ te parametriseren.
Data-reconstructie (Imputatie): Een residual block voorspelt conditionele kwantielwaarden voor gemaskeerde entries. Dit dient als een self-supervised taak om de data-reconstructie term te voldoen. Een "soft causal mask" wordt gebruikt tijdens de attention, waarbij informatievloei van niet-causale variabelen wordt bestraft op basis van huidige randgewicht-hypothesen, wat een ongesuperviseerde innerlijke lus creëert voor structuurverfijning.
Graaf-inferentie: Induced self-attention extraheert "oorzaak" en "gevolg" samenvattingsvectoren voor elke variabele. Een Mixture-of-Experts (MoE) bilinear head decodeert deze vectoren naar edge logits, wat van nature gerichte randen en bidirectionele randen (voor latente confounding) accommodeert. Een lichtgewicht graph-adaptive threshold calibrator zet continue waarschijnlijkheden om in een binaire graaf.

3. Pretraining Strategie

CDFM wordt voorgetraind op een massieve, zeer diverse ruimte van synthetische Structurele Causale Modellen (SCMs). De datagenerator omvat:

Graafstructuren: Zes willekeurige graafmodellen (ER, Scale-Free, WS, SBM, etc.) met variërende sparsiteit en groottes ( $D \in [2, 100]$ ).
Mechanisme-diversiteit: Lineaire en niet-lineaire modellen (Additive Noise, Post-Nonlinear, Random Fourier Features), discrete en gemengde type mechanismen, en natuurkundig geïnspireerde modellen.
Ruis & Confounding: Diverse ruisverdelingen (Gaussian, Laplace, Cauchy, etc.), heteroscedasticiteit en latente confounding (15% van de batches).
Realisme: Gesimuleerde meetfouten, discretisatie en willekeurige ontbrekende waarden (MCAR).

Belangrijkste Bijdragen

Paradigmaverschuiving: Formuleert causale ontdekking als een general-purpose foundation model taak, waarbij de focus verschuift van gespecialiseerde algoritme-selectie naar een verenigde inferentie-aanpak die in staat is tot zero-shot structurele inferentie.
Principieel Framework: Verenigen foundation models en structurele identificeerbaarheid via een variationeel framework, waarbij onbekende mechanismen als latente variabelen worden behandeld om het marginalisatieprobleem te vertalen naar een handelbaar leerdoel.
Architectuurontwerp: Ontwerpt CDFM zodat mechanisme-encoding, structuur-bewuste reconstructie en graaf-decoding aansluiten bij de theoretische decompositie, wat robuuste inferentie direct uit observationele data mogelijk maakt.
Grootschalige Pretraining: Introduceert een uitgebreid pretraining regime gedreven door diverse causale kennis, waarbij een massieve hypotheseruimte wordt gesynthetiseerd om complexe statistische asymmetrieën te internaliseren.

Experimentele Resultaten

De auteurs evalueren CDFM over synthetische benchmarks, real-world datasets en gecontroleerde identificeerbaarheidsstudies.

Synthetische Benchmarks: CDFM presteert consequent beter dan traditionele algoritmen (PC, GES, DirectLiNGAM, NOTEARS) en geamortiseerde baselines (AVICI, TabCausal, Arrow) over 15 verschillende mechanisme-families en variërende graafgroottes ( $D \in [10, 100]$ ) en steekproefgroottes ( $N \in [500, 4000]$ ). Het behaalt superieure AUROC en F1-scores, wat een stabiele prestatie aantoont naarmate de probleemomvang toeneemt.
Real-World Benchmarks:
- Causal Chamber: Op fysieke multivariate systemen (Taken A1 en A2) behaalt CDFM een hoge AUROC (0.952 en 0.965), waarmee het alle baselines overtreft en transferabiliteit van synthetisch naar fysieke systemen aantoont.
- Tübingen Benchmark: Op 95 bivariante oorzaak-gevolg paren behaalt CDFM een nauwkeurigheid van 67,1%, waarmee het andere state-of-the-art methoden overtreft.
Validatie van Identificeerbaarheid: Gecontroleerde experimenten bevestigen dat CDFM zich houdt aan de theoretische identificeerbaarheidsgrenzen. Het identificeert correct causale richtingen wanneer functionele asymmetrie (niet-lineariteit/niet-Gaussianiteit) of V-structuren aanwezig zijn, en keert terug naar prestaties op niveau van toeval (nauwkeurigheid $\approx$ 0.5) in niet-identificeerbare regimes (bijv. lineaire Gaussian modellen).
Imputatie van Ontbrekende Waarden: Als bijproduct van de reconstructie-objective behaalt de imputatie-head van CDFM state-of-the-art prestaties op zowel continue als discrete data met ontbrekende waarden, waarbij het klassieke methoden zoals MissForest en MICE overtreft.

Betekenis en Claims

Het artikel claimt dat CDFM een belangrijke stap vormt naar een general-purpose causal discovery engine. Door de bottleneck te verschuiven van handmatige algoritme-selectie naar de schaalbare generatie van diverse, identificeerbare synthetische data, internaliseert CDFM complexe causale asymmetrieën die het in staat stellen te generaliseren over onbekende genererende processen.

De auteurs benadrukken dat het model de noodzaak voor causale aannames niet wegneemt, maar juist leert deze te adopteren over een breed spectrum van aannameklassen. Het werk suggereert een toekomstige richting waarbij causale modellen brede representaties leren over families van mechanismen, in plaats van te optimaliseren voor enkele, rigide aannames. De resultaten tonen aan dat een dergelijk foundation model een paradigmaverschuiving kan aandrijven, waarbij robuuste, zero-shot causale ontdekkingsmogelijkheden worden geboden die schalen met datavolume en heterogeniteit.