📊 statistics

DAG-FM: A Foundation Model for Causal Discovery under Heterogeneous Causal Mechanisms

Dit artikel introduceert DAG-FM, een nieuw fundamenteel model dat een twee-fasen autoregressieve Transformer-architectuur met een Mixture-of-Leaf-Experts-mechanisme benut om state-of-the-art prestaties te behalen bij causale ontdekking op heterogene en hoogdimensionale tabelgegevens.

Oorspronkelijke auteurs: Yikang Chen, Zhengkang Guan, Haoyuan Qian, Peng Cui, Yi Yang, Kun Kuang

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yikang Chen, Zhengkang Guan, Haoyuan Qian, Peng Cui, Yi Yang, Kun Kuang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: wie veroorzaakt wat? Je hebt een gigantische spreadsheet vol aanwijzingen (data), maar de regels van het spel zijn lastig. Soms volgen de aanwijzingen strikte, voorspelbare wetten; andere keren veranderen de wetten van de ene aanwijzing naar de volgende. Dit is de wereld van causale ontdekking (causal discovery), en een lange tijd waren de instrumenten die detectives gebruikten alsof ze een Rubik's Cube probeerden op te lossen terwijl ze met blinddoek en handschoenen aan werkten. Ze bleven ofwel steken op eenvoudige puzzels, of ze gingen kapot wanneer de regels rommelig werden.

Maak kennis met DAG-FM, een nieuw soort "super-detective" foundation model. Zie het niet als een enkel, rigide regelboek, maar als een meesterkok met een enorme, magische keuken.

De Oude Manier vs. De Nieuwe Chef

Voorheen probeerden detectives de hele kaart van verbindingen (wie veroorzaakt wie) in één keer te raden. Het was alsof je in één keer een hele stadsplattegrond probeerde te tekenen. Als de stad vreemde, door elkaar lopende verkeersregels had (heterogene mechanismen), liep de kaart meestal een puinhoop. Sommige oude methoden waren als specialisten die alleen wisten hoe ze op rechte, vlakke snelwegen moesten rijden (Lineaire Niet-Gaussiaanse modellen). Als de weg veranderde in een hobbelig zandpad of een kronkelend bergpad, raakten deze specialisten verdwaald.

DAG-FM verandert het spel. In plaats van de hele kaart in één keer te tekenen, speelt het een spel van "omgekeerde schattenjacht". Het werkt in twee stappen:

Vind de Bladeren: Het kijkt naar de data en vraagt: "Wie staat er aan het einde van de keten? Wie veroorzaakt niemand anders?" Het pelt de laatste persoon in de rij eraf.
Vind de Ouders: Zodra het weet wie het "blad" is, vraagt het: "Wie trok er aan diens touwtjes?" Het vindt de ouders van dat blad.

Het herhaalt dit proces, waarbij het de lagen van de ui afpelt totdat de hele structuur onthuld is. Dit is veel slimmer dan het hele plaatje in één keer proberen te raden.

Het Magische Ingrediënt: De "Mixture of Experts"

Hier wordt DAG-FM echt interessant. In de echte wereld zijn de regels van oorzaak en gevolg niet overal hetzelfde. Soms werkt een oorzaak als een eenvoudige wiskundige vergelijking; andere keren is het een complexe, golvende functie.

DAG-FM gebruikt een team van specialisten binnen zijn brein, genaamd Mixture-of-Leaf-Experts (MoLE). Stel je een kamer voor vol verschillende detectives: één is geweldig in het oplossen van lineaire puzzels, een ander is goed in het herkennen van ruispatronen, een derde in het afhandelen van vreemde krommingen. Wanneer DAG-FM naar een stuk data kijkt, gokt het niet zomaar; het vraagt: "Welke detective is het beste geschikt voor deze specifieke aanwijzing?" Het stuurt het probleem dynamisch naar de juiste expert. Hierdoor kan het een chaotische mix van regels aan die oudere, eenduidige detectives in de war zouden brengen.

De Trainingsgrond: Een Synthetische Speelplaats

Voordat DAG-FM de echte wereldse mysteries kon aanpakken, moesten de auteurs het trainen. Ze voerden het niet alleen echte data; ze bouwden een enorme, virtuele speelplaats. Ze genereerden miljoenen nepscenario's met willekeurige grafen en willekeurige ruis, waarbij ze verschillende soorten causale regels (zoals Lineair, Additieve Ruis en Post-Nietlineair) met elkaar mengden en combineerden.

Cruciaal was dat ze deze speelplaats ontwierpen met een specifiek vangnet. Ze bewezen wiskundig dat als het model wordt getraind op deze specifieke mix van regels, het in staat zal zijn om het ware antwoord te vinden, zelfs als de data rommelig is. Het is als het trainen van een piloot in een simulator die elke mogelijke storm en motorstoring bevat, zodat de piloot precies weet wat hij moet doen wanneer hij een echt vliegtuig bestuurt.

De Resultaten: Snelheid en Slimheid

Toen de auteurs DAG-FM testten, waren de resulten indrukwekkend.

Op Nepdata: In simulaties met 100 verschillende soorten gemengde regels versloeg DAG-FM bijna alle andere methoden. Het kreeg de verbindingen vaker goed (hogere precisie en recall) en maakte minder fouten (lagere foutmarges) dan de ouderwetse algoritmen en zelfs andere nieuwe AI-modellen.
Op Echte Data: Ze testten het op echte datasets, zoals een eiwit-signaleringsnetwerk met 7.466 monsters en 11 variabelen, en een fysisch systeem met 10.000 monsters en 38 variabelen. Terwijl veel andere methoden crashten (geheugen tekort kwamen) of opgaven, ging DAG-FM gewoon door. Het vond de beste kaarten in deze tests en presteerde beter dan traditionele tools die worstelden met de omvang of complexiteit van de data.
Efficiëntie: Het is ook ongelooflijk efficiënt. Het kan datasets aan met tot wel 50.000 monsters of 500 variabelen op een standaardcomputer met 24GB videogeheugen, zonder dat er speciale trucjes nodig zijn om het te vertragen.

Wat het (nog) niet kan

Het is belangrijk om te weten wat deze super-detective niet kan doen. De paper stelt expliciet dat DAG-FM ervan uitgaat dat het alle aanwijzingen heeft (geen verborgen confounders). Als er geheime variabelen zijn die de data beïnvloeden maar die het model niet kan zien, kan de methode in de war raken. De auteurs merken ook op dat hoewel het model uitstekend werkt op de regels waarop het getraind is, het nog steeds wordt getest op volledig nieuwe, onbekende vormen van chaos.

De Kern van het Verhaal

DAG-FM is geen toverstaf die elk mysterie direct oplost, maar het is een enorme sprong voorwaarts. Door het probleem op te splitsen in kleinere, beheersbare stappen en een team van gespecialiseerde experts te gebruiken om verschillende soorten regels af te handelen, slaagt het erin de ware oorzaak-gevolgkaart te vinden in situaties waar eerdere instrumenten faalden. Het suggereert dat AI, met de juiste training en architectuur, eindelijk de weg kan vinden door de rommelige, verwarrende realiteit van hoe de wereld werkelijk werkt.

Technische Samenvatting: DAG-FM

Probleemstelling

Causale ontdekking uit observationele tabelgegevens staat voor twee fundamentele uitdagingen: de heterogeniteit van onderliggende causale mechanismen en de hoogdimensionale combinatorische zoekruimte van Directed Acyclic Graphs (DAGs). Traditionele methoden, inclusief constraint-gebaseerde, score-gebaseerde en optimalisatie-gebaseerde benaderingen, hebben vaak moeite zonder sterke aannames. Specifiek hebben methoden gebaseerd op Functionele Causale Modellen (FCM) doorgaans de aanname van homogene causale mechanismen (bijv. alle relaties zijn lineair of alle zijn additieve ruis), wat de generaliseerbaarheid naar real-world scenario's waar mechanismen variëren per variabele beperkt. Daarentegen missen opkomende geamortiseerde (foundation) modellen vaak theoretische garanties voor het produceren van strikt identificeerbare DAGs en falen ze frequent in het afhandelen van heterogene mechanismen, omdat hun prestaties sterk gevoelig zijn voor het ontwerp van de prior-ruimte die gebruikt wordt voor pre-training.

Methodologie

Het artikel stelt DAG-FM voor, een foundation model architectuur ontworpen om causale ontdekking te amorteren, terwijl het intrinsiek garandeert dat de output een unieke, identificeerbare DAG is uit observationele data.

1. Theoretische Fundering: Heterogene Identificeerbaarheid

De auteurs stellen een ontwerpconditie vast voor de prior-ruimte die toestaat dat er sprake is van heterogene causale mechanismen. In tegenstelling tot traditionele FCM-benaderingen die één enkel mechanisme type afdwingen, staat de prior-ruimte van DAG-FM toe dat een Structureel Causaal Model (SCM) een composietmengsel is van vier verschillende mechanisme-families:

LiNGAM: Lineaire relaties met niet-Gaussische ruis.
ANM: Niet-lineaire relaties met additieve ruis.
HNM: Heteroscedastische ruismodellen.
PNL: Post-niet-lineaire modellen.

Theoretische resultaten (Theorema 4.4 en 4.5) tonen aan dat onder deze condities (uitgaande van causale sufficiëntie en trouw/faithfulness), de ware DAG bijna zeker identificeerbaar is vanuit de observationele distributie. Dit zorgt ervoor dat het geamortiseerde model convergeert naar een unieke grondwaarheid-DAG naarmate de steekproefomvang toeneemt.

2. Architectuur: Gedecodeerde Voorspelling

Om de schaalbaarheidsproblemen aan te pakken van het direct voorspellen van adjacency matrices (die kwadratisch schalen en geen DAG-restricties hebben), deelt DAG-FM het ontdekkingsproces op in twee sequentiële, auto-regressieve stadia met behulp van gespecialiseerde Transformer-gebaseerde sub-modules:

Leaf-Node Predictor ( $Q_{\theta_1}$ ): Identificeert de causale ordening door recursief blad-nodes (nodes zonder kinderen) te voorspellen in de huidige sub-graaf.
Parent-Node Predictor ( $Q_{\theta_2}$ ): Gegeven een bevestigde blad-node, identificeert deze module de ouders van de node, waardoor de graaf effectief wordt gepruned naar een boven-triangulaire structuur op basis van de vastgestelde ordening.

3. Mixture-of-Leaf-Experts (MoLE)

Om de diverse mechanisme-families binnen de prior-ruimte te behandelen, integreert de leaf-voorspellingskop een Mixture-of-Leaf-Experts (MoLE) framework.

Het model maakt gebruik van $m+1$ bilineaire koppen, die elk overeenkomen met een specifieke mechanisme-familie (plus een algemene mechanisme-expert en een dummy-expert).
Een top-k router selecteert dynamisch de passende expert op basis van de input-data kenmerken.
Dit ontwerp stelt het model in staat om zich dynamisch aan te passen aan identificeerbare mechanisme-families, waardoor de kloof tussen de theoretische FCM-aannames en praktische data-heterogeniteit wordt overbrugd.

4. Constructie van de Prior-ruimte

Het model wordt vooraf getraind op een grootschalige synthetische dataset gegenereerd uit een prior-ruimte $\Phi$ die de volgende bevat:

Random Grafen: Erdős–Rényi, Barabási–Albert, en Watts–Strogatz modellen met variërende dichtheden.
Random Mechanismen: Een diverse bibliotheek van functies (MLP's, GP's, Random Forests, etc.) gesampled uit de vier gedefinieerde families.
Random Ruis: Een uitgebreide bibliotheek van distributies (Normaal, Laplace, Student's t, etc.) met gecontroleerde Signal-to-Noise Ratios (SNR).
Data Augmentatie: Niet-lineaire warping en discretisering om real-world data kenmerken te simuleren, terwijl strikte distributie-normalisatie wordt afgedwongen om spuriële statistische artefacten te voorkomen.

5. Inferentie

Inferentie wordt iteratief uitgevoerd (Algoritme 1). Het model identificeert herhaaldelijk een blad-node, bepaalt de ouders van deze node, verwijdert de node uit de set, en werkt de causale ordening bij totdat alle variabelen zijn verwerkt. Dit proces garandeert een geldige DAG-structuur zonder post-hoc cycluscorrectie.

Belangrijkste Bijdragen

Theoretische Garantie: Het artikel biedt een ontwerpconditie voor de prior-ruimte die heterogene causale mechanismen ondersteunt en tegelijkertijd theoretisch garandeert dat het geamortiseerde model convergeert naar een unieke, identificeerbare DAG.
DAG-FM Architectuur: De ontwikkeling van een foundation model dat de DAG-identificatie ontkoppelt in leaf-node en parent-node voorspellingstaken, gebruikmakend van Transformer-gebaseerde sub-modules en het MoLE-framework om mechanisme-heterogeniteit te behandelen.
Empirische Prestaties: Uitgebreide experimenten tonen aan dat DAG-FM state-of-the-art prestaties bereikt op zowel synthetische benchmarks met heterogene mechanismen als complexe real-world datasets, waarbij het traditionele algoritmen en recente foundation modellen aanzienlijk overtreft in nauwkeurigheid en schaalbaarheid.

Experimentele Resultaten

Synthetische Benchmarks: Op datasets met $n=1000$ samples en $d=20$ variabelen met heterogene mechanismen, behaalde DAG-FM de hoogste F1-score (0.64) en de laagste genormaliseerde Structural Hamming Distance (nSHD) (0.19), waarmee het baselines zoals Direct-LiNGAM, AVICI en TabCausal overtrof.
Homogene Subruimtes: Zelfs in strikt homogene settings (bijv. pure LiNGAM), bleef DAG-FM competitief met een Order Divergence Rate (ODR) van 0.12, vergelijkbaar met gespecialiseerde algoritmen.
Real-World Benchmarks:
- Sachs Dataset (Proteïne signalering): DAG-FM behaalde een F1 van 0.53 en een nSHD van 0.25, wat aanzienlijk beter is dan alle andere methoden (bijv. FoundCause: F1 0.33; GES: F1 0.31).
- Causal Chamber: DAG-FM behaalde een F1 van 0.53 en een nSHD van 0.14, waarmee het alle baselines overtrof.
Schaalbaarheid: DAG-FM demonstreerde robuuste schaalbaarheid en kon tot 50.000 samples of 500 variabelen aan binnen een 24GB VRAM-beperking, terwijl veel baselines (bijv. AVICI, CauScale) out-of-memory fouten tegenkwamen op grote datasets.
Robuustheid: Het model toonde veerkracht tegen variërende graaf-dichtheden, data warping en discretisering, en behield sterke prestaties in Out-of-Distribution (OOD) scenario's met onbekende graaf-structuren, mechanismen en ruis-distributies.

Betekenis

Het artikel beweert dat DAG-FM een significante vooruitgang vertegenwoordigt door de theoretische garanties van FCM-gebaseerde identificeerbaarheid te integreren met de schaalbaarheid van geamortiseerde foundation modellen. Door af te stappen van directe adjacency matrix voorspelling en in plaats daarvan de taak te deconstrueren in sequentiële, theoretisch gefundeerde sub-taken, overwint DAG-FM de beperkingen van zowel traditionele methoden (gebrek aan generaliseerbaarheid naar heterogene mechanismen) als bestaande geamortiseerde benaderingen (gebrek aan structurele garanties en gevoeligheid voor prior-ontwerp). Het werk vestigt een nieuw paradigma voor causale ontdekking dat zowel theoretisch rigoureus als praktisch toepasbaar is voor hoogdimensionale, real-world data.