📊 statistics

FoundCause: Causal Discovery with Latent Confounders from Observational Data

FoundCause is een nieuw geamortiseerd causaal ontdekkingsmodel dat een transformer-architectuur met gespecialiseerde inductieve biases benut om direct causale grafen, inclusief latente confounders, af te leiden uit observationele data in een enkele forward pass, waarbij het zowel klassieke als bestaande geamortiseerde methoden overtreft op diverse real-world datasets.

Oorspronkelijke auteurs: Patrick Blöbaum, Krishnakumar Balasubramanian, Shiva Prasad Kasiviswanathan

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Patrick Blöbaum, Krishnakumar Balasubramanian, Shiva Prasad Kasiviswanathan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert uit te zoeken wie wat heeft veroorzaakt op een complexe plaats delict, maar je hebt alleen een stapel wazige surveillancefoto's (observationele data). Je kunt niet teruggaan om de misdaad opnieuw te laten gebeuren (interventies), en je vermoedt dat er onzichtbare meesterbreinen (latente confounders) zijn die achter de schermen de touwtjes in handen hebben.

Dit is de uitdaging van Causal Discovery (causale ontdekking). Het artikel introduceert een nieuw detectietool genaamd FoundCause.

Zo werkt FoundCause, uitgelegd aan de hand van alledaagse analogieën:

1. De "Trainingsmontage" (Amortized Inference)

De meeste ouderwetse detectives (traditionele algoritmen) proberen elke nieuwe zaak vanaf nul op te lossen. Ze besteden uren aan het analyseren van specifieke foto's, het uitvoeren van complexe wiskundige tests en het zoeken naar patronen. Dit is traag en faalt vaak als de zaak rommelig is.

FoundCause is anders. Het is als een detective die duizenden trainingsfilms (synthetische data) heeft bekeken voordat hij ooit een echte zaak heeft gezien.

De Analogie: In plaats van een puzzel stukje voor stukje op te lossen voor elke nieuwe puzzel, heeft FoundCause al geoefend op miljoenen nep-puzzels. Het heeft de algemene regels geleerd van hoe oorzaken en gevolgen eruitzien.
Het Resultaat: Wanneer je het een echte dataset geeft, hoeft het niet urenlang te "denken" of te rekenen. Het kijkt simpelweg naar de data en tekent direct (in één enkele forward pass) de kaart van wie wat heeft veroorzaakt. Het is alsoals het direct een gezicht in een menigte herkent omdat je dat type gezicht al een miljoen keer hebt gezien.

2. De "Twee-kanaals Visie" (Omgaan met ontbrekende data)

Echte wereld-data is vaak rommelig. Sommige surveillancecamera's zijn kapot, of sommige getuigen zijn niet komen opdagen (ontbrekende data).

De Analogie: Traditionele methoden proberen vaak de ontbrekende stukjes te "raden" door de gaten op te vullen met gemiddelden (zoals raden dat een ontbrekend puzzelstukje blauw is omdat de lucht blauw is). Dit leidt vaak tot verkeerde conclusies.
De Truc van FoundCause: Het heeft een speciaal "masker"-kanaal. Het kijkt niet alleen naar de cijfers; het kijkt ook naar waar de cijfers ontbreken. Het behandelt de "afwezigheid" zelf als een aanwijzing. Het is als een detective die weet dat de afwezigheid van een getuige in een specifieke kamer net zo belangrijk is als de getuige die er wel was.

3. De "Onzichtbare Poppenspeler" (Latente Confounders)

Soms gebeuren twee dingen tegelijkertijd, niet omdat het een het ander veroorzaakt, maar omdat een derde, onzichtbare factor beide veroorzaakt.

De Analogie: Stel je voor dat je ziet dat de "ijsverkoop" en "haaienaanvallen" samen omhoog gaan. Een slechte detective zou kunnen zeggen: "Ijs eten veroorzaakt haaienaanvallen." Een slimme detective weet dat er een verborgen factor is: Zomerse Hitte.
De Truc van FoundCause: Het heeft een speciaal module gewijd aan het vinden van deze onzichtbare "Zomerse Hitte". Het gebruikt leerbare "tokens" (als onzichtbare plaknotities) om verborgen gemeenschappelijke oorzaken te representeren. Het vraagt expliciet: "Is er een onzichtbare poppenspeler die de touwtjes in handen heeft voor deze twee variabelen?" Dit is een primeur voor dit type AI-model.

4. De "Gespecialiseerde Gereedschapskist" (Inductieve Biases)

FoundCause is niet zomaar een generiek brein; het is gebouwd met specifieke tools ontworpen voor causaliteit.

De "Asymmetrie"-sensor: Oorzaken en gevolgen zijn zelden symmetrisch. Als je een bal duwt, beweegt hij; als de bal beweegt, duwt hij jou niet noodzakelijkerwijs terug. FoundCause gebruikt klassieke statistische "asymmetrie"-maten (zoals controleren of de ruis in de data er anders uitziet afhankelijk van de richting waarin je kijkt) om de richting te bepalen.
De "Driehoek"-verfijner: Causaliteit gebeurt vaak in ketens (A veroorzaakt B, B veroorzaakt C) of V-vormen (A en B veroorzaken beiden C). FoundCause heeft een "driehoekige verfijningsstap". Het kijkt naar groepen van drie variabelen tegelijk om te zien of ze een keten of een vertakking vormen, wat helpt om onderscheid te maken tussen vergelijkbare patronen die andere methoden in de war brengen.

5. De "Gefactoreerde Decoder" (Scheiden van "Als" en "Welke Richting")

Bij het beslissen of twee variabelen met elkaar verbonden zijn, splitst FoundCause de beslissing in twee stappen:

Bestaan: "Zijn deze twee variabelen überhaupt verbonden?" (Symmetrische controle).
Richting: "Als ze verbonden zijn, wie is dan de baas?" (Asymmetrische controle).
Dit is als eerst vragen: "Hebben deze twee mensen met elkaar gepraat?" en daarna vragen: "Wie begon het gesprek?" in plaats van te proberen beide tegelijkertijd te beantwoorden.

De Resultaten: Waarom het ertoe doet

Het artikel testte FoundCause tegen 15 verschillende real-world datasets (variërend van medische dossiers tot microservice-logs) en vergeleek het met 11 klassieke methoden en 4 andere AI-methoden.

Snelheid: Het lost het probleem op in minder dan 2 seconden, terwijl klassieke methoden uren of zelfs dagen kunnen duren.
Nauwkeurigheid: Het kreeg de "richting" van de oorzaken vaker goed dan welke andere methode dan ook (een verbetering van bijna 10% in de F1-score).
Robuustheid: Het crashte niet of faalde niet op moeilijke, rommelige datasets waar andere methoden het opgeefden.
Generalisatie: Zelfs toen het werd getest op datasets met meer variabelen dan waarvoor het getraind was (zoals van een puzzel met 50 variabelen naar een puzzel met 100 variabelen gaan), stortte het niet in; het werd slechts iets minder precies, maar het bleef werken.

Samenvattend: FoundCause is een "superdetective" die heeft geleerd van miljoenen nepgevallen, weet hoe hij onzichtbare poppenspelers kan opsporen, kan omgaan met kapotte camera's en nieuwe mysteries direct oplost door de patronen toe te passen die het heeft geleerd, in plaats van voor elke nieuwe zaak het wiel opnieuw uit te vinden.

Technische Samenvatting: FoundCause

Probleemstelling

Causale ontdekking uit observationele data blijft een fundamentele uitdaging in machine learning en statistiek. De kern van de moeilijkheid ligt in het herstellen van gerichte causale structuren en het identificeren van latente confounding zonder toegang tot gecontroleerde interventies. Hoewel klassieke methoden (bijv. de constraint-gebaseerde PC, score-gebaseerde GES en continu optimalisatiebenaderingen zoals NOTEARS) goed onderbouwd zijn, lijden ze aan significante beperkingen: ze vereisen dure optimalisatie per dataset, zijn gevoelig voor hyperparameters en distributionele aannames, en slagen er vaak niet in te schalen naar hoogdimensionele of heterogene dataregimes. Bovendien is causale ontdekking over het algemeen niet identificeerbaar zonder sterke aannames (bijv. lineariteit, additieve ruis of trouw/faithfulness), die in de praktijk vaak worden geschonden.

Recente geamortiseerde benaderingen hebben geprobeerd de schaalbaarheid aan te pakken door modellen te trainen op synthetische data om datasets direct naar grafen te mappen. Echter, bestaande neurale methoden missen vaak expliciete incorporatie van domeinspecifieke causale inductieve biases, zoals asymmetrie in oorzaak-gevolgrelaties of hogere-orde structurele patronen (ketens, colliders), en falen vaak in het expliciet modelleren van latente confounding.

Methodologie: FoundCause

FoundCause is een geamortiseerd model voor causale ontdekking dat is ontworpen om observationele datasets direct naar causale grafen te mappen (zowel gerichte randen als latente confounding-matrices) in een enkele forward pass. Het model wordt volledig getraind op synthetische Structurele Causale Modellen (SCM's) en generaliseert naar real-world data zonder per-dataset afstemming.

Architectuur

De architectuur is een hybride ontwerp dat een permutatie-invariante transformer combineert met expliciete statistische inductieve biases:

Input Representatie: Het model accepteert een datamatrix $X \in \mathbb{R}^{N \times D}$ en een optionele binaire observatiemasker $M$ . Elke invoer wordt gerepresenteerd als een 2-kanaals vector die de genormaliseerde waarde en de observatiestatus bevat, wat ervoor zorgt dat het model van nature omgaat met ontbrekende data zonder imputatie.
As-gefactoriseerde Encoder: De kern-encoder maakt gebruik van een transformer met alternerende attention-blokken over samples ( $N$ $N$ ) en variabelen ( $D$ $D$ ).
- Variabele-Attention: Bevat leerbare globale tokens en een statistisch-geconditioneerde bias. Deze bias injecteert paarwijze statistische kenmerken afgeleid van klassieke asymmetrie-maten (bijv. correlatie, residu-variantie asymmetrie, V-structuur indicatoren) direct in het attention-mechanisme, waardoor het model naar bekende causale signalen wordt geleid.
- Sample-Attention: Aggregeert informatie over samples heen om distributionele eigenschappen te vangen.
Pooling (PMA): Een Pooling by Multihead Attention (PMA) mechanisme aggregeert sample-niveau embeddings naar per-variabele representaties, gecombineerd met max-pooling om hogere-orde distributionele eigenschappen zoals multimodaliteit te vangen.
Gefactoriseerde Edge Decoder: De prediction head scheidt de aanwezigheid van een edge van de richting van de edge:
- Existence Head: Gebruikt symmetrische kenmerken (som van embeddings, elementgewijze product en confounding scores) om te voorspellen of een edge bestaat.
- Direction Head: Gebruikt antisymmetrische kenmerken (verschil van embeddings en gated asymmetrische statistieken) om de oriëntatie te voorspellen.
Triangular Refinement: Geïnspireerd door AlphaFold2, voert een refinement-module $R$ rondes van updates uit over variabele-triples $(i, k, j)$ . Dit maakt redeneren over hogere-orde causale motieven (ketens, forks, colliders) mogelijk om Markov-equivalentieklassen op te lossen.
Confounder Module: Een toegewijde module gebruikt leerbare latente tokens om verborgen gemeenschappelijke oorzaken te modelleren. Het berekent paarwijze confounding-kansen via een noisy-OR aggregatie van variabele-token loadings, wat een symmetrische confounding-matrix $\hat{C}$ produceert.

Training en Loss

Het model wordt getraind op duizenden synthetische SCM's gegenereerd via DoWhy en custom generatoren, verspreid over diverse graaftopologieën, nietlineaire mechanismen en ruisverdelingen. Belangrijke trainingsstrategieën zijn onder meer:

Continue Regeneratie: Synthetische data wordt elke epoch geregenereerd om overfitting op een vaste corpus te voorkomen.
Anti-Shortcut Augmentatie: Willekeurige permutatie van variabele-indices en subpopulatie-mixing worden gebruikt om te voorkomen dat het model leunt op spurieuze correlaties (bijv. variabele-volgorde).
Loss Functie: De doelstelling combineert een class-balanced binary cross-entropy voor gerichte edges met verschillende hulptermen:
- Direction Calibration ( $L_{cal}$ ): Beperkt extreme logit-verschillen tussen tegengestelde richtingen.
- Skeleton Supervision ( $L_{skel}$ ): Biedt richting-onafhankelijke supervisie voor de adjacency.
- Confounder Loss ( $L_{conf}$ ): Superviseert de latente confounding-module.
- Sparsity en Regularisatie: Straf voor te dichte grafen en regularisatie voor pooling/gating mechanismen.

Belangrijkste Bijdragen

Expliciete Latente Confounding Modellering: FoundCause is de eerste geamortiseerde causale ontdekkingsbenadering die expliciet latente confounding modelleert met toegewijde leerbare tokens, waarbij zowel een gerichte acyclische graaf (DAG) als een symmetrische confounding-matrix wordt uitgegeven.
Statistische Inductieve Biases: In tegenstelling tot generieke neurale architecturen injecteert FoundCause klassieke paarwijze statistische kenmerken (asymmetrie, V-structuren) direct in het attention-mechanisme en het decoding-proces, waardoor de brug wordt geslagen tussen klassieke causale ontdekkingsprincipes en deep learning.
Triangular Refinement: De introductie van een driehoek-gebaseerde refinement-module stelt het model in staat om over hogere-orde causale motieven te redeneren, wat de resolutie van Markov-equivalente structuren verbetert.
Natuurlijke Omgang met Ontbrekende Data: De architectuur verwerkt van nature gemaskeerde inputs, waardoor de bias die wordt geïntroduceerd door imputatiemethoden gebruikt in klassieke baselines wordt vermeden.
Zero-Shot Generalisatie: Het model vertoont robuuste generalisatie naar variabele-aantallen ( $D$ ) en sample-groottes ( $N$ ) buiten zijn trainingsbereik ( $D \in [2, 50]$ ), waarbij de prestaties op datasets met tot $D=100$ behouden blijven.

Experimentele Resultaten

FoundCause werd geëvalueerd op 15 real-world en semi-realistische benchmarks (waaronder ASIA, CHILD, SACHS en PETSHOP) en de Tübingen oorzaak-gevolg paren benchmark.

Prestaties: FoundCause presteert beter dan 11 klassieke niet-geamortiseerde methoden (bijv. PC, GES, NOTEARS) en 4 geamortiseerde methoden (bijv. AVICI, CSIvA, SEA).
- Het bereikt een verbetering van +9,6% in F1 en +1,2% in AUROC ten opzichte van de sterkste niet-geamortiseerde methoden.
- Het vermindert de Structural Hamming Distance (SHD/d) met 18,9% ten opzichte van de beste klassieke baseline.
- Het is de enige methode die de hoogste rang bereikt op F1, AUROC en SHD/d, terwijl het succesvol de inferentie voltooit op alle 15/15 datasets (sommige klassieke methoden lopen vast of falen op dichte grafen).
Bivariate Richting: Op de Tübingen benchmark nadert FoundCause de prestaties van gespecialiseerde bivariate methoden (SLOPPY, HECI) en presteert het significant beter dan klassieke baselines zoals ICA-LiNGAM.
Robuustheid: Onder 30% Missing At Random (MAR) corruptie behoudt FoundCause 92% van zijn clean-data F1, terwijl klassieke methoden die vertrouwen op gemiddelde-imputatie significant degraderen.
Efficiëntie: Inferentie wordt uitgevoerd in minder dan 2 seconden gemiddeld, een enkele forward pass, vergeleken met uren die nodig zijn voor optimalisatie-gebaseerde methoden.

Betekenis en Claims

Het artikel claimt dat FoundCause een belangrijke stap is naar schaalbare, praktische causale ontdekking. Door geamortiseerde inferentie te combineren met gestructureerde inductieve biases, pakt het de trade-off aan tussen de theoretische garanties van klassieke methoden en de schaalbaarheid van neurale benaderingen.

De auteurs benadrukken dat FoundCause niet rust op nieuwe identificeerbaarheidsgaranties, maar eerder praktische inferentieprocedures leert die goed presteren over een breed spectrum van data-genererende processen. De expliciete modellering van latente confounding en het vermogen om van nature met ontbrekende data om te gaan, worden benadrukt als cruciale vooruitgang voor real-world toepasbaarheid. Het werk positioneert FoundCause zowel als een praktisch hulpmiddel voor toegepaste causale analyse als een fundament voor toekomstige modellen die van nature causale redenering integreren. De auteurs zijn van plan het model open-source te maken om reproduceerbaarheid te ondersteunen.