🤖 machine learning

Use What You Know: Causal Foundation Models with Partial Graphs

Dit artikel introduceert een methode om Causale Fundamentele Modellen te verbeteren door ze te conditioneren op partiële of volledige causale graafinformatie via leerbare aandacht-biases en graaf-convolutieve encoders, waardoor ze de prestaties van gespecialiseerde modellen kunnen evenaren terwijl ze effectief gebruikmaken van domeinexpertise.

Oorspronkelijke auteurs: Arik Reuter, Anish Dhir, Cristiana Diaconu, Jake Robertson, Ole Ossen, Frank Hutter, Adrian Weller, Mark van der Wilk, Bernhard Schölkopf

Gepubliceerd 2026-06-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arik Reuter, Anish Dhir, Cristiana Diaconu, Jake Robertson, Ole Ossen, Frank Hutter, Adrian Weller, Mark van der Wilk, Bernhard Schölkopf

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Alwetende" Detective versus de "Sceptische" Detective

Stel je voor dat je probeert uit te zoeken waarom een specifieke gebeurtenis heeft plaatsgevonden. Misschien wil je weten: "Als we deze patiënt een nieuw medicijn geven, wordt hij dan beter?"

Lange tijd moesten wetenschappers voor elke individuele zaak een eigen detective op maat bouwen. Als de zaak over roken en kanker ging, bouwden ze één detective. Als het over onderwijs en inkomen ging, bouwden ze een andere. Deze detectives waren geweldig in hun specifieke taak, maar nutteloos voor alles wat daarmee te maken had.

Onlangs is er een nieuw type "Foundation Model" (een superintelligente AI) uitgevonden. Denk aan dit als een Alwetende Detective die elk boek in de bibliotheek heeft gelezen. Zij kunnen naar elke set gegevens kijken en de vraag bij bijna elk onderwerp beantwoorden. Dit wordt een Causal Foundation Model (CFM) genoemd.

Het Probleem:
Hoewel deze Alwetende Detective slim is, is zij momenteel een beetje "naief". Ze kijkt alleen naar de ruwe gegevens (de foto's van de plaats delict) en probeert te raden wat er is gebeurd. Ze luisteren niet naar de experts.

Voorbeeld: Als je de detective vraagt: "Veroorzaakt roken kanker?", dan kijkt ze naar de data en zegt misschien: "Nou, ik zie dat ze vaak samen voorkomen, maar misschien zorgt kanker wel voor het roken?" omdat ze de biologische tijdlijn niet kent.
Het Probleat: In de echte wereld weten experts vaak sommige dingen. We weten dat roken voorafgaat aan kanker. We weten dat leeftijd voorafgaat aan pensioen. Maar de huidige AI-modellen weigeren deze "expertkennis" te gebruiken, tenzij je ze volledig vanaf nul opnieuw opbouwt.

De Oplossing: De Detective een "Spiekbriefje" geven

De auteurs van dit paper vroegen zich af: Kunnen we deze Alwetende Detective leren om naar onze expert-hints te luisteren zonder haar volledig opnieuw te bouwen?

Ze hebben een manier ontwikkeld om het model een "Spiekbriefje" (een partiële graaf) te geven terwijl het aan het werk is. Dit spiekbriefje hoeft niet perfect te zijn. Het hoeft alleen maar te vertellen wat we wel weten.

De "Spiekbriefje" Analogie: De Stamboom

Stel je voor dat je probeert uit te zoeken wie familie van elkaar is tijdens een enorme, verwarrende familie-reünie.

De Oude Manier: Je kijkt naar een foto van 100 mensen en probeert te raden wie de grootvader is, wie de neef en wie de baby. Je zou het misschien fout hebben.
De Nieuwe Manier: Je krijgt een papiertje (de Partial Ancestral Matrix) waarop staat:
- "We weten zeker dat oma een voorouder is van de baby." (Dit is een 1).
- "We weten zeker dat de baby géén voorouder is van oma." (Dit is een -1).
- "We hebben geen idee of oom Bob familie is van nicht Sue." (Dit is een 0).

Het paper laat zien dat deze AI veel beter presteert dan wanneer ze geen spiekbriefje had, zelfs met dit "onvolledige" spiekbriefje (waarbij sommige relaties als "onbekend" zijn gemarkeerd).

Hoe Ze Het Deden: De "Verkeersregelaar" en de "Kaartlezer"

Het paper beschrijft twee specifieke trucs die ze gebruikten om de AI naar dit spiekbriefje te laten luisteren. Denk aan de AI als een enorm team van werkers die briefjes naar elkaar doorgeven.

De Verkeersregelaar (Soft Attention Bias):
Normaal gesproken geven de werkers briefjes door aan iedereen die ze willen. De auteurs voegden een "Verkeersregelaar" toe die naar het spiekbriefje kijkt.
- Als het blad zegt: "Oma is een voorouder van de baby," geeft de Controller dat briefje een groen licht (moedigt de AI aan om aandacht te besteden).
- Als het blad zegt: "De baby is NIET de voorouder van oma," geeft de Controller dat briefje een rood licht (ontmoedigt de AI om aandacht te besteden).
- Als het blad zegt: "Onbekend," is het licht geel (de AI kan zelf beslissen).
- Kernpunt: Dit is geen harde regel; het is een zachte duw. Dit maakt het systeem robuust, zelfs als het spiekbriefje fouten bevat.
De Kaartlezer (Graph Convolutional Network):
Dit is alsof je elke werker een kaart van de hele stamboom geeft voordat ze aan het werk gaan. Het helpt hen om hun "rol" in het grote geheel te begrijpen. Zelfs als ze maar naar één persoon kijken, weten ze: "Oh, ik kijk naar een kleinkind, dus ik moet nadenken over de ouders."

De Resultaten: Waarom "Partieel" Beter is dan "Perfect"

De onderzoekers hebben dit getest in veel verschillende scenario's, van eenvoudige wiskundige problemen tot complexe, realistische simulaties.

Het Werkt: Wanneer ze het model het spiekbriefje gaven, maakte het veel nauwkeurigere voorspellingen over oorzaak en gevolg.
Het is Flexibel: Het model kan omgaan met een spiekbriefje dat 100% vol staat met informatie, of dat voor 90% leeg is (slechts een paar hints). Het werkt in beide gevallen.
De "Niet Gokken" Regel: Dit is de belangrijkste bevinding. Het paper laat zien dat als je onzeker bent over een relatie, het veel beter is om het als "Onbekend" (0) te markeren dan om te gokken en het fout te hebben.
- Analogie: Als je aan het rijden bent en je weet niet zeker of een weg een eenrichtingsweg is, dan is het veiliger om aan te nemen "Ik weet het niet" en voorzichtig te rijden, dan te gokken "Het is een eenrichtingsweg" en de verkeerde kant op te rijden. Het paper bewijst dat gokken met de verkeerde informatie de prestaties van de AI aanzienlijk schaadt, terwijl zeggen "Ik weet het niet" de prestaties slechts een klein beetje schaadt.

Samenvatting

Het paper introduceert een manier om "Alwetende" AI-modellen te upgraden, zodat ze partiële expertkennis kunnen gebruiken. In plaats van een perfecte kaart van de hele wereld nodig te hebben, kan de AI nu werken met een schetsmatige kaart die nog lege plekken heeft. Door een "Verkeersregelaar" te gebruiken om de aandacht te sturen en een "Kaartlezer" om het grote plaatje te begrijpen, wordt de AI een veel betere detective, in staat om "Wat als?"-vragen nauwkeuriger te beantwoorden, zelfs wanneer we slechts over gedeeltelijke informatie beschikken.

Technische Samenvatting: Gebruik wat je weet: Causal Foundation Models met Partiële Grafen

Probleemstelling

Causale inferentie steunt traditioneel op een tweestaps-proces: eerst het maken van identificatie-aannames (vaak via een causale graaf), en vervolgens het selecteren van een op maat gemaakte estimator die is afgestemd op die aannames. Hoewel recente Causal Foundation Models (CFMs) gebaseerd op Prior-Data-Fitted Networks (PFNs) een verenigde aanpak bieden door causale ontdekking en inferentie te amorteren, kampen deze momenteel met een kritieke beperking: ze kunnen tijdens de testfase geen domeinkennis integreren.

Bestaande CFMs doen ofwel:

De trainingsprior beperken tot specifieke causale structuren (bijv. alleen back-door adjustment gevallen), wat kostbare hertraining vereist voor nieuwe aannames.
Marginaliseren over alle mogelijke structuren, wat leidt tot onnodig conservatieve schattingen en onnauwkeurige voorspellingen wanneer partiële domeinkennis beschikbaar is maar genegeerd wordt.

De centrale uitdaging die wordt aangepakt, is hoe een algemeen bruikbare CFM kan conditioneren op partiële causale informatie (zoals een gedeeltelijk bekende causale graaf of ancestrale relaties) tijdens inferentie, zonder het flexibele paradigma van het foundation model op te offeren.

Methodologie

1. Representatie van Causale Kennis: Partial Ancestral Matrices (PAMs)

De auteurs stellen het gebruik van Partially Known Ancestral Matrices (PAMs) voor als het conditioneringssignaal. In tegenstelling tot adjacency matrices, die kennis vereisen over directe causale randen ( $A_{ij}=1$ ), coderen PAMs ancestrale relaties ( $T_{ij}=1$ als $z_i een voorouder is van$ z_j$).

Voordelen: Ancestrale kennis is vaak robuuster en gemakkelijker te verkrijgen dan directe causale mechanismen (bijv. weten dat roken kanker veroorzaakt is gemakkelijker dan het exacte biologische pad te specificeren).
Partialiteit: De matrix $\tilde{T} \in \{-1, 0, 1\}^{K \times K}$ $\tilde{T} \in {- 1, 0, 1}^{K \times K}$ maakt het volgende mogelijk:
- $1$: Bekende voorouder.
- $-1$: Bekende niet-voorouder (bijv. uitgesloten door temporele volgorde).
- $0$: Onbekende relatie.
  Deze representatie omvat gevallen van geen kennis, gedeeltelijke kennis en volledige kennis.

2. Architecturale Conditioneringsmechanismen

Het artikel introduceert een Transformer-gebaseerde CFM-architectuur die is aangepast om PAMs te verwerken via twee complementaire mechanismen:

Structural Attention Biasing:
- Soft Bias: Leerbare scalaire biases ( $\beta_{anc}, \beta_{non-anc}$ ) worden toegevoegd aan de attention logits. Een positieve bias stimuleert aandacht voor bekende voorouders; een negatieve bias ontmoedigt aandacht voor bekende niet-voorouders. Dit stelt het model in staat om prioriteit te geven aan causale ouders terwijl het robuust blijft tegen incomplete informatie.
- Hard Masking: Een alternatief waarbij aandacht voor bekende niet-voorouders strikt op $-\infty$ wordt gezet.
Structural Feature Modulation (GCN):
- Een Graph Convolutional Network (GCN) encoder verwerkt de PAM om structure-bewuste node embeddings te genereren.
- Deze embeddings worden via Adaptive Layer Normalization (AdaLN) in elke Transformer-block geïnjecteerd, waardoor de verborgen representaties van variabelen worden gemoduleerd op basis van hun globale structurele positie in de causale graaf.

3. Training en Datageneratie

Prior: De auteurs hebben een Tabular Foundation Model (TFM) prior geconstrueerd die inherent causaal is. Deze genereert synthetische datasets door Structural Causal Models (SCMs) te samplen met diverse mechanismen (MLP's, XGBoost, diverse non-lineariteiten) en ruisverdelingen.
Amortized Training: Het model wordt getraind om te gaan met variërende gradaties van ontbrekende informatie. Tijdens de training worden entries in de PAM willekeurig verborgen (gezet op 0), waardoor het model wordt gedwongen om een enkele set gewichten te leren die kan adapteren aan volledige, gedeeltelijke of geen ancestrale informatie.

Belangrijkste Resultaten

1. Effectiviteit van Conditionering

Experimenten op synthetische lineair-Gaussiaanse en complexe non-lineaire priors tonen aan dat:

Soft Attention + GCN de meest effectieve conditioneringsstrategie is, die consequent beter presteert dan baselines zonder graaf-conditionering, hard masking of GCN-only benaderingen.
Conditionering op ancestrale matrices presteert vergelijkbaar met conditionering op volledige adjacency matrices, wat het gebruik van ancestrale kennis als een praktische proxy valideert.

2. Robuustheid tegen Partiële Informatie

Amortisatie-efficiëntie: Een enkel model dat getraind is met geamortiseerde (willekeurig verborgen) PAMs presteert bijna even goed als gespecialiseerde modellen die exclusief getraind zijn op volledige of geen informatie.
Onwetendheid vs. Mis-specificatie: Een cruciale bevinding is dat het verbergen van onzekere randen (markeren als "onbekend") veel minder schadelijk is dan het mis-specificeren ervan (het omdraaien van de richting). De prestaties nemen geleidelijk af naarmate er meer randen worden verborgen, maar dalen drastisch wanneer randen incorrect worden gespecificeerd. Dit onderstreept de praktische waarde van partiële matrices.

3. Semi-synthetische Benchmarks

Op de RealCause benchmark (IHDP, ACIC, CPS, PSID):

Het verstrekken van partiële ancestrale informatie die unconfoundedness codeert, verbetert de prestaties aanzienlijk (gemeten via $\sqrt{PEHE}$ en relatieve ATE-fout) vergeleken met modellen zonder graaf-conditionering.
Het graaf-geconditioneerde model presteert beter dan gespecialiseerde baselines zoals Do-PFN en CausalFM over de meeste datasets.
Hoewel CausalPFN de beste algehele prestaties behaalt op RealCause, schrijven de auteurs dit toe aan een prior-alignment (de trainingsdata van CausalPFN bootst het datagenererende proces van RealCause na) in plaats van graaf-conditionering. Zodra graaf-conditionering wordt geïntroduceerd, overtreft hun model CausalFM en Do-PFN.

4. Vergelijking met Gespecialiseerde Modellen

Wanneer de back-door criterion wordt geschonden (een setting waarin gespecialiseerde modellen zoals CausalPFN en CausalFM vertrouwen op mis-gespecificeerde aannames), vertoont de graaf-geconditioneerde CFM een aanzienlijk voordeel, wat zijn vermogen aantoont om niet-identificeerbare gevallen te behandelen door gebruik te maken van beschikbare partiële structuur.

Betekenis en Claims

Het artikel beweert een centrale hindernis te hebben weggenomen in de ontwikkeling van "all-in-one" causale foundation modellen: het vermogen om causale vragen te beantwoorden op een datagedreven manier terwijl er effectief gebruik wordt gemaakt van elke hoeveelheid domeinexpertise.

Verenigd Framework: Het demonstreert dat een enkele CFM flexibel kan conditioneren op observationele data en variërende niveaus van causale kennis (geen, partiële of volledige) zonder hertraining.
Praktisch Nut: Door gebruik te maken van Partial Ancestral Matrices, overbrugt de aanpak de kloof tussen de rigiditeit van traditionele causale estimators (die precieze grafen vereisen) en de "black box"-natuur van huidige foundation modellen (die domeinkennis negeren).
Beperkte Omvang: De auteurs erkennen dat hoewel de absolute prestatiewinsten op sommige metrieken klein zijn (toe te schrijven aan de kleine causale effecten in hun priors), de methode een haalbaar en effectief fundament legt voor toekomstige robuuste causale effect schattingsmodellen. Ze merken op dat het huidige werk zich richt op volledig geobserveerde variabelen en nog geen verborgen confounders behandelt, wat zij overlaten aan toekomstige "all-in-one" ontwikkelingen.