📊 statistics

Estimating Joint Interventional Distributions from Marginal Interventional Data

Dit artikel presenteert een methode die het Maximum Entropy-principe uitbreidt met interventiedata om, zelfs wanneer alleen marginale interventieverdelingen beschikbaar zijn, gezamenlijke interventieverdelingen te schatten en causale feature selectie uit te voeren.

Oorspronkelijke auteurs: Sergio Hernan Garrido Mejia, Elke Kirschbaum, Armin Kekić, Bernhard Schölkopf, Atalanti Mastakouri

Gepubliceerd 2026-04-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sergio Hernan Garrido Mejia, Elke Kirschbaum, Armin Kekić, Bernhard Schölkopf, Atalanti Mastakouri

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🌱 De Grote Kookproef: Hoe je een compleet recept maakt uit losse stukjes

Stel je voor dat je een recept wilt vinden voor de perfecte taart. Maar er is een groot probleem: je hebt nooit iemand gezien die de hele taart in één keer bakte. Je hebt alleen losse stukjes informatie:

Een vriend vertelt je hoe de taart smaakt als je alleen suiker toevoegt.
Een ander zegt hoe hij proeft met alleen chocolade.
Iemand anders heeft gekeken hoe de taart eruitziet als je alleen eieren gebruikt.
En je hebt ook een lijstje met ingrediënten die vaak samen worden gekocht (observaties).

De vraag is: Hoe ziet de taart eruit als je suiker, chocolade én eieren tegelijkertijd toevoegt?

In de wetenschap noemen we dit het probleem van het koppelen van losse experimenten. Vaak zijn grote experimenten (waarbij je alles tegelijk test) te duur of te lastig. Wetenschappers doen daarom kleine, losse experimenten. Het probleem is: hoe combineer je die losse stukjes tot één betrouwbaar plaatje?

Dit paper van Sergio Hernan Garrido Mejia en zijn team biedt een slimme oplossing hiervoor.

🧠 De Slimme Gok: "Maximum Entropy"

Stel je voor dat je een detective bent die een verdachte zoekt. Je hebt weinig bewijs. Wat doe je dan? Je maakt een gok die niet meer informatie toevoegt dan je zeker weet. Je gaat er niet van uit dat de verdachte een mes heeft, tenzij je dat zeker weet. Je blijft zo neutraal mogelijk.

In de statistiek heet dit het Maximum Entropy-principe (of "Maximum Onzekerheid"). Het betekent: "Maak de meest waarschijnlijke gok, maar voeg geen onnodige aannames toe."

Het team uit dit paper heeft een oude versie van deze detective-methode (die alleen werkte met observaties) verbeterd. Ze noemen hun nieuwe methode i-CMAXENT.

🚀 Wat is het nieuwe trucje?

De oude methode kon alleen kijken naar wat mensen doen (observaties). De nieuwe methode kan ook kijken naar wat mensen veranderen (experimenten).

Stel je voor dat je een auto hebt:

Observatie: Je ziet dat de auto vaak rood is als het regent.
Interventie: Je neemt zelf het stuur en doet alsof het regent (je zet de regenboog aan).

De nieuwe methode (i-CMAXENT) kan nu losse experimenten combineren. Als je weet wat er gebeurt als je alleen op de rem trapt, en wat er gebeurt als je alleen op het gas trapt, kan de methode berekenen wat er gebeurt als je beide tegelijk doet.

🛠️ Twee Superkrachten

Met deze nieuwe methode kunnen wetenschappers twee dingen doen die voorheen bijna onmogelijk waren:

De Ouder vinden (Parental Discovery):
Stel, je wilt weten welke ingrediënten echt invloed hebben op de taart. Is het de suiker? Of is het de oven?
Met de oude methode moest je alles tegelijk zien om dat te weten. Met de nieuwe methode kunnen ze, zelfs als ze alleen losse proeven hebben, zeggen: "Ja, suiker is een echte oorzaak, maar bloem is het niet." Ze vinden de "ouders" van een probleem, zelfs als ze die ouders nooit samen hebben gezien.
Het Complexe Effect Voorspellen:
Ze kunnen voorspellen wat er gebeurt bij een combinatie van factoren (bijvoorbeeld: "Wat gebeurt er met de oogst als we zowel stikstof als kalium gebruiken?"), zelfs als ze alleen data hebben van experimenten met alleen stikstof en alleen kalium.

📊 Wat zeggen de resultaten?

De auteurs hebben dit getest met computersimulaties (virtuele taarten en virtuele gewassen).

Resultaat: Hun nieuwe methode werkt bijna net zo goed als de "gouden standaard" (waarbij je alle data tegelijk zou hebben), maar dan met veel minder informatie.
Vergelijking: Het is alsof je een puzzel oplost met slechts de helft van de stukjes, maar door slim te redeneren krijg je toch het hele plaatje. Ze doen het zelfs beter dan de beste bestaande methoden die alleen met losse stukjes werken.

💡 Waarom is dit belangrijk voor de echte wereld?

Stel je voor dat je een nieuwe medicijn ontwikkelt.

Je wilt weten of het werkt voor mensen met diabetes én hoge bloeddruk.
Maar het is te duur om een experiment te doen met alle combinaties van ziektes.
Je hebt wel data van experimenten met alleen diabetes, en alleen hoge bloeddruk.

Met deze methode kunnen artsen en onderzoekers nu een betrouwbare voorspelling doen over de combinatie, zonder dat ze een onbetaalbaar groot experiment hoeven te doen. Het bespaart tijd, geld en kan levens redden.

Samenvattend

Dit paper is als een slimme vertaler die losse, onvolledige verhalen (losse experimenten) samenvoegt tot één groot, coherent verhaal (het complete plaatje). Ze gebruiken wiskunde om te zeggen: "We weten niet alles, maar we weten genoeg om de beste mogelijke gok te doen zonder onzin te verzinnen."

Het is een grote stap vooruit in het begrijpen van oorzaak en gevolg in een complexe wereld waar we niet altijd alles tegelijk kunnen testen.

Titel: Schatten van gezamenlijke interventiedistributies vanuit marginale interventiedata

Auteurs: Sergio Hernan Garrido Mejia, Elke Kirschbaum, Armin Keki´c, Bernhard Sch¨olkopf, Atalanti Mastakouri.
Publicatie: Proceedings of Machine Learning Research (PMLR), 2026.

1. Het Probleem

In veel real-world scenario's, zoals medische trials (combinaties van medicijnen) of landbouw (combinaties van meststoffen), is het uitvoeren van Randomised Controlled Trials (RCT's) voor alle mogelijke combinaties van behandelingen onhaalbaar vanwege de exponentiële groei in kosten en complexiteit (combinatorische explosie).

Onderzoekers hebben vaak alleen toegang tot:

Observatieve data: Waarnemingen van variabelen zonder interventie.
Marginale interventiedata: Data van experimenten waarbij slechts één variabele tegelijkertijd wordt gemanipuleerd (bijv. alleen stikstof of alleen kalium).

Het fundamentele probleem is dat het vaak onmogelijk is om de gezamenlijke interventiedistributie (bijv. het effect van zowel stikstof als kalium op de oogst) te identificeren uit deze fragmentarische data, vooral wanneer er onwaarneembare verstorende factoren (confounders) zijn of wanneer variabelen niet gezamenlijk worden waargenomen. Bestaande methoden vereisen vaak volledige gezamenlijke observaties of maken sterke parametrische aannames.

2. Methodologie: i-CMAXENT

De auteurs stellen een nieuwe methode voor genaamd Interventional Causal Maximum Entropy (i-CMAXENT). Dit is een uitbreiding van het bestaande Causal Maximum Entropy (CMAXENT) principe.

Kernconcepten:

Maximum Entropy Principe: De methode zoekt de kansverdeling die de maximale entropie heeft (dus de minst aannemende verdeling), maar die wel voldoet aan de gegeven empirische constraints (gemiddelden) uit de data.
Uitbreiding naar Interventies: In tegenstelling tot traditioneel CMAXENT, dat alleen observatieve data gebruikt, integreert i-CMAXENT constraints gebaseerd op interventiedata (bijv. $E[Y | do(X_i)]$ ).
Identificeerbaarheid: De methode maakt gebruik van grafische identificatietechnieken (zoals de backdoor-criterium of do-calculus) om interventieverwachtingen te herschrijven als functies van observatieve verdelingen. Dit stelt de methode in staat om interventiedata als constraints te gebruiken in een optimisatieprobleem, zelfs als de gezamenlijke interventie niet direct identificeerbaar is via standaard regels.

Wiskundige Formulering:
Het probleem wordt geformuleerd als een geconstrueerde optimalisatie:
$\max_{p(y|x)} H(Y|X)$
onder de voorwaarden dat de verwachtingen van zowel observatieve functies ( $f_k$ ), conditionele functies ( $g_j$ ), als interventiefuncties ( $h_l$ ) overeenkomen met de empirische waarden uit de data.

Theoretisch Resultaat:
De auteurs bewijzen met behulp van Lagrange-dualiteit dat de oplossing voor dit geoptimaliseerde probleem behoort tot de exponentiële familie van verdelingen:
$p_\lambda(y|x) = \exp\left( \sum \lambda_k f_k + \sum \lambda_j g_j + \sum \lambda_l h_l + \beta(x) \right)$
Dit betekent dat de methode een parametrische vorm heeft die efficiënt te schatten is, zelfs zonder kennis van de onderliggende functionele vormen van de causale mechanismen.

3. Belangrijkste Bijdragen

Uitbreiding van CMAXENT: De auteurs introduceren i-CMAXENT, wat toelaat om experimentele data (interventies) te combineren met observatieve data binnen het Maximum Entropy-raamwerk.
Theoretisch Bewijs: Er wordt bewezen dat de oplossing van het i-CMAXENT-probleem altijd in de exponentiële familie ligt, wat de theoretische onderbouwing van de methode versterkt.
Oplossing voor het Causale Marginale Probleem: De methode biedt een oplossing voor het "Causal Marginal Problem", waarbij data uit disjuncte datasets (die niet alle variabelen gezamenlijk bevatten) worden samengevoegd om een enkel causaal model te construeren.
Twee Toepassingen:
- Ouderontdekking (Parental Discovery): Het identificeren van de ware causale ouders van een variabele uit een set potentiële oorzaken, zelfs zonder gezamenlijke observaties.
- Schatten van Gezamenlijke Interventies: Het reconstrueren van het effect van meerdere simultane interventies op basis van data van enkelvoudige interventies.

4. Resultaten

De methode is getest op synthetische data met verschillende grafische structuren (inclusief onwaarneembare confounders).

Ouderontdekking (Parental Discovery):
- i-CMAXENT presteert significant beter dan het oorspronkelijke CMAXENT (dat alleen observatieve data gebruikt).
- In veel gevallen bereikt i-CMAXENT een nauwkeurigheid die vergelijkbaar is met de KCI-test (Kernel Conditional Independence), een state-of-the-art methode die echter vereist dat alle variabelen gezamenlijk worden waargenomen. i-CMAXENT bereikt dit met veel minder informatie (alleen marginale data).
- De prestaties verbeteren naarmate het aandeel variabelen met interventiedata toeneemt.
Schatten van Gezamenlijke Interventies:
- De methode kan nauwkeurige schattingen maken van gezamenlijke interventiedistributies ( $p(Y | do(X_1, X_2))$ ) door gebruik te maken van constraints van enkelvoudige interventies ( $p(Y | do(X_i))$ ).
- De residuen tussen de geschatte en de ware verdeling zijn laag (rond de 5%), zelfs wanneer alleen enkelvoudige conditionele of interventie-informatie beschikbaar is.
- Het toevoegen van constraints (zowel conditioneel als interventief) vermindert de variantie in de schattingen.

5. Betekenis en Conclusie

Deze paper biedt een principieel en niet-parametrisch raamwerk om causale kennis te combineren uit verschillende, onvolledige bronnen.

Praktische Impact: Het maakt het mogelijk om complexe causale effecten te bestuderen zonder dat er dure, volledig gecontroleerde experimenten voor alle combinaties nodig zijn. Dit is cruciaal voor domeinen zoals geneeskunde en landbouw.
Theoretische Vooruitgang: Het bewijst dat interventiedata kan worden gebruikt om de beperkingen van het "Causal Marginal Problem" te overwinnen, zonder dat er sterke aannames over de functionele vorm van de data nodig zijn (in tegenstelling tot eerdere parametrische benaderingen).
Beperkingen: De methode vereist wel dat bekend is welke variabelen zijn gemanipuleerd (de interventie moet specifiek zijn in de constraints) en dat de interventiedistributies identificeerbaar zijn via de gegeven grafische structuur.

Samenvattend stelt i-CMAXENT onderzoekers in staat om "het plaatje compleet te maken" uit losse puzzelstukjes van data, waardoor robuustere causale conclusies kunnen worden getrokken in data-scarce omgevingen.