📊 statistics

Cross-validating causal discovery via Leave-One-Variable-Out

Dit artikel introduceert een "Leave-One-Variable-Out" (LOVO) voorspellingskader dat causale ontdekkingsalgoritmen falsifieert zonder grondwaarheid door modellen te trainen op datasets waarbij specifieke variabelenparen worden uitgesloten en hun vermogen te evalueren om de weggelaten relaties accuraat te voorspellen, waardoor voorspellingsfout wordt gebruikt als een proxy voor causale nauwkeurigheid.

Oorspronkelijke auteurs: Daniela Schkoda, Philipp Faller, Patrick Blöbaum, Dominik Janzing

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daniela Schkoda, Philipp Faller, Patrick Blöbaum, Dominik Janzing

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de stille hoekjes van de datawetenschap proberen onderzoekers een puzzel op te lossen die wetenschappers al lang frustreert: hoe weten we of een computer werkelijk de verborgen oorzaken achter een patroon van gebeurtenissen heeft begrepen? Dit veld, bekend als causale ontdekking (causal discovery), beoogt verder te gaan dan alleen het constateren dat twee dingen samen voorkomen en probeert in plaats daarvan vast te stellen of het ene daadwerkelijk het andere veroorzaakt. Decennialang was de standaardmethode om deze computerprogramma's te testen het vergelijken van hun antwoorden met een bekende "grondwaarheid", een vooraf bestaande kaart van de werkelijkheid die onderzoekers als referentie gebruiken. Echter, in de chaotische echte wereld bestaat zo'n perfecte kaart zelden. Zonder deze kaart hebben wetenschappers moeite gehad om te weten welke methoden betrouwbaar zijn en welke slechts gokken. Deze onzekerheid heeft veel praktische toepassingen, van medicijnen tot economie, in een staat van twijfel achtergelaten, waarbij men niet in staat is de complexe modellen te vertrouwen die worden gebouwd om hen te verklaren.

Om deze impasse te doorbreken, heeft een team onderzoekers uit Duitsland een nieuwe manier voorgesteld om deze algoritmen te testen zonder een vooraf getekende kaart nodig te hebben. Hun aanpak berust op een slimme truc van weglating. Stel je voor dat een wetenschapper een groep variabelen bestudeert, zoals temperatuur, luchtvochtigheid en windsnelheid, die allemaal interageren in een complex systeem. In plaats van de computer alle gegevens tegelijk te voeren, verbergen de onderzoekers doelbewust één paar variabelen tijdens het leerproces. Ze leren het algoritme over de resterende variabelen en vragen het vervolgens om de relatie tussen de twee verborgen variabelen te voorspellen. Als het algoritme de onderliggende causale structuur echt heeft begrepen, zou het in staat moeten zijn om af te leiden hoe het verborgen paar met elkaar verbonden is, zelfs als het ze nooit samen heeft gezien tijdens de training. Deze methere, die de auteurs "Leave-One-Variable-Out" kruisvalidatie noemen, verandert de handeling van voorspelling in een test van waarheid.

De kern van hun werk betreft een specifiek type logische deductie. Wanneer het algoritme leert van de gegevens waarbij één variabele ontbreekt, bouwt het een model van hoe de resterende stukjes in elkaar passen. De onderzoekers controleren vervolgens of dit model voldoende informatie bevat om de ontbrekende schakel te reconstrueren. In veel gevallen dwingt de structuur van de bekende relaties tot een specifieke conclusie over het verborgen paar. Bijvoorbeeld, als het algoritme bepaalt dat variabele A een derde variabele B beïnvloedt, en dat B een variabele C beïnvloedt, kan het logischerwijs afleiden hoe A en C met elkaar verband houden, zelfs als het A en C nooit direct heeft waargenomen. De onderzoekers ontwikkelden twee hoofdwegen om deze test uit te voeren. De eerste is een algemene methode die werkt met elk instrument voor causale ontdekking, waarbij gezocht wordt naar specifieke patronen in de graaf die aangeven of twee variabelen direct met elkaar verbonden zijn of slechts worden beïnvloed door een gemeenschappelijke oorzaak. De tweede methode is toegesneden op specifieke wiskundige modellen die lineaire relaties veronderstellen, waardoor de voorspelling ook mogelijk is wanneer er een directe link bestaat tussen de verborgen variabelen.

Om te zien of dit idee standhoudt, hebben de onderzoekers uitgebreide simulaties uitgevoerd met computergegenereerde data. Ze creëerden duizenden verschillende causale systemen en testten hoe goed hun methode fouten kon opsporen. De resultaten waren bemoedigend: wanneer het algoritme voor causale ontdekking fouten maakte in de initiële leerfase, nam de fout in de voorspelling van de "ontbrekende schakel" significant toe. Met andere woorden, de voorspellingsfout fungeerde als een betrouwbare alarmbel. Als de gok van het algoritme over de verborgen relatie er ver naast zat, was dat een sterk signaal dat het gehele model gebrekkig was. Omgekeerd suggereerde een nauwkeurige voorspelling dat de onderliggende causale kaart waarschijnlijk correct was. Deze correlatie werd waargenomen bij verschillende soorten algoritmen, inclusief die gebaseerd op lineaire vergelijkingen en die gebruikmaken van deep learning technieken.

De onderzoekers vergeleken hun nieuwe methode ook met een eenvoudigere, "causaal-agnostische" benadering die geen aannames doet over oorzaak en gevolg. Deze basismethode gaat ervan uit dat de verborgen variabelen onafhankelijk zijn, tenzij de data anders vereist. De studie vond dat de causale methode consequent beter presteerde dan deze baseline, mits het initiële model redelijk accuraat was. Dit suggereert dat de extra stap van het afleiden van een causale structuur niet slechts een theoretische oefening is, maar een tastbaar voordeel biedt bij het voorspellen van relaties tussen variabelen die niet samen zijn waargenomen. Het team erkent dat de methode geen toverstaf is; zij kan niet elk probleem oplossen, en er zijn specifieke grafstructuren waarin de voorspelling onmogelijk blijft. Echter, voor een breed scala aan scenario's biedt het een rigoureuze manier om een causaal model te falsificeren, of te weerleggen, zonder een vooraf bestaand antwoordboekje nodig te hebben.

Door de focus te verschuiven van het matchen met een bekende waarheid naar het testen van de interne consistentie van een model, biedt dit werk een nieuw pad voorwaarts voor het vakgebied. Het suggereert dat het vermogen om ongeziene relaties te voorspellen een krachtige metriek is voor het beoordelen van de kwaliteit van causale ontdekking. Hoewel de studie steunt op simulaties in plaats van interventies in de echte wereld, bieden de resultaten een overtuigend argument dat we onze modellen meer kunnen vertrouwen wanneer ze erin slagen de hiaten in hun eigen kennis in te vullen. Deze aanpak vraagt niet alleen of een model past bij de data; het vraagt of het model het verhaal begrijpt dat de data vertelt, zelfs wanneer delen van het verhaal ontbreken.

Technische Samenvatting: Cross-validatie van Causal Discovery via Leave-One-Variable-Out

Probleemstelling

Het artikel behandelt de kritieke uitdaging van het benchmarken en falsifiëren van causal discovery algoritmen bij het ontbreken van een grondwaarheid (ground truth). Hoewel er uitgebreide evaluaties bestaan op gesimuleerde data, worstelen onderzoekers vaak met de vraag welke methode het beste presteert voor real-world toepassingen vanwege een gebrek aan betrouwbare benchmarks. Bestaande "zelf-compatibiliteits" controles (bijv. Faller et al., 2024) kwantificeren de onenigheid tussen algoritme-outputs op deelverzamelingen en de volledige verzameling, maar missen een continue, optimaliseerbare metriek om de uitkomst van een algoritme besluitvaardig te verwerpen. Bovendien is het vertrouwen op interventionele data voor validatie vaak onpraktisch vanwege kosten en complexiteit.

De auteurs stellen een nieuw raamwerk voor om causal discovery algoritmen te evalueren door hun vermogen te testen om statistische relaties tussen variabelen te voorspellen die expliciet zijn uitgesloten tijdens de leerfase. Deze aanpak, getiteld Leave-One-Variable-Out (LOVO) cross-validatie, heeft als doel te bepalen of een causaal model dat geleerd is op deelverzamelingen van variabelen, succesvol de afhankelijkheid tussen een uitgesloten paar $(X, Y)$ kan afleiden met behulp van enkel de marginale datasets $(X, Z)$ en $(Y, Z)$ .

Methodologie

Kernconcept: LOVO Voorspelling

Gegeven een verzameling variabelen $W = \{X, Y, Z_1, \dots, Z_k\}$ , omvat de methode:

Data Partitionering: Het creëren van twee "leave-one-out" datasets: $D_{XZ}$ (bevattende $X$ en $Z$ ) en $D_{YZ}$ (bevattende $Y$ en $Z$ ), waarbij het paar $(X, Y)$ wordt uitgesloten.
Causaal Leren: Het apart toepassen van een causal discovery algoritme op $D_{XZ}$ en $D_{YZ}$ om marginale causale grafen $G_X$ en $G_Y$ te verkrijgen.
Inferentie: Het gebruik van $G_X$ en $G_Y$ om de gezamenlijke causale structuur $G$ af te leiden en vervolgens de voorwaardelijke verwachting $E[Y | X = x]$ of de correlatie $\rho_{XY}$ te schatten zonder $X$ en $Y$ gezamenlijk te observeren.
Evaluatie: Het vergelijken van de LOVO-voorspelling met de ware gezamenlijke distributie $P(X, Y)$ (die beschikbaar is voor het doel van falsificatie) om een continue voorspellingsfout te berekenen. Deze fout dient als een metriek voor de betrouwbaarheid van het causal discovery algoritme.

Theoretische Fundamenten

Het artikel stelt vast dat LOVO-voorspelling over het algemeen niet mogelijk is via louter probabilistische wetten (Lemma 1), aangezien marginale distributies $P(X, Z)$ en $P(Y, Z)$ de $P(X, Y)$ niet uniek bepalen. Causale modellen bieden echter de noodzakelijke inductieve bias om deze ambiguïteit op te lossen.

De auteurs stellen twee primaire varianten van LOVO-predictors voor:

Grafische Methode (Parent Adjustment):
- Toepasbaar op algemene algoritmen die Directed Acyclic Graphs (DAGs) of Acyclic Directed Mixed Graphs (ADMGs) outputten.
- Edge Exclusie: Lemma's 2 en 3 bieden criteria om te bepalen of $X$ en $Y$ niet-verbonden zijn (d.w.z. er bestaat geen edge tussen hen) op basis van enkel de marginale grafen $G_X$ en $G_Y$ .
- Voorspelling: Indien $X$ en $Y$ niet-verbonden zijn, dient de unie van hun ouders ( $Z_S$ ) als een d-separerende (of m-separerende) set. De predictor wordt geconstrueerd via parent adjustment:
  $P(y|x) = \sum_{z_S} P(y|z_S)P(z_S|x)$
- Dit wordt geïmplementeerd via een driestaps procedure: het leren van een predictor van $P(Y|Z)$ , het genereren van kunstmatige paren $(x, \hat{y})$ , en het leren van de uiteindelijke predictor $P(Y|X)$ .
Model-Specifieke Methode (LiNGAM):
- Op maat gemaakt voor algoritmen die uitgaan van Linear Non-Gaussian Acyclic Models (LiNGAM).
- Indien het type edge tussen $X$ en $Y$ geïdentificeerd kan worden (zelfs als ze verbonden zijn) en specifieke child-set condities worden vervuld, kan de structuurmatrix $\Lambda$ uniek geïdentificeerd worden uit de marginalen.
- Dit maakt de reconstructie van $P(X, Y, Z)$ en de schatting van $E[Y|X]$ mogelijk, zelfs in aanwezigheid van directe causale links, mits de modelveronderstellingen standhouden.

Baseline Vergelijking

Om te waarborgen dat de causale informatie werkelijk nuttig is, introduceert het artikel een MaxEnt Baseline Predictor. Deze predictor neemt aan dat $X \perp\!\!\perp Y | Z$ (maximaliseert entropie onder de marginalen) en gebruikt de formule $P_{MaxEnt}(y|x) = \sum_z P(y|z)P(z|x)$ . De LOVO-fout wordt geëvalueerd ten opzichte van deze baseline; een causaal algoritme wordt als succesvol beschouwd als de LOVO-fout significant lager is dan de baseline-fout.

Belangrijkste Bijdragen

LOVO Cross-Validatie Raamwerk: Een nieuwe methode om causal discovery algoritmen te falsifiëren zonder grondwaarheid door het voorspellen van een uitgesloten variabelenpaar te behandelen als een test voor het generalisatievermogen van het model ("out-of-variable generalization").
Theoretische Condities voor Realiseerbaarheid: Formele bewijzen (Lemma's 2, 3, en Theorem 4, 5) die exact delineëren wanneer LOVO-voorspelling haalbaar is op basis van marginale grafen, waarbij onderscheid wordt gemaakt tussen gevallen waarin edges kunnen worden uitgesloten en gevallen waarin structurele vergelingsparameters kunnen worden gereconstrueerd.
Continue Evaluatie Metriek: In tegen tegenstelling tot eerdere discrete onenigheidsmetrieken, biedt LOVO een continue voorspellingsfout, wat de optimalisatie van causal discovery algoritmen en het vestigen van rigoureuze afwijzingsbaselines mogelijk maakt.
Deep Learning Extensie: De auteurs demonstreren dat deep learning architecturen (specifiek transformer-gebaseerde encoders) kunnen worden aangepast om causale representaties te leren van marginale datasets om correlaties te voorspellen, waarbij ze de MaxEnt baseline overtreffen zonder expliciete parametrische aannames.

Experimentele Resultaten

De auteurs hebben uitgebreide simulaties uitgevoerd om de methode te valideren:

Haalbaarheid: In willekeurige grafen (Erdős–Rényi DAGs en ADMGs) identificeerden de grafische lemma's de niet-verbonden paren in het overgrote deel van de gevallen, waardoor LOVO-voorspelling realiseerbaar werd.
Prestaties: Wanneer voorzien van ware marginale grafen, presteerden zowel de Parent Adjustment als de LiNGAM-gebaseerde LOVO-predictors significant beter dan de MaxEnt baseline.
Correlatie met Accuraatheid: Bij toepassing op causal discovery algoritmen (DirectLiNGam en Repetitive Causal Discovery), bleek de LOVO-voorspellingsfout positief gecorreleerd te zijn met:
- De frequentie van foutief geïdentificeerde edges (specifiek het foutief identificeren van verbonden paren als niet-verbonden).
- De Structural Hamming Distance (SHD) van de geleerde grafen.
- De Spearman correlatiecoëfficiënten waren significant, wat aangeeft dat een hogere LOVO-fout betrouwbaar een lagere causale discovery accuraatheid signaleert.
Deep Learning: Een op maat gemaakte deep learning architectuur, getraind op marginale datasets, slaagde erin correlaties te voorspellen en presteerde beter dan de baseline, wat suggereert dat het impliciet causale representaties leert.

Betekenis en Claims

Het artikel claimt dat LOVO cross-validatie een rigoureus mechanisme zonder grondwaarheid biedt om causal discovery algoritmen te evalueren. Door aan te tonen dat de voorspellingsfout correleert met de accuraatheid van de geleerde causale structuur, argumenteren de auteurs dat LOVO kan dienen als een betrouwbare benchmark voor het selecteren van causal discovery methoden in praktische toepassingen waar grondwaarheid niet beschikbaar is.

Het werk benadrukt dat causale modellen "interpolatie" van afhankelijkheden tussen variabelenparen mogelijk maken die niet samen zijn geobserveerd, een capaciteit die verschillend is van standaard statistisch leren. De auteurs positioneren LOVO niet als een vervanging voor alle validatiemethoden, maar als een noodzakelijk instrument voor de "zelfcontrole" van causale hypothesen, met name in scenario's waarin interventionele data ontoegankelijk is. Het artikel blijft bescheiden en merkt op dat LOVO-voorspelling niet altijd mogelijk is (bijv. in kleine grafen of specifieke structurele configuraties) en dat de methode steunt op de faithfulness assumptie en de correctheid van het outputformaat van het onderliggende causal discovery algoritme (DAGs/ADMGs).