Are Bayesian networks typically faithful?

Each language version is independently generated for its own context, not a direct translation.

Hier is een uitleg van het wetenschappelijke artikel in eenvoudig Nederlands, met behulp van alledaagse analogieën.

De Kernvraag: Is het toeval of de regel?

Stel je voor dat je een detective bent die probeert een misdrijf op te helderen. Je hebt een lijst met verdachten (variabelen) en je ziet wie met wie contact heeft. Je wilt weten: Wie heeft wie echt aangezet tot het misdaadplegen?

In de wereld van data noemen we dit causale ontdekking. Een populaire manier om dit te doen, is het kijken naar patronen in de data: "Als A verandert, verandert B dan ook?" Als A en B onafhankelijk zijn van elkaar (als A verandert, blijft B hetzelfde), dan zijn ze waarschijnlijk niet direct verbonden.

Maar hier zit een valkuil. Soms lijken twee dingen onafhankelijk, terwijl ze in werkelijkheid wel verbonden zijn.

Voorbeeld: Stel, de temperatuur in een kamer (C) hangt af van het openen van een raam (A) én het aanzetten van de verwarming (B). Als je het raam opent (A), daalt de temperatuur. Maar als je tegelijkertijd de verwarming harder zet (B), stijgt de temperatuur. Als je deze twee effecten perfect tegen elkaar wegstreept, blijft de temperatuur (C) constant.
Het probleem: Als je alleen naar de temperatuur kijkt, lijkt het alsof het raam (A) en de verwarming (B) niets met elkaar te maken hebben. Maar in werkelijkheid zijn ze wel verbonden via de kamer. De data "verbergt" de ware connectie.

In de statistiek noemen we dit ontrouw (unfaithfulness). De data is "ontrouw" aan het onderliggende verhaal (het grafiekje). De meeste algoritmes die causale verbanden proberen te vinden, gaan er echter van uit dat de data trouw is: dat er geen verborgen "opheffingen" zijn en dat wat je ziet, ook echt wat er gebeurt.

De vraag die deze auteurs zich stellen is: Is het normaal dat data trouw is? Of is het een zeldzame uitzondering?

Het antwoord: Ja, trouwheid is de regel

De auteurs van dit artikel komen met een heel geruststellend antwoord: Ja, trouwheid is typisch.

Ze bewijzen wiskundig dat als je willekeurig een scenario kiest (een "Bayesiaans netwerk"), de kans dat de data ontrouw is (dus dat er toevallige opheffingen zijn die de connecties verbergen) nagenoeg nul is.

Om dit te begrijpen, gebruiken we een paar metaforen:

1. De "Dichte Menigte" (Topologie)

Stel je een grote, volle zaal voor met duizenden mensen. Iedereen staat op een willekeurige plek.

De trouwe scenario's zijn de mensen die overal in de zaal staan. Je kunt overal een trouw persoon vinden.
De ontrouwe scenario's zijn mensen die zich in een heel klein, specifiek hoekje bevinden. Als je een willekeurige persoon kiest, is de kans 99,9% dat je iemand uit de grote menigte pakt, niet iemand uit dat kleine hoekje.
In wiskundige termen zeggen ze dat de trouwe scenario's een "dichte en open verzameling" vormen. Dat betekent dat je nergens in de ruimte van mogelijke scenario's kunt staan zonder dat er ergens in de buurt een trouw scenario zit. Ontrouwe scenario's zijn "nuergens dichtbij" (nowhere dense).

2. Het "Perfecte Evenwicht" (De uitzondering)

Wanneer is een scenario ontrouw? Alleen als er een perfect evenwicht is.

Terug naar het voorbeeld van het raam en de verwarming: Om de temperatuur exact gelijk te houden, moet de kou van het raam exact opgeheven worden door de warmte van de verwarming.
Als je de verwarming ook maar een heel klein beetje harder of zachter zet, of het raam een stukje minder open, is het evenwicht verbroken en zie je weer een verband.
Een perfect evenwicht is als het proberen om een potlood op zijn punt te laten staan. Het kan theoretisch, maar in de praktijk is het bijna onmogelijk om het perfect te doen. De meeste situaties zijn "scheef" en tonen dus de ware connecties.

Wat betekent dit voor de praktijk?

De auteurs kijken naar verschillende soorten data:

Alles wat je maar kunt bedenken: Zelfs zonder specifieke regels over hoe de data eruit ziet, zijn trouwe scenario's de norm.
Specifieke modellen (zoals lineaire verbanden of discrete data): Hier hebben we al lang geweten dat trouwheid de regel is. De auteurs bewijzen nu dat dit ook geldt voor veel complexere, moderne modellen.
Verborgen variabelen: Soms hebben we niet alle data (bijvoorbeeld een geheimzinnige factor die we niet meten). Zelfs dan geldt: als we kijken naar de zichtbare data, is het nog steeds typisch dat de patronen de waarheid weergeven.

Waarom is dit belangrijk?

Voor wetenschappers en data-analisten die algoritmes gebruiken om oorzaken te vinden (zoals in de geneeskunde of economie), is dit een groot geruststellend nieuws.

Betrouwbaarheid: Het betekent dat de populaire methoden (zoals de PC- en FCI-algoritmes) die we gebruiken om oorzaken te vinden, in de praktijk bijna altijd werken. Ze falen alleen in die zeldzame, "perfecte" gevallen die in de echte wereld nauwelijks voorkomen.
Geen paniek: Als een algoritme faalt, hoef je niet direct te denken: "Oh, mijn data is ontrouw!" Nee, het is waarschijnlijker dat je model verkeerd is of dat je te weinig data hebt. De aanname dat data trouw is, is een veilige en verstandige gok.

Samenvatting in één zin

Hoewel het theoretisch mogelijk is dat data de ware oorzakelijke verbanden verbergt door toevallige opheffingen, is dit in de praktijk zo zeldzaam dat we veilig kunnen aannemen dat de data altijd eerlijk is en de waarheid vertelt over hoe de wereld in elkaar zit.

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het artikel "Are Bayesian networks typically faithful?" in het Nederlands.

Titel: Zijn Bayesiaanse netwerken typisch trouw?

Auteurs: Philip Boeken, Patrick Forr´e, Joris M. Mooij
Datum: 13 maart 2026

1. Probleemstelling

In de causale inferentie is de trouwheid (faithfulness) een fundamentele aanname voor constraint-based causal discovery algoritmen (zoals PC en FCI). Een Bayesiaans netwerk is "trouw" als de onafhankelijkheden in de waarnemingsverdeling $P$ exact overeenkomen met de d-separaties in het onderliggende gerichte acyclische graf (DAG) $G$ .

Het probleem: In de praktijk wordt vaak aangenomen dat ontrouwheid (waarbij onafhankelijkheden ontstaan door toevallige opheffing van paden, deterministische variabelen of deterministische relaties) "zeldzaam" is. Voor lineaire Gaussische en discrete Bayesiaanse netwerken is bewezen dat ontrouw parameters een Lebesgue-maat nul hebben (ze zijn "typisch" trouw).
De open vraag: Gilt dit ook voor andere parametrische klassen en voor niet-parametrische klassen van Bayesiaanse netwerken? Aangezien er geen canoniek maatstelsel (zoals het Lebesgue-maat) bestaat voor de ruimte van niet-parametrische verdelingen, is het nodig om een topologische definitie van "typisch" te gebruiken.

2. Methodologie

De auteurs analyseren de typiciteit van trouwheid in verschillende ruimtes en met verschillende topologieën:

Topologische benadering: In plaats van een maat-theoretische benadering (Lebesgue-maat), gebruiken de auteurs topologische concepten. Een set wordt als "typisch" beschouwd als deze open en dicht is in de relevante ruimte. Het complement (ontrouwheid) is dan ergens nergens dicht (nowhere dense) of mager (meager).
Ruimtes en Metrieken:
1. Ruimte van waarnemingsverdelingen: Onderzocht met de totale variatie-metriek ( $d_{TV}$ ). Hier is conditional onafhankelijkheid een gesloten eigenschap.
2. Ruimte van Bayesiaanse netwerken (Markov-kernen): De auteurs introduceren een nieuwe metriek $d^\circ_{TV}$ , die de totale variatie-afstand tussen corresponderende Markov-kernen meet, uniform over de conditionerende variabelen. Dit is cruciaal voor causale modellen waar kernen mechanismen vertegenwoordigen die op alle ouderwaarden gedefinieerd zijn.
3. Parametrische klassen: Conditional exponential families (waaronder lineaire Gaussische en discrete netwerken). Hier wordt de typiciteit onderzocht in de Euclidische parameter-ruimte.
4. Niet-parametrische klassen: Netwerken met uniform gelijkcontinu en uniform begrensde conditionele dichtheden.
Technische hulpmiddelen:
- Interpolatie: De auteurs construeren interpolaties tussen een ontrouw model en een trouw model om te bewijzen dat de set van trouwe modellen dicht is.
- Analyticiteit: Voor exponentiële families wordt gebruikgemaakt van de eigenschap dat onafhankelijkheidsvoorwaarden corresponderen met nulpunten van analytische functies (die een Lebesgue-maat nul hebben).
- Latente variabelen: Uitbreiding naar netwerken met latente variabelen via het concept van de latente projectie (Latent Projection) naar een Acyclic Directed Mixed Graph (ADMG).

3. Belangrijkste Bijdragen en Resultaten

De paper levert een reeks stellingen die de typiciteit van trouwheid generaliseren naar brede klassen van Bayesiaanse netwerken:

A. Niet-parametrische, onbeperkte Bayesiaanse netwerken

Stelling 5: In de ruimte van alle verdelingen die Markov zijn ten opzichte van een DAG $G$ , vormen de trouwe verdelingen een open en dicht set ten opzichte van de totale variatie-metriek. Ontrouw verdelingen zijn ergens nergens dicht.
Stelling 6: In de ruimte van de Bayesiaanse netwerken zelf (de kernen), zijn de trouwe netwerken open en dicht ten opzichte van de nieuwe metriek $d^\circ_{TV}$ .

B. Conditional Exponential Families (Parametrisch)

Stelling 8: Voor reguliere conditional exponential families (waarbij de natuurlijke parameters analytisch zijn), vormen de trouwe parameters een open en dicht set in de parameter-ruimte. Ontrouw parameters hebben Lebesgue-maat nul.
- Dit generaliseert de bekende resultaten van Spirtes et al. (1993) voor lineaire Gaussische netwerken en Meek (1995) voor discrete netwerken.
Stelling 9: De geïnduceerde set van trouwe waarnemingsverdelingen is open en dicht in de zwakke topologie (weak topology). Dit is significant omdat de zwakke topologie direct gerelateerd is aan statistische testbaarheid.

C. Niet-parametrische modellen met gelijkcontinuïteit

Stelling 10 & 11: Voor netwerken met uniform gelijkcontinue en begrensde dichtheden, zijn trouwe netwerken en verdelingen open en dicht respectievelijk in de metriek $d^\circ_{TV}$ en de zwakke topologie.
Lemma 7: Er wordt aangetoond dat er voor realistische ruimtes (zoals $\mathbb{R}^n$ met Lebesgue-maat) altijd een trouw model bestaat binnen deze klasse, wat de dichtheid garandeert.

D. Latente Variabelen

Stelling 6, 10, 13: De resultaten gelden ook voor Bayesiaanse netwerken met latente variabelen, mits trouwheid wordt gedefinieerd ten opzichte van de latente projectie (ADMG) in plaats van de onderliggende DAG.

E. Implicaties voor Causal Discovery

Stelling 13: Omdat de set van trouwe netwerken open en dicht is, en er consistente conditional independence tests bestaan voor deze klassen, zijn sound constraint-based causal discovery algoritmen (zoals PC en FCI) consistent op een open en dicht domein. Dit betekent dat ze voor "bijna alle" (in de topologische zin) netwerken het juiste antwoord geven.

4. Significatie en Discussie

Generalisatie: De paper sluit een belangrijke theoretische lacune door aan te tonen dat de "folklore"-veronderstelling dat trouwheid typisch is, niet alleen geldt voor lineaire Gaussische en discrete modellen, maar voor een zeer brede klasse van parametrische en niet-parametrische modellen.
Topologie vs. Maatstelsel: De auteurs benadrukken het onderscheid tussen topologische typiciteit (open en dicht) en maat-theoretische typiciteit (maat nul). Hoewel ze niet altijd samenvallen, tonen ze aan dat ontrouwheid in beide zin "atypisch" is voor de onderzochte klassen.
Testbaarheid: Een cruciale inzicht is dat de topologische eigenschappen van conditional onafhankelijkheid (geslotenheid in de totale variatie- of zwakke topologie onder bepaalde regulariteitsvoorwaarden) de existentie van consistent conditional independence tests garandeert. Zonder deze regulariteitsvoorwaarden is consistent testen onmogelijk (zoals aangetoond door Shah & Peters, 2020).
Causale Mechanismen: De introductie van de metriek $d^\circ_{TV}$ is een belangrijke bijdrage voor de causale modellering, omdat deze onderscheid maakt tussen netwerken die dezelfde waarnemingsverdeling hebben maar verschillende mechanismen (kernen) op parent-waarden met kans 0. Dit is essentieel voor de interpretatie van causale interventies.

Conclusie:
De auteurs bewijzen dat Bayesiaanse netwerken in een breed scala aan modellen (parametrisch en niet-parametrisch, met en zonder latente variabelen) topologisch typisch trouw zijn. Dit onderbouwt de theoretische validiteit van constraint-based causal discovery algoritmen voor een zeer grote klasse van realistische scenario's, zolang er voldoende regulariteit (zoals continuïteit of analytische structuur) in de verdelingen aanwezig is.