📊 statistics

Testing Partially-Identifiable Causal Queries Using Ternary Tests

Deze paper introduceert ternaire statistische tests om hypothese-toetsing voor gedeeltelijk identificeerbare causale vragen op te lossen, waarbij wordt aangetoond dat het combineren van binaire tests voldoende is en hoe topologische voorwaarden kunnen worden gebruikt om tests te construeren voor instrumentvariabelen en behandelingseffectiviteit.

Oorspronkelijke auteurs: Sourbh Bhadane, Joris M. Mooij, Philip Boeken, Onno Zoeter

Gepubliceerd 2026-02-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sourbh Bhadane, Joris M. Mooij, Philip Boeken, Onno Zoeter

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert een mysterie op te lossen, maar je hebt alleen maar getuigenverklaringen (observatiegegevens) en geen toegang tot de daadwerkelijke gebeurtenis (de oorzaak). Soms is het antwoord duidelijk: "Ja, de verdachte heeft het gedaan" of "Nee, dat kan niet". Maar vaak zit er een grijs gebied. De getuigen kunnen een verhaal vertellen dat zowel past bij "schuld" als bij "onschuld". In de statistische wereld noemen we dit gedeeltelijk identificeerbare vragen.

Dit paper, getiteld "Testing Partially-Identifiable Causal Queries Using Ternary Tests", komt met een slimme oplossing voor dit probleem. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De Twee-Wegs Straat

Stel je voor dat je een twee-wegs verkeerslicht hebt (Ja/Nee).

Als je een auto ziet die rood rijdt, weet je zeker dat de bestuurder de regels overtreedt (Ja).
Maar wat als je een auto ziet die stilstaat? Is hij aan het wachten op een groen licht, of rijdt hij gewoon niet? Met een simpel Ja/Nee-systeem kun je dit niet altijd onderscheiden als de situatie "grijs" is.

In de wetenschap gebeurt dit vaak. We willen weten of een medicijn werkt (Oorzaak), maar we hebben alleen data van mensen die het al hebben genomen (Observatie). Soms zien we een effect dat door het medicijn komt, maar soms ook door een verborgen factor (zoals geluk of een andere ziekte).
Als we een gewone test (Ja/Nee) gebruiken in deze grijze zone, krijgen we een vervelend probleem:

Als de test "Nee" zegt, weten we zeker dat het medicijn werkt.
Maar als de test "Ja" zegt (geen bewijs tegen), kunnen we niet zeggen "het werkt niet". We kunnen alleen zeggen: "We weten het niet, het is te vaag."
Dit is frustrerend. Een "Nee" antwoord is dan eigenlijk geen echt antwoord, maar een erkenning van onwetendheid.

2. De Oplossing: Het Drie-Wegs Verkeerslicht

De auteurs zeggen: "Waarom blijven we vastzitten in een Ja/Nee-systeem als de werkelijkheid drie kanten heeft?" Ze stellen een ternair (drie-uitkomst) test voor.

In plaats van alleen "Ja" of "Nee", geeft deze test drie mogelijke antwoorden:

Ja, het is zeker zo (We kunnen de oorzaak bevestigen).
Nee, het is zeker niet zo (We kunnen de oorzaak ontkennen).
Weet ik niet / Onbepaald (De data is te vaag om een oordeel te vellen).

De Metafoor van de Schatkaart:
Stel je zoekt naar een schat op een eiland.

Ja: Je vindt de kist. (Zekerheid).
Nee: Je vindt een leeg gat waar de kist nooit kon zijn. (Zekerheid).
Onbepaald: Je ziet een mistbank. De kist kan erachter zitten, maar hij kan er ook niet zijn. Een slimme schatzoeker zegt niet "Er is geen schat", maar "Ik kan het nu niet zien".

3. Hoe werkt dit in de praktijk? (De Twee-Stappen Methode)

Je vraagt je misschien af: "Hoe bouw je zo'n drie-uitkomst test als we alleen maar tools hebben voor twee-uitkomst tests?"

De auteurs tonen aan dat je dit kunt doen door twee gewone tests achter elkaar te spelen, zoals een twee-staps security check:

Stap 1 (De Poortwachter): Kijkt eerst of we überhaupt in de juiste buurt zitten.
- Voorbeeld: Is de mist weg? (Is de data betrouwbaar genoeg?)
- Als de poortwachter zegt "Nee, te veel mist", dan is het antwoord direct: "Onbepaald". Je hoeft niet verder te kijken.
Stap 2 (De Detectives): Als de poortwachter zegt "Ja, de mist is weg", dan sturen we de detectives erop af om te kijken of het de schat is of een leeg gat.
- Als de detectives een kist vinden -> Ja.
- Als ze een leeg gat vinden -> Nee.

De paper bewijst wiskundig dat deze "twee-staps" methode net zo goed werkt als elke andere complexe methode die je zou kunnen bedenken. Het is een slimme manier om bestaande gereedschappen (de gewone tests) te gebruiken voor een nieuw, slimmer doel.

4. Twee Concrete Voorbeelden uit het Paper

De auteurs laten zien hoe dit werkt in twee echte situaties:

A. De Instrumentele Variabele (IV) Test (De "Gevangenis" Test)
Stel je wilt weten of een bepaald medicijn werkt, maar je kunt geen experiment doen. Je gebruikt een "instrument" (bijvoorbeeld: wie er toevallig in een bepaalde stad woont, wat toevallig invloed heeft op wie het medicijn krijgt).

Soms is de data zo vaag (bijvoorbeeld: niemand in een bepaalde groep heeft het medicijn gekregen) dat je niets kunt zeggen.
Met hun nieuwe test zeggen ze eerst: "Is er überhaupt genoeg data?" (De positiviteitstest).
- Nee? -> Onbepaald.
- Ja? -> Dan testen ze of de regels kloppen.
- Kloppen de regels? -> Ja, het model is geldig.
- Kloppen ze niet? -> Nee, het model is fout.

B. Het Vergelijken van Behandelingsresultaten (De "Scorebord" Test)
Stel je wilt weten of een nieuw medicijn beter is dan een oude, maar je hebt alleen data van mensen die het al hebben gebruikt. Je wilt weten: "Is het succespercentage hoger dan 70%?"

De oude methode zou zeggen: "We weten het niet zeker."
De nieuwe methode kijkt eerst: "Zijn de grenzen van de data zo vaag dat we niets kunnen zeggen?"
- Als de data te vaag is -> Onbepaald.
- Als de data duidelijk is -> Ja (het is >70%) of Nee (het is <70%).

Waarom is dit belangrijk?

Vroeger gaven statistische tests in deze grijze gebieden vaak een vals gevoel van zekerheid of een nutteloos "we weten het niet".
Met deze drie-uitkomst test:

We krijgen duidelijkheid waar het kan.
We erkennen eerlijk waar het niet kan (de "Onbepaald" uitkomst is een waardevol antwoord, geen mislukking).
We gebruiken bestaande tools op een slimme manier, zodat onderzoekers niet alles opnieuw hoeven uit te vinden.

Kortom: Het paper leert ons dat in een wereld vol onzekerheid, het soms slimmer is om drie knoppen te hebben in plaats van twee. Soms is het juiste antwoord namelijk: "Ik kan het nu nog niet zeggen."

Probleemstelling

Het artikel adresseert het fundamentele probleem van het testen van binaire causale hypothesen (bijv. "bestaat er een causaal effect?" of "is er een directe kousale relatie?") op basis van observationele data.

Identificeerbaarheid: Een causale query is identificeerbaar als verschillende causale modellen die dezelfde observationele verdeling genereren, ook overeenstemmen over de waarde van de query. Vaak zijn causale queries echter niet identificeerbaar (bijvoorbeeld door ongemeten confounders) of gedeeltelijk identificeerbaar.
Het dilemma van binaire tests: Wanneer een query gedeeltelijk identificeerbaar is, overlappen de verzamelingen van observationele verdelingen die corresponderen met de nulhypothese ( $H_0$ $H_{0}$ ) en de alternatieve hypothese ( $H_1$ $H_{1}$ ).
- Bij een standaard binaire statistische test (uitkomst: verwerpen of niet-verwerpen) leidt het verwerpen van de nulhypothese tot een geldige causale conclusie.
- Echter, het niet verwerpen van de nulhypothese is problematisch: het kan betekenen dat de waarheid inderdaad $H_0$ is, maar het kan ook betekenen dat de waarheid in het overlapgebied ligt (waar zowel $H_0$ als $H_1$ mogelijk zijn). Een binaire test kan dit onderscheid niet maken en leidt tot een onduidelijke conclusie ("niet identificeerbaar").

Methodologie

De auteurs stellen een nieuw raamwerk voor dat gebruikmaakt van ternaire (drie-uitkomst) statistische tests om dit probleem op te lossen.

Ternaire Uitkomsten: In plaats van slechts twee uitkomsten, levert de test drie mogelijke resultaten op:
- 0: Verwerp de nulhypothese (de data ondersteunt $H_1$ ).
- 1: Verwerp de alternatieve hypothese (de data ondersteunt $H_0$ ).
- 2: "Niet identificeerbaar" (de data valt in het overlapgebied $R_2 = H_0 \cap H_1$ ).
- De verzameling van alle mogelijke verdelingen $W$ wordt opgesplitst in drie disjuncte sets: $R_0 = H_0 \setminus H_1$ , $R_1 = H_1 \setminus H_0$ , en $R_2 = H_0 \cap H_1$ .
Topologische Voorwaarden: De auteurs definiëren wenselijke eigenschappen voor deze tests, zoals uniforme consistentie (de foutkans gaat naar 0 voor alle verdelingen in de hypothese). Ze tonen aan dat het bestaan van een "goede" ternaire test gekarakteriseerd kan worden door topologische eigenschappen van de hypothesen in de ruimte van waarschijnlijkheidsmaatregelen (met de zwakke topologie):
- Sets waarvoor een fout moet worden gecontroleerd (bijv. $R_0$ of $R_1$ ) moeten gesloten zijn.
- Sets waarvoor geen specifieke foutcontrole vereist is, moeten $F_\sigma$ (aftelbare unie van gesloten verzamelingen) zijn.
Twee-staps Ternaire Tests: Om de bestaande toolbox van binaire tests te benutten, introduceren de auteurs een constructiemethode genaamd "two-stage ternary tests".
- Fase 1: Een binaire test wordt uitgevoerd om te bepalen of de data in een specifieke set (bijv. $R_2$ ) zit of in de complementaire set.
- Fase 2: Afhankelijk van de uitkomst van Fase 1, wordt een tweede binaire test uitgevoerd om het onderscheid te maken tussen de resterende sets (bijv. $R_0$ vs $R_1$ ).
- Er worden twee structuren onderscheiden: Split-Null (SN) en Split-Alternative (SA).
Volledigheid (Completeness): Het belangrijkste theoretische resultaat is dat deze twee-staps constructie volledig is. Dit betekent dat als er enige ternaire test bestaat die voldoet aan de topologische voorwaarden voor foutcontrole, er ook een twee-staps test bestaat die dezelfde foutcontrole garandeert. De topologische voorwaarden zijn dus zowel noodzakelijk als voldoende.

Belangrijkste Bijdragen

Formalisatie van Gedeeltelijke Identificeerbaarheid: Het artikel biedt een rigoureuze statistische formalisatie voor het testen van gedeeltelijk identificeerbare causale queries, waarbij het onderscheid tussen "verkeerd verwerpen/niet verwerpen" en "niet identificeerbaar" expliciet wordt gemaakt.
Topologische Karakterisering: Het biedt equivalente topologische voorwaarden (geslotenheid vs. $F_\sigma$ ) die bepalen of een ternaire test met gegarandeerde foutcontrole überhaupt bestaat.
Constructieve Methode: Het bewijst dat het combineren van bestaande binaire tests in een twee-staps schema voldoende is om optimale ternaire tests te bouwen, waardoor de praktijktoepasbaarheid sterk wordt vergroot.
Toepassingsrichtlijnen: Het biedt een "beslissingsboom" (gebaseerd op de topologische eigenschappen van $R_0, R_1, R_2$ ) voor onderzoekers om te bepalen welke twee-staps structuur (SN of SA) het beste past bij hun specifieke causale vraagstuk.

Resultaten en Toepassingen

De auteurs demonstreren de methode op twee concrete causale vraagstukken:

Testen van Instrumentele Variabelen (IV) Ongelijkheden:
- Context: Het testen of een instrumentele variabele (IV) model geldig is, wat leidt tot ongelijkheden in de interventieve verdeling.
- Uitdaging: De overlap ( $R_2$ ) treedt op wanneer de "positiviteit" van het instrument wordt geschonden (sommige instrumentwaarden komen niet voor in de data).
- Oplossing: Een SA-test (Split-Alternative) wordt voorgesteld. Eerst wordt getest op positiviteit (is de data in $R_2$ ?). Zo niet, dan wordt de IV-ongelijkheid getest.
- Resultaat: De methode kan onderscheiden tussen een schending van de IV-ongelijkheid en een schending van de positiviteit.
Vergelijken van Behandelingswerkzaamheid:
- Context: Het vergelijken van de effectiviteit van een behandeling uit observationele data met een drempelwaarde (bijv. uit een gerandomiseerd gecontroleerd onderzoek).
- Uitdaging: Door ongemeten confounders zijn de grenzen van de causale effecten (Manski bounds) vaak breed, wat overlap veroorzaakt tussen de hypothese dat de effectiviteit boven de drempel ligt en dat deze eronder ligt.
- Oplossing: Een SN-test (Split-Null) wordt gebruikt, waarbij eerst wordt getest of de data in het overlapgebied zit, en vervolgens wordt onderscheid gemaakt tussen de specifieke hypothesen.
- Simulatie: Numerieke experimenten tonen aan dat de voorgestelde ternaire test (Algorithm 2) een hogere "Probability of Correct Detection" (PCD) heeft dan een naïeve benadering die gebruikmaakt van betrouwbaarheidsintervallen van de Manski-bounds.

Significantie

Dit werk is significant omdat het een brug slaat tussen de theorie van gedeeltelijke identificeerbaarheid en de praktische statistische inferentie.

Het lost het probleem op dat binaire tests onvoldoende informatie geven bij gedeeltelijke identificeerbaarheid, wat vaak leidt tot misleidende conclusies in de causale inferentie.
Door te bewijzen dat twee-staps tests voldoende zijn, maakt het de toepassing van geavanceerde causale testen haalbaar voor onderzoekers die al vertrouwd zijn met binaire tests.
Het biedt een theoretisch fundament (topologische voorwaarden) om te bepalen of een specifieke causale vraag überhaupt testbaar is met gegarandeerde foutcontrole, wat de robuustheid van causale conclusies in de praktijk verhoogt.