📈 economics

Testing the identification of causal effects in observational data

Dit artikel stelt een op machine learning gebaseerde test voor voor een voorwaardelijke onafhankelijkheidsvoorwaarde die, indien vervuld, zowel een instrumentvariabele valideert als de onverwardheid van behandelingseffecten in observationele data bevestigt, waarbij de toepassing op het onderzoek naar de impact van vruchtbaarheid op het arbeidsaanbod van vrouwen laat zien dat de test suggereert dat het instrument ongeldig is.

Oorspronkelijke auteurs: Martin Huber, Jannis Kueck

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Martin Huber, Jannis Kueck

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert uit te zoeken of een specifieke actie (laten we het Behandeling noemen) daadwerkelijk een specifiek resultaat veroorzaakt (de Uitkomst). Bijvoorbeeld: zorgt het nemen van een nieuwe vitamine (Behandeling) er echt voor dat je sneller loopt (Uitkomst)?

In een perfecte wereld zou je een gecontroleerd experiment uitvoeren: je zou een munt opgooien om te beslissen wie de vitamine krijgt en wie niet. Maar in de echte wereld hebben we vaak alleen maar observatiegegevens — we kijken gewoon wat mensen vanzelf doen. Het probleem is dat mensen die ervoor kiezen om vitamines te nemen, misschien al gezonder of gedisciplineerder zijn dan degenen die dat niet doen. Dit maakt het moeilijk om te zeggen of de vitamine de snelheid veroorzaakte of de natuurlijke discipline van de persoon.

Meestal moeten statistici raden dat ze rekening hebben gehouden met alle andere factoren (zoals dieet, slaap en leeftijd) die de resultaten kunnen verstoren. Ze zeggen: "We gaan ervan uit dat, zodra we rekening houden met deze dingen, de behandeling net zo goed als willekeurig is." Maar tot nu toe was er geen manier om die gok daadwerkelijk te testen.

Het nieuwe gereedschap van de detective: het "Verdachte Instrument"

Dit artikel introduceert een slimme nieuwe manier om die gok te testen. De auteurs stellen voor om een derde variabele te gebruiken, die ze een "Verdacht Instrument" noemen.

Denk aan het Verdachte Instrument als een windvaan die wijst naar de Behandeling, maar de Uitkomst niet direct zou moeten beïnvloeden.

De Opzet: Stel je voor dat je wilt weten of ontbijten (Behandeling) toetsscores (Uitkomst) verbetert.
Het Verdachte Instrument: Je vermoedt dat het tijdstip waarop de schoolbus arriveert (Instrument) bepaalt of een kind ontbijt (ze slaan het misschien over als de bus te laat is).
De Logica: De aankomsttijd van de bus zou een kind niet direct slimmer of dommer moeten maken. Het beïnvloedt de toetsscore alleen via het feit of ze ontbeten hebben.

De Grote Test: De "Conditionele Onafhankelijkheid"-Controle

De auteurs ontdekten een wiskundige regel die fungeert als een lakmoesproef. Ze zeggen:

"Als we kijken naar mensen die ontbeten hebben (Behandeling) en we rekening houden met hun leeftijd en inkomen (Covariaten), zou de Aankomsttijd van de Bus (Verdacht Instrument) geen enkele connectie moeten hebben met hun Toetsscores (Uitkomst)."

Als de aankomsttijd van de bus nog steeds verbonden is met de toetsscores, zelfs nadat we rekening hebben gehouden met ontbijt en andere factoren, dan is er iets mis. Dit betekent dat ofwel:

De bustijd op een andere manier de toetsscores beïnvloedt (misschien maken late bussen kinderen gestrest?), OF
De "ontbijt"-groep in eerste instantie niet willekeurig was (misschien hangt het busrooster samen met de welvaart van de wijk, wat de toetsscores beïnvloedt).

De Magie: Als deze test slaagt (de bustijd is echt niet gerelateerd aan de scores zodra we rekening houden met alles), dan zijn twee dingen tegelijk bewezen waar:

Je "Verdachte Instrument" is een geldig hulpmiddel.
Je "Behandeling" (ontbijt) is effectief willekeurig, wat betekent dat je je resultaten over het causale effect kunt vertrouwen.

Als de test faalt, weet je dat je causale claim wankel is.

Hoe ze het doen: De "Double Machine Learning"-Robot

In het verleden vereiste het uitvoeren van deze test eenvoudige wiskunde die geen complexe data met honderden variabelen kon verwerken (zoals leeftijd, inkomen, opleiding, wijk, weer, enzovoort).

De auteurs gebruikten Double Machine Learning (DML). Stel je een super slimme robot voor die:

Patronen leert: Het kijkt naar alle complexe data om uit te zoeken hoe Bustijd, Ontbijt en Toetsscores met elkaar samenhangen.
Het ruis verwijdert: Het stript de invloed van alle andere factoren (de "covariaten") weg om de pure relatie tussen het Instrument en de Uitkomst te zien.
Het resultaat controleert: Het voert een statistische test uit om te zien of er nog enige connectie overblijft.

Ze noemen het "Double" omdat de robot twee dingen tegelijk leert (hoe het instrument werkt en hoe de uitkomst werkt) en een speciale techniek gebruikt die "cross-fitting" heet om ervoor te zorgen dat de robot de data niet zomaar uit zijn hoofd leert (overfitting), maar echt de regels leert.

De Wereldse Test: Kinderen, Broers en Zussen en Banen

Om te bewijzen dat hun methode werkt, pasten de auteurs deze toe op een beroemde studie over vruchtbaarheid en banen voor vrouwen.

Behandeling: Een derde kind krijgen.
Uitkomst: Hoeveel de moeder werkt.
Verdacht Instrument: De "geslachtsverhouding van broers en zussen" van de eerste twee kinderen. Het idee is: als ouders een mix van jongens en meisjes willen, kan het hebben van twee kinderen van hetzelfde geslacht hen ertoe aanzetten om een derde kind te proberen.

De auteurs voerden hun nieuwe test uit op deze data. Ze ontdekten dat de "geslachtsverhouding van broers en zussen" niet onafhankelijk was van de werktijden van de moeder, zelfs niet nadat ze rekening hielden met zaken zoals het inkomen van de vader en de leeftijd van de moeder.

Wat dit betekent: De test faalde. Dit suggereert dat ofwel de "geslachtsverhouding van broers en zussen" geen perfect willekeurig hulpmiddel is (misschien hebben gezinnen met twee jongens een andere financiële situatie dan gezinnen met twee meisjes), OF dat het krijgen van een derde kind niet zo willekeurig is als we dachten zodra we rekening houden met die factoren. Kortom, de conclusie van het oude onderzoek kan gebrekkig zijn, omdat de aanname van "willekeur" niet standhield onder hun nieuwe microscoop.

Samenvatting

Dit artikel geeft onderzoekers een nieuwe, krachtige vergrootglas. In plaats van blindelings te vertrouwen dat ze rekening hebben gehouden met alle "verwarrende factoren" in hun data, kunnen ze nu een verdacht "instrument" gebruiken om een test uit te voeren. Als de test slaagt, kunnen ze vertrouwen hebben in hun oorzaak-gevolg conclusies. Als hij faalt, weten ze dat ze hun aannames opnieuw moeten overdenken. Ze bouwden dit gereedschap met geavanceerd machine learning om complexe, wereldse data te verwerken.

Technische Samenvatting: Een Testbare Voorwaarde voor Identificatie van Behandelingseffecten

Probleemstelling
In observationele studies berust causale inferentie doorgaans op identificatieaannames die conventioneel als niet-testbaar worden beschouwd. De meest prominente hiervan is de "selectie-op-observabelen"-aanname (of onverwardheid/ignorabiliteit), die stelt dat de behandeling, geconditioneerd op geobserveerde covariaten, zo goed als willekeurig is toegewezen. Of een specifieke set covariaten voldoende is om aan deze aanname te voldoen, wordt gewoonlijk gerechtvaardigd door theorie of intuïtie in plaats van empirisch bewijs. Dit artikel adresseert deze lacune door het bestaan aan te tonen van een testbare voorwaarde voor de identificatie van causale effecten in observationele data, mits de data zowel een set covariaten om voor te controleren als een "vermoedelijk instrument" bevat.

Methodologie en Theoretisch Kader
De auteurs stellen een kader voor dat gezamenlijk de validiteit van een vermoedelijk instrument en de selectie-op-observabelen-aanname voor de behandeling test. De aanpak rust op een specifieke causale structuur (Aanname 1) die wordt gekenmerkt door:

Geen Omgekeerde Causaliteit: Het resultaat veroorzaakt niet de behandeling, covariaten of het vermoedelijke instrument; de behandeling veroorzaakt niet de covariaten of het instrument.
Causale Trouw: Statistische onafhankelijkheid impliceert d-separatie (geen causale paden), en omgekeerd.
Gemeenschappelijke Ondersteuning: Alle combinaties van behandelings- en instrumentwaarden bestaan geconditioneerd op covariaten.
Conditionele Afhankelijkheid: Het vermoedelijke instrument is statistisch geassocieerd met de behandeling geconditioneerd op covariaten (eerstefase-effect).

Onder deze voorwaarden stelt het artikel een fundamenteel theoretisch resultaat vast (Stelling 1): De conditionele onafhankelijkheid van het vermoedelijke instrument ( $Z$ ) en het resultaat ( $Y$ ) gegeven de behandeling ( $D$ ) en covariaten ( $X$ ) is een noodzakelijke en voldoende voorwaarde voor de gezamenlijke voldoening aan:

Instrumentvaliditeit (A): $Z$ beïnvloedt $Y$ niet direct en is onverward geconditioneerd op $X$ .
Selectie-op-observabelen (B): $D$ is onverward geconditioneerd op $X$ .

Gevolg hiervan is dat, indien de testbare voorwaarde $Y \perp\!\!\perp Z | D, X$ geldt, beide aannames zijn voldaan en het behandelingseffect is geïdentificeerd. Het artikel breidt dit ook uit tot conditionele gemiddelde-onafhankelijkheid (Stelling 2) voor het beoordelen van Gemiddelde Behandelingseffecten (ATE).

Testbenaderingen
Om de conditionele onafhankelijkheidsvoorwaarde in hoog-dimensionale settings te testen, stellen de auteurs methoden voor gebaseerd op Double Machine Learning (DML) (Chernozhukov et al., 2018), wat datagedreven controle van covariaten toelaat terwijl wenselijke asymptotische eigenschappen behouden blijven.

Dubbel Robuuste (DR) Schatting: De auteurs construeren een test gebaseerd op het gemiddelde verschil in conditionele gemiddelden ( $\Delta$ ). Zij maken gebruik van een dubbel robuuste scorefunctie die schattingen combineert van het conditionele gemiddelde resultaat en de instrumentpropensiteitsscore. Door cross-fitting toe te passen, bereiken zij root- $n$ consistentie en asymptotische normaliteit, zelfs bij het gebruik van flexibele machine learning-algoritmen voor de schatting van storende parameters.
Detectie van Heterogeniteit: Om het probleem aan te pakken dat middeling schendingen kan maskeren, stellen de auteurs een algoritme voor om heterogeniteit in schendingen over covariatenwaarden te detecteren. Dit houdt in dat de steekproef wordt gesplitst, machine learning (bijv. beslisbomen) wordt gebruikt om subgroepen te identificeren waar schendingen waarschijnlijk zijn, en conditionele onafhankelijkheid binnen deze subgroepen wordt getest.
Globale Kwadratische Verschiltest: Een tweede benadering test de globale nulhypothese dat het kwadratische verschil in conditionele gemiddelden nul is ( $E[(\mu(1, D, X) - \mu(0, D, X))^2] = 0$ ). Deze methode gebruikt een $L_2$ -achtige geaggregeerde maat en introduceert een hulpvariabele om ervoor te zorgen dat de teststatistiek onder de nul een niet-ontartte verdeling heeft.

Simulatie-resultaten
Het artikel evalueert de prestaties in eindige steekproeven van deze tests via simulaties met 50 covariaten en steekproefgroottes van 1.000 en 4.000.

Empirische Grootte: Onder de nulhypothese (waar aannames gelden) handhaven de tests over het algemeen empirische verwerpingssnelheden die dicht bij het nominale niveau van 10% liggen.
Kracht: De tests vertonen een fatsoenlijke kracht bij het detecteren van schendingen. De op DR gebaseerde test is effectief wanneer schendingen uniform zijn, terwijl de kwadratische verschiltest hoge kracht vertoont, zelfs wanneer schendingen heterogeen zijn over covariaten.
Meervoudig Testen: Bij het testen op heterogeniteit over subgroepen vinden de auteurs dat, hoewel de kracht toeneemt met de steekproefgrootte, correcties voor meervoudig testen (Bonferroni of multiplier bootstrap) noodzakelijk zijn om de rate van valse ontdekkingen te controleren, hoewel dit de kracht in kleinere substeekproeven kan verminderen.

Empirische Toepassing
De methodologie wordt toegepast op data van de Amerikaanse volkstelling (Angrist and Evans, 1998) om de impact van vruchtbaarheid op het arbeidsaanbod van vrouwen te evalueren, waarbij de geslachtsverhouding van de eerste twee kinderen wordt gebruikt als een vermoedelijk instrument.

Vondsten: De tests verwerpen de nulhypothese van conditionele onafhankelijkheid. Specifiek levert de kwadratische verschiltest een p-waarde op die dicht bij nul ligt, en is de DR-test significant op het 5%-niveau.
Interpretatie: De resultaten suggereren een schending van de testbare implicatie. Gezien de gematigde set socio-economische covariaten (leeftijd van de moeder, inkomen van de vader, enz.) impliceert dit dat óf de selectie-op-observabelen-aanname faalt, óf de geslachtsverhouding van broers en zussen geen geldig instrument is, óf beide. De heterogeniteitsanalyse geeft aan dat schendingen vooral uitgesproken zijn bij gezinnen met een hoger inkomen van de vader.

Betekenis en Aanspraken
Het artikel claimt een praktische oplossing te bieden voor een langdurig probleem in causale inferentie: het onvermogen om de kernaannames te testen die vereist zijn voor identificatie in observationele data.

Gezamenlijke Test: In tegenstelling tot eerdere literatuur die vaak een geldig instrument aanneemt om selectie-op-observabelen te testen (of omgekeerd), test deze aanpak beide voorwaarden gezamenlijk. Het vereist niet dat de onderzoeker a priori gelooft dat het instrument geldig is; eerder dient het instrument als een hulpvariabele om de validiteit van de selectie-op-observabelen-aanname te testen.
Flexibiliteit: Door gebruik te maken van Double Machine Learning, komt de aanpak hoog-dimensionale covariaten en niet-lineaire relaties tegemoet zonder te vertrouwen op parametrische aannames die verkeerd gespecificeerd kunnen zijn.
Voorbehoud: De auteurs zijn bescheiden wat betreft de reikwijdte van hun claims. Zij merken op dat de testbare voorwaarde rust op specifieke causale aannames (trouw, geen omgekeerde causaliteit). Bovendien, hoewel de test schendingen kan detecteren, wijst deze niet zonder verdere aannames de exacte bron van falen aan (ongeldigheid van het instrument versus ongeobserveerde verwardheid van de behandeling). De aanpak wordt gepresenteerd als een diagnostisch hulpmiddel om de geloofwaardigheid van identificatiestrategieën te beoordelen, in plaats van een methode om nieuwe causale schattingen te genereren bij aanwezigheid van schendingen.