📈 economics

Sensitivity Analysis for Instrumental Variables Under Joint Relaxations of Monotonicity and Independence

Dit artikel ontwikkelt een 'breakdown frontier'-benadering om de gevoeligheid van schattingen van lokale gemiddelde behandelingseffecten (LATE) te beoordelen bij gezamenlijke schendingen van de aannames van monotonie en instrumentonafhankelijkheid, en past deze toe op de relatie tussen gezinsgrootte en werkloosheid.

Oorspronkelijke auteurs: Pedro Picchetti

Gepubliceerd 2026-03-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pedro Picchetti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kern: Een "Scheurtest" voor Wetenschappelijke Bewijzen

Stel je voor dat je een wetenschappelijke studie leest die zegt: "Het hebben van meer kinderen maakt vrouwen minder geneigd om te werken." De onderzoekers gebruiken een slimme truc (een instrumentele variabele) om dit te bewijzen, omdat ze niet zomaar mensen kunnen dwingen om meer kinderen te krijgen voor een experiment.

In de wereld van statistiek zijn er echter strenge regels om deze truc te laten werken. Als je één van deze regels overtreedt, kan je hele conclusie instorten. Pedro Picchetti heeft een nieuwe manier bedacht om te testen hoe sterk die regels eigenlijk zijn. Hij noemt dit de "Scheurtest" (in het Engels: Breakdown Frontier).

1. Het Probleem: De Broze Bruggen

Om een oorzaak-gevolgrelatie te vinden (zoals: "Meer kinderen $\rightarrow$ Minder werk"), bouwen onderzoekers een brug van aannames. Twee van de belangrijkste pijlers van deze brug zijn:

Onafhankelijkheid: Het instrument (bijvoorbeeld: of de eerste twee kinderen een jongen of meisje zijn) mag niets te maken hebben met andere factoren die het werkgedrag beïnvloeden.
- Metafoor: Stel je voor dat je een dobbelsteen gebruikt om te beslissen of iemand een medicijn krijgt. Als de dobbelsteen "gevalst" is en vaak op 6 landt bij mensen die al ziek zijn, is je experiment waardeloos.
Monotonie: Iedereen reageert op het instrument op dezelfde manier. Als het instrument zegt "ga voor behandeling", dan doen ze dat allemaal (of niemand doet het). Er zijn geen mensen die juist het tegenovergestelde doen.
- Metafoor: Stel je een leraar voor die zegt: "Wie een A haalt, krijgt een prijs." De regel is: als je een A haalt, krijg je een prijs. Maar wat als er een leerling is die zegt: "Ik haal een A, maar ik wil juist géén prijs"? Dat is een "defiant" (een rebel). Als er te veel rebellen zijn, werkt de logica niet meer.

In de echte wereld weten we nooit 100% zeker of deze regels kloppen. Picchetti vraagt zich af: "Hoeveel van deze regels mogen we overtreden voordat onze conclusie (dat kinderen het werkgedrag beïnvloeden) niet meer waar is?"

2. De Oplossing: De Scheurkaart

Picchetti heeft een nieuwe kaart getekend, de Scheurkaart (Breakdown Frontier).

Hoe het werkt: Stel je een stuk touw voor dat een brug vasthoudt. Je trekt aan het touw.
- Als je heel zachtjes trekt (kleine overtreding van de regels), blijft de brug staan.
- Als je hard trekt (grote overtreding), breekt de brug en valt je conclusie in duigen.
De Scheurkaart laat precies zien waar dat breekpunt ligt. Het toont een lijn op een grafiek. Alles onder die lijn betekent: "Onze conclusie is nog steeds veilig, zelfs als de regels een beetje niet kloppen." Alles boven die lijn betekent: "Hier is de brug kapot; we kunnen niets meer zeggen."

Het mooie is dat hij twee soorten trekkracht tegelijk meet:

Hoeveel "gevalste dobbelstenen" (overtreding van onafhankelijkheid) mogen er zijn?
Hoeveel "rebellen" (overtreding van monotonie) mogen er zijn?

De kaart laat zien dat je vaak een beetje van het ene mag hebben, als je maar heel weinig van het andere hebt. Het is een afweging.

3. De Praktijk: De Klassieke Studie over Kinderen

Picchetti heeft zijn methode getest op een beroemde studie uit 1998 van Angrist en Evans. Die studie gebruikte het geslacht van de eerste twee kinderen als instrument om te kijken of een derde kind het werkgedrag van moeders beïnvloedt.

Wat vond hij?
Toen hij zijn "Scheurtest" toepaste, bleek dat de brug van deze klassieke studie extreem fragiel was.

Zelfs heel kleine twijfels over de regels (bijvoorbeeld: wat als er maar 1% van de moeders is die juist wel een derde kind wil als ze twee jongens hebben, terwijl de studie dat uitgaat?) waren genoeg om de brug te laten instorten.
De conclusie dat "meer kinderen leiden tot minder werk" bleek niet robuust. Als je de regels ook maar een heel klein beetje versoepelt, verdwijnt het bewijs.

4. Waarom is dit belangrijk?

Vroeger zeiden onderzoekers vaak: "Als we aannemen dat X en Y kloppen, dan is ons antwoord Z." Maar als die aannames niet 100% waar zijn (wat ze bijna nooit zijn), wisten we niet hoe groot het risico was.

Picchetti's methode geeft onderzoekers en lezers een veiligheidsmarge. Het zegt:

"Je kunt je conclusie alleen vertrouwen als je bereid bent te geloven dat de regels bijna perfect kloppen. Als je denkt dat er een klein beetje twijfel is, dan is je conclusie misschien waardeloos."

Samenvatting in één zin

Pedro Picchetti heeft een nieuwe meetlat bedacht die precies aangeeft hoeveel onwaarheden in een wetenschappelijke studie er mogen zijn voordat de hele conclusie instort, en hij toont aan dat veel bekende studies over de effecten van gezinsgrootte op werk, op dit punt heel kwetsbaar zijn.

Titel: Sensitiviteitsanalyse voor Instrumentvariabelen onder Gecombineerde Relaxaties van Monotonie en Onafhankelijkheid

1. Probleemstelling

Instrumentvariabelen (IV) zijn een hoeksteen in de empirische sociale wetenschappen voor het schatten van causale effecten, zoals het Local Average Treatment Effect (LATE). De geldigheid van IV-schattingen rust echter op strenge aannames:

Onafhankelijkheid: De instrumentvariabele is onafhankelijk van potentiële uitkomsten en behandeling, gegeven covariaten.
Monotonie: Het instrument beïnvloedt de behandeling voor iedereen in dezelfde richting (geen "defiers" of tegenstanders).

In de praktijk zijn deze aannames vaak niet verifieerbaar. Onderzoekers zijn steeds sceptischer geworden over IV-methoden wanneer deze aannames twijfelachtig zijn. Bestaande literatuur richt zich vaak op het analyseren van schendingen van ofwel onafhankelijkheid ofwel monotonie, maar zelden op de gecombineerde impact van beide. Het paper adresseert de vraag: wat kunnen we leren over causale effecten als we beide aannames gelijktijdig versoepelen?

2. Methodologie

De auteur ontwikkelt een breakdown frontier-benadering (een grens van ineenstorting) om de robuustheid van IV-schattingen te kwantificeren. De methode omvat de volgende technische stappen:

Parametrisatie van Schendingen:
- Onafhankelijkheid: Schendingen worden gemodelleerd met behulp van $c$ -afhankelijkheid (Masten & Poirier, 2018). De parameter $c$ begrenst het verschil tussen de kans op toewijzing gegeven potentiële uitkomsten en de geobserveerde propensiteitsscore. $c=0$ impliceert volledige onafhankelijkheid.
- Monotonie: De aanname wordt versoepeld door het toestaan van een aandeel defiers ( $\pi_{def}$ ), maar met de restrictie dat dit aandeel kleiner blijft dan het aandeel compliers ( $\pi_{co}$ ). Dit zorgt ervoor dat het eerste-stadium-effect positief blijft.
Partial Identification (Gedeeltelijke Identificatie):
- De auteur leidt scherpe geïdentificeerde sets af voor potentiële uitkomsten en behandelingen onder de aannames van $c$ -afhankelijkheid en een beperkt aandeel defiers.
- Hieruit worden bovengrenzen en ondergrenzen afgeleid voor de Intention-to-Treat (ITT) en de LATE.
- Er worden ook grenzen afgeleid voor het Average Treatment Effect (ATE), aangezien de LATE minder relevant wordt zodra de populatie van compliers niet meer punt-geïdentificeerd is.
Breakdown Frontier:
- De kern van de methode is de definitie van de breakdown frontier: de set van combinaties van $(c, \pi_{def})$ waarvoor een specifieke conclusie (bijv. "het effect is positief") nog steeds geldt.
- Dit creëert een visuele en kwantitatieve trade-off tussen de tolerantie voor schendingen van onafhankelijkheid en monotonie.
Econometrische Inferentie:
- Er worden niet-parametrische schatters voorgesteld voor de grenzen en de breakdown frontiers.
- Omdat de functies voor de grenzen niet-differentieerbaar zijn (vanwege min/max-operatoren), is de standaard niet-parametrische bootstrap inconsistent.
- De auteur gebruikt de Hadamard-directioneel differentieerbare delta-methode (Fang & Santos, 2018) en een numerieke derivative bootstrap (Hong & Li, 2018) om geldige uniforme betrouwbaarheidsbanden te construeren.

3. Belangrijkste Bijdragen

Gecombineerde Analyse: Dit is een van de eerste papers die een geïntegreerde framework biedt voor het analyseren van schendingen van zowel onafhankelijkheid als monotonie in IV-settings met binaire uitkomsten.
Eenheden van Sensitiviteit: Een unieke eigenschap is dat de sensitiviteitsparameters $c$ (voor onafhankelijkheid) en $\pi_{def}$ (voor monotonie) in dezelfde eenheid worden gemeten (kans-eenheden). Dit maakt de interpretatie van de trade-offs in de breakdown frontier directer en intuïtiever.
Inferentieprocedure: De paper levert een geldige bootstrap-procedure voor breakdown frontiers in settings met niet-compliance, wat een technische uitdaging is vanwege de niet-gladde aard van de schatters.
ATE vs. LATE: De paper benadrukt dat bij schendingen van IV-aannames de focus moet verschuiven van LATE naar ATE, en biedt daarvoor nieuwe identificatie-grenzen.

4. Resultaten

Theoretische Resultaten: De auteur bewijst dat de afgeleide geïdentificeerde sets scherp zijn onder specifieke voorwaarden (bijv. wanneer $c$ klein is en de Fréchet-grenzen worden gerespecteerd). De asymptotische eigenschappen van de schatters worden bewezen, waarbij ze convergeren naar een niet-Gaussisch proces.
Monte Carlo Simulaties: Simulaties tonen aan dat de schatters goede eigenschappen hebben in eindige steekproeven. De schatters vertonen een kleine bias en de uniforme betrouwbaarheidsbanden dekken de waarheid met de verwachte frequentie.
Empirische Toepassing (Angrist & Evans, 1998):
- De methode wordt toegepast op de klassieke studie over het effect van gezinsgrootte op vrouwelijke werkloosheid (met geslacht van de eerste twee kinderen als instrument).
- Calibratie: De auteur calibratieert de sensitiviteitsparameters op basis van externe data (een Peruaanse enquête voor monotonie en selectie op observabelen voor onafhankelijkheid).
- Conclusie: De breakdown frontier toont aan dat de kwalitatieve conclusie van Angrist & Evans (dat een groter gezin de werkgelegenheid verlaagt) zeer gevoelig is. Zelfs kleine schendingen van de onafhankelijkheid (kleiner dan 0,004) of monotonie (kleiner dan 0,008) zijn voldoende om de conclusie ongeldig te maken. De resultaten zijn dus niet robuust.

5. Betekenis en Implicaties

Dit paper biedt een krachtig nieuw instrument voor empirisch onderzoekers om de geloofwaardigheid van IV-studies te testen. In plaats van te vragen of een schatting "waar" is, stelt het paper de vraag: "Hoeveel afwijking van de ideale aannames is nodig voordat onze conclusie instort?"

De bevindingen suggereren dat veel bestaande IV-studies, die vaak gebaseerd zijn op aannames die moeilijk te verdedigen zijn, mogelijk kwetsbaar zijn voor kleine schendingen. De breakdown frontier biedt een transparante manier om deze onzekerheid te communiceren en te kwantificeren, wat essentieel is voor het verbeteren van de robustheid van causale inferentie in de sociale wetenschappen.