📈 economics

Finite Population Inference for Factorial Designs and Panel Experiments with Imperfect Compliance

Dit artikel stelt een raamwerk voor een eindige populatie vast met niet-parametrische schatters en asymptotische verdelingen om causale effecten in factoriële ontwerpen en panelexperimenten onder imperfecte naleving te analyseren, waarbij het nut ervan wordt aangetoond door middel van simulaties en een heronderzoek van een studie naar stemmobilisatie.

Oorspronkelijke auteurs: Pedro Picchetti

Gepubliceerd 2026-01-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pedro Picchetti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te zoeken wat een plant het hoogst laat groeien. Je hebt een tuin met duizenden planten en je wilt twee dingen testen: het geven van water (Behandeling A) en het geven van meststof (Behandeling B).

In een perfect wereld zou je de helft van de planten vertellen "Krijg water" en de andere helft "Krijg geen water", en hetzelfde doen voor de meststof. Maar in de echte wereld is het een rommelige boel. Sommige planten die jij water gaf, negeren je en blijven droog. In onderzoekstermen wordt dit imperfecte naleving (imperfect compliance) genoemd.

Dit artikel, door Pedro Picchetti, is als een nieuw, superintelligent regelboek om de ware oorzaak-gevolgrelatie in deze rommelige situaties te achterhalen, specifiek wanneer je meerdere dingen tegelijk test (zoals water en meststof) of wanneer je over een periode van tijd test (zoals water geven op maandag, dan op dinsdag, en dan op woensdag).

Hier is de uitsplitsing van de ideeën uit het artikel met behulp van eenvoudige analogieën:

1. Het Probleem: De "Rommelige Tuin"

Standaardmethoden voor het analyseren van experimenten werken vaak niet meer door wanneer:

Meerdere behandelingen betrokken zijn: Je test niet zomaar één ding; je test combinaties (Alleen water, Alleen meststof, Beiden, of Geen van beide).
Mensen de instructies niet opvolgen: Alleen omdat jij een behandeling hebt toegewezen, betekent niet dat het onderwerp de behandeling ook daadwerkelijk heeft ontvangen.
Tijd een rol speelt: In een panelexperiment volg je dezelfde mensen over een bepaalde tijd. Heeft de behandeling van gisteren het resultaat van vandaag beïnvloed?

De auteur stelt dat als je standaard "snelle oplossingen" gebruikt (zoals standaard statistische instrumenten) in deze complexe scenario's, je het verkeerde antwoord krijgt. Het is alsoal proberen de hoogte van een plant te meten terwijl je negeert dat sommige planten extra water hebben gedronken waar ze niet het recht op hadden.

2. De Oplossing: De "Magische Filter" (De Schatter)

De auteur bedenkt een nieuw wiskundig instrument (een niet-parametrische schatter) dat werkt als een magische filter.

Hoe het werkt: Stel je voor dat je een lijst hebt van elk persoon in je experiment. Het instrument kijkt naar wie de behandeling toegewezen kreeg en wie de behandeling daadwerkelijk ontving.
Het concept van de "Complier": Het instrument richt zich alleen op de mensen die precies deden wat hen werd verteld (de "Compliers"). Het negeert de mensen die de behandeling weigerden of de behandeling kregen terwijl dat niet de bedoeling was.
De "Multiple-Difference" Truc: Dit is het geheime ingrediënt van het artikel.
- Als je het effect van één ding wilt weten, vergelijk je de groep die "de opdracht kreeg het te doen" met de groep die "de opdracht kreeg het niet te doen".
- Als je het effect van twee dingen wilt weten (of een opeenvolging in de tijd), gebruikt het instrument een "Difference-in-Differences"-benadering. Het is als een spelletje "Zoek de verschillen", maar dan met vier of meer groepen. Het vergelijkt:
  - (Beiden toegewezen) versus (Geen van beiden toegewezen)
  - (Alleen A toegewezen) versus (Alleen B toegewezen)
- Door deze verschillen van elkaar af te trekken, elimineert het instrument de ruis en isoleert het het ware effect van de specifieke opeenvolging van behandelingen.

3. Het "Eindige Populatie" Perspectief

De meeste statistiekboeken gaan ervan uit dat je een steekproef trekt uit een oneindige oceaan van data. Dit artikel neemt een andere visie in: De tuin is vaststaand.

De auteur zegt: "Laten we aannemen dat deze specifieke 1.000 mensen de enige mensen zijn die bestaan voor dit experiment." De willekeur komt alleen voort uit hoe we de behandelingen toewezen (wie de telefoontjes kreeg, en wie niet), niet uit de mensen zelf. Dit maakt een zeer nauwkeurige manier mogelijk om betrouwbaarheidsintervallen te berekenen (hoe zeker we zijn van ons antwoord) zonder extra aannames te doen over hoe de wereld werkt.

4. Praktijktest: Het "Telefoontjes" Experiment

Om te bewijzen dat het instrument werkt, heeft de auteur het toegepast op een beroemd praktijkexperiment over het stimuleren van jongeren om te gaan stemmen (Get-Out-The-Vote).

De Opzet: Onderzoekers belden jonge kiezers. Sommigen kregen een oproep van een vrijwilliger, sommigen van een professional, sommigen van beiden, en sommigen van niemand.
De Rommel: Niet iedereen nam de telefoon op (imperfecte naleving).
Het Resultaat: Met behulp van dit nieuwe instrument bevestigde de auteur dat telefoontjes het stemmen inderdaad hebben vergroot. Interessant genoeg ontdekten ze dat het krijgen van twee telefoontjes niet twee keer zo effectief was als één telefoontje; het tweede telefoontje had "afnemende meeropbrengsten". Het instrument slaagde erin om de effecten van het telefoontje van de vrijwilliger versus dat van de professional te ontwarren, zelfs toen de data rommelig waren.

5. Waarom Dit Belangrijk Is

Het artikel biedt een rigoureuze, "design-gebaseerde" manier om complexe experimenten te analyseren waarbij:

Er meerdere behandelingen zijn (Factoriële ontwerpen).
Behandelingen plaatsvinden over een bepaalde tijd (Panelexperimenten).
Mensen zich niet altijd aan de regels houden (Imperfecte naleving).

Het biedt een nieuwe manier om het "ware" effect van een opeenvolging van behandelingen te berekenen, waardoor onderzoekers niet worden misleid door de chaos van echte wereldgegevens. De simulaties in het artikel laten zien dat dit nieuwe instrument accuraat en betrouwbaar is, terwijl oudere instrumenten in deze specifieke scenario's vaak vertekende (foutieve) antwoorden geven.

Kortom: Het artikel geeft onderzoekers een betere bril om de ware oorzaak-gevolgrelaties te zien in complexe, meerstaps-experimenten waarbij mensen niet altijd doen wat hen wordt gevraagd.

Technische Samenvatting: Inferentie voor Eindige Populaties bij Factoriële Ontwerpen en Panelexperimenten met Imperfecte Compliance

1. Probleemstelling

Standaard Instrumentele Variabelen (IV) methoden, specifiek het Local Average Treatment Effect (LATE) kader gevestigd door Imbens & Angrist (1994), zijn goed geschikt voor dwarsdoorsnede-instellingen met een enkele binaire behandeling en een enkel binair instrument. Echter, veel empirische toepassingen wijken af van deze canonieke setting. Twee prominente voorbeelden zijn factoriële ontwerpen (waarbij meerdere behandelingen gelijktijdig worden toegewezen) en panelexperimenten (waarbij behandelingen en uitkomsten over de tijd worden waargenomen). In beide instellingen is imperfecte compliance gebruikelijk: eenheden die aan behandeling zijn toegewezen nemen deze niet altijd, en eenheden die aan controle zijn toegewezen blijven niet altijd onbehandeld.

In deze complexe instellingen missen standaard IV-estimanden (zoals two-stage least squares, 2SLS) vaak een rechtstreekse causale interpretatie. Standaard methoden kunnen er niet in slagen om rekening te houden met de specifieke sequenties van behandelingen of de dynamische aard van de behandelingsopname, wat potentieel kan leiden tot misleidende conclusies over causale effecten. Bovelijk heeft de bestaande literatuur over design-gebaseerde inferentie in IV-instellingen zich grotendeels gericht op scenario's met een enkele behandeling, waardoor er een gat is in de procedures voor inferentie van eindige populaties in multi-factor en dynamische instellingen.

2. Methodologie en Kader

Het artikel ontwikkelt een eindige populatie, design-gebaseerd kader voor causale inferentie. Deze benadering behandelt de potentiële uitkomsten en potentiële behandelingen als vaste grootheden voor een eindige populatie van $N$ eenheden, waarbij de onzekerheid uitsluitend voortkomt uit de randomisatie van toewijzingen.

2.1 Kernveronderstellingen

De identificatiestrategie rust op een reeks standaardveronderstellingen die zijn aangepast voor multi-factor en dynamische instellingen:

Geen Spillovers (SUTVA): Potentiële uitkomsten en behandelingen voor een eenheid hangen alleen af van de eigen toewijzingen en behandelingen van die eenheid, wat interferentie tussen eenheden uitsluit.
Exclusie-restricties:
- Uitkomst-exclusie: Toewijzingen beïnvloeden uitkomsten alleen via hun effect op de behandelingsopname.
- Behandeling-exclusie: In factoriële ontwerpen hangt de opname van een behandeling voor factor $k$ alleen af van de toewijzing voor factor $k$ . In panelexperimenten hangt de behandelingsopname op tijdstip $t$ alleen af van de toewijzing op tijdstip $t$ .
Monotoniciteit: Eenheden die aan behandeling zijn toegewezen, zijn minstens even waarschijnlijk om de behandeling te ondergaan als degenen die aan controle zijn toegewezen. Dit maakt de classificatie van eenheden mogelijk in Always-takers, Never-takers en Compliers.
Individualistische/Sequentiële Randomisatie: Toewijzingen zijn onafhankelijk van potentiële uitkomsten en behandelingen, en onafhankelijk over eenheden (of sequentieel gerandomiseerd in panelinstellingen).
Common Support: De propensity scores voor alle mogelijke toewijzingssequenties zijn begrensd tussen nul en één.

2.2 Identificatiestrategie

Het artikel definieert causale effecten voor sequenties van behandelingen (vectoren van factoren of paden over de tijd).

Target Parameters: De focus ligt op het gemiddelde causale effect voor de subpopulatie van compliers voor een specifieke sequentie van toewijzingen. Dit omvat gezamenlijke effecten van meerdere factoren (in factoriële ontwerpen) en lag- $p$ dynamische effecten (in panelexperimenten).
De Multiple-Differences Benadering: Het kerninzicht voor identificatie is dat causale effecten voor een sequentie van behandelingen geïdentificeerd kunnen worden door variaties in de corresponderende sequentie van toewijzingen te exploiteren middels een multiple-differences format.
- Voor een enkele factor reduceert dit tot een standaard Wald-estimator.
- Voor twee factoren (of twee tijdperioden) neemt het de vorm aan van een difference-in-differences.
- Voor drie factoren (of perioden), neemt het de vorm aan van een triple-differences, enzovoort.
Horvitz-Thompson Estimators: De auteur maakt gebruik van Horvitz-Thompson estimanden, gewogen door de inverse van de toewijzingskansen (propensity scores), om lokale responsfuncties te identificeren. Het causale effect wordt vervolgens afgeleid als het verschil tussen deze geïdentificeerde responsfuncties.

2.3 Schatting en Inferentie

Nonparametrische Estimatoren: Het artikel stelt nonparametrische estimatoren voor voor de geïdentificeerde causale effecten. Deze estimatoren worden geconstrueerd door steekproefanalogen van de Horvitz-Thompson grootheden in te vullen.
Asymptotische Eigenschappen: De auteur leidt de eindige populatie asymptotische distributies van deze estimatoren af naarmate de populatiegrootte $N$ toeneemt. De estimatoren blijken consistent over de randomisatiedistributie en asymptotisch normaal te zijn.
Inferentie: Om de onwaarneembaarheid van individuele potentiële uitkomsten op te lossen (wat exacte variantieberekening verhindert), stelt het artikel conservatieve betrouwbaarheidsintervallen voor op basis van de bovengrens van de variantie van de reduced form, volgens de aanpak van Bloom (1984). Deze intervallen zijn geldig onder de gestelde aannames, hoewel ze conservatief kunnen zijn in de aanwezigheid van heterogene causale effecten.

3. Belangrijkste Bijdragen

Nieuwe Identificatie voor Multi-Factor/Dynamische Instellingen: Het artikel biedt een nonparametrische identificatiebenadering voor causale effecten in factoriële ontwerpen en panelexperimenten met imperfecte compliance. Het definieert een rijke klasse van causale effecten (gezamenlijk en dynamisch) die de relatieve effectiviteit van alternatieve behandelingssequenties vastleggen.
Design-gebaseerde Eindige Populatie Inferentie: In tegenstelling tot eerdere werken die vaak steunen op super-populatie aannames, ontwikkelt dit artikel een puur design-gebaseerd perspectief. Het leidt eindige populatie asymptotische distributies af voor IV-estimatoren in instellingen met meerdere behandelingen en instrumenten.
Extensie van de Dynamische IV-literatuur: Het breidt de resultaten van Bojinov et al. (2021) uit naar panelexperimenten met imperfecte compliance. Het toont aan dat standaard IV-estimanden (zoals periode-specifieke 2SLS) over het algemeen geen rechtstreekse causale interpretatie hebben in de aanwezigheid van dynamische causale effecten, zelfs wanneer exclusie-restricties standhouden.
Nieuwe Estimatoren: Het introduceert specifieke Horvitz-Thompson type estimatoren (single-stage voor enkele factoren, multiple-differences voor sequenties) en biedt geldige inferentieprocedures (conservatieve betrouwbaarheidsintervallen) voor deze estimatoren.

4. Resultaten

4.1 Monte Carlo Simulaties

Het artikel voert uitgebreide Monte Carlo-simulaties uit om de eindelijke steekproefeigenschappen van de voorgestelde estimatoren te evalueren.

Factoriële Ontwerpen: In simulaties met $N=1.000$ en $K=2$ factoren vertonen de voorgestelde estimatoren verwaarloosbare bias en betrouwbaarheidsintervallen met dekking die dicht bij het nominale niveau van 95% ligt.
Panelexperimenten: In simulaties met $N=1.000$ en $T=2$ perioden blijven de voorgestelde Horvitz-Thompson estimatoren consistent en onbevooroordeeld. In contrast hiermee vertonen standaard periode-specifieke 2SLS-estimatoren en multivariate 2SLS-estimatoren ernstige bias en slechte dekking (ver onder 95%) wanneer dynamische effecten aanwezig zijn. De simulaties benadrukken dat naarmate het aantal tijdperioden toeneemt, standaard 2SLS-methoden steeds slechter presteren door tijdvariërende heterogeniteit.

4.2 Empirische Toepassing: GOTV Experiment

Het artikel past de factoriële ontwerp-estimator toe op een beroemd stemmobilisatie-experiment door Nickerson (2007), dat de effecten van vrijwillige en professionele telefonische oproepen op de opkomst van jongeren bij verkiezingen bestudeerde.

Bevindingen: De analyse bevestigt dat zowel vrijwillige als professionele oproepen positieve causale effecten hebben op de opkomst.
Interactie-effecten: De resultaten suggereren afnemende meeropbrengsten bij GOTV-inspanningen. Het effect van het ontvangen van beide oproepen is niet significant groter dan het ontvangen van slechts één oproep, en de interactieterm impliceert een negatief effect van het combineren van behandelingen.
Inferentie: De schattingen zijn statistisch significant onder het voorgestelde conservatieve inferentiekader. Het artikel merkt op dat hoewel eerdere studies (Nickerson 2007, Blackwell 2017) vergelijkbare punt-schattingen vonden, de interpretatie van onzekerheid verschilt: dit artikel behandelt de populatie als vast en de toewijzingen als stochastisch, waardoor geldige eindige populatie betrouwbaarheidsintervallen worden geboden.

5. Betekenis en Claims

Het artikel claimt een significante bijdrage te leveren aan de causale inferentie-literatuur door de kloof te overbruggen tussen standaard IV-methoden en complexe experimentele ontwerpen die meerdere behandelingen en tijd-dynamiek bevatten.

Adresseren van Misleidende Conclusies: Het adresseert het risico op misleidende conclusies door standaard IV-methoden in factoriële en panel-instellingen met imperfecte compliance.
Theoretische Rigor: Door een eindige populatie kader te bieden, biedt het een rigoureuze fundering voor inferentie die niet rust op super-populatie aannames, wat bijzonder relevant is voor gerandomiseerde experimenten waarbij de populatie vaststaat.
Praktisch Nut: De voorgestelde estimatoren en inferentieprocedures blijken goed te presteren in simulaties en bieden een robuust instrument voor het heranalyseren van bestaande experimentele data, zoals gedemonstreerd in de GOTV-toepassing.

Het artikel concludeert dat, onder standaard IV-aannames en behandelings-exclusie-restricties, causale effecten geassocieerd met sequenties van behandelingen geïdentificeerd en geschat kunnen worden met behulp van een two-stage multiple-differences benadering, wat een betrouwbaar alternatief biedt voor standaard methoden in complexe experimentele instellingen.