📈 economics

Randomization Tests in Randomized Saturation Designs

Dit artikel ontwikkelt voor eindstele validiteit en asymptotisch gerechtvaardigde randomisatietesten voor diverse nulhypothesen met betrekking tot spillover-effecten in gerandomiseerde verzadigingsontwerpen, inclusocief individuele, gemiddelde en monotoniciteitsaannames, en demonstreert hun praktische bruikbaarheid door middel van simulaties en een praktijktoepassing.

Oorspronkelijke auteurs: Jizhou Liu, Azeem M. Shaikh, Liang Zhong

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jizhou Liu, Azeem M. Shaikh, Liang Zhong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te zoeken of een nieuwe onderwijsmethode werkt. Maar er is een twist: je kunt het niet simpelweg op individuele studenten testen in isolatie. Als Student A de methode leert, kan deze Student B helpen leren, zelfs als Student B de methode officieel niet heeft toegewezen gekregen. Dit wordt een spillover-effect genoemd.

Om dit te bestuderen, gebruiken onderzoekers een Randomized Saturation Design. Denk aan dit als een experiment in een schooldistrict:

De Clusters: In plaats van studenten één voor één te testen, test je hele klaslokalen (clusters).
De Saturatie: Je wijst verschillende klassen toe met verschillende "dichtheden" van de nieuwe methode.
- Klas A krijgt 0% van de studenten die de methode gebruiken.
- Klas B krijgt 33% van de studenten die het gebruiken.
- Klas C krijgt 66%.
- Klas D krijgt 100%.
Het Doel: Je wilt zien of de studenten die de methode niet gebruikten, toch meer hebben geleerd, simpelweg omdat hun klasgenoten dat wel deden.

Het Probleem:
Normaal gesproken gebruiken statistici grote, complexe wiskundige formules om te raden of deze resultaten echt zijn of gewoon geluk. Maar bij deze experimenten heb je vaak maar een klein aantal klaslokalen (misschien slechts 10 of 20). Wanneer je zo'n kleine groep hebt, werken die grote formules vaak niet goed en geven ze foute antwoorden. Ook zijn de klassen vaak verschillend in grootte, wat de wiskunde nog rommeliger maakt.

De Oplossing: Het "Wat als"-spel (Randomisatie-testen)
De auteurs van dit artikel stellen een slimmere manier voor om het "Wat als"-spel te spelen. In plaats van te gokken met formules, simuleren ze duizenden alternatieve realiteiten gebaseerd alleen op de regels van het experiment.

Zo doen ze het, onderverdeeld in de drie hoofdinstrumenten die ze hebben uitgevonden:

1. De "Focal Unit" Filter (Voor specifieke vergelijkingen)

Stel je voor dat je de klas met 33% wilt vergelijken met de klas met 0%.

De Truc: Je kijkt niet naar elke student in de kamer. Je kiest een paar specifieke "focale" studenten die de methode niet gebruikten in beide klassen.
Het Spel: Je doet alsof je de labels van de klassen verwisselt. Je stelt je voor: "Wat als Klas A eigenlijk de 0%-klas was en Klas B de 33%-klas was?"
Het Resultaat: Omdat je alleen naar studenten hebt gekeken die de methode niet gebruikten, en je de regels van het spel kent, kun je exact berekenen hoe waarschijnlijk het is dat de resultaten die je zag door puur toeval zijn ontstaan. Dit geeft een perfect nauwkeurig antwoord voor kleine groepen, ongeacht hoe vreemd de data er ook uitziet.

2. De "Studentized" Score (Voor gemiddelde effecten)

Soms geeft het je niet zoveel uit of elke student beïnvloed is; je wilt alleen weten of de gemiddelde student in de 33%-klas het beter deed dan het gemiddelde in de 0%-klas.

De Uitdaging: De "perfecte" wiskundige truc hierboven werkt niet voor gemiddelden, omdat het "Wat als"-spel rommelig wordt wanneer je alleen geïnteresseerd bent in het gemiddelde.
De Oplossing: De auteurs hebben een speciale "scorekaart" (een gestudentiseerde statistiek) gemaakt die corrigeert voor de mate waarin de data van nature varieert.
Het Resultaat: Hoewel dit geen "perfect" antwoord is voor een piepkleine groep, wordt het extreem nauwkeurig naarmate je meer klaslokalen toevoegt. Het overbrugt de kloof tussen de "perfecte" wiskunde voor kleine groepen en de "benaderende" wiskunde voor grote groepen.

3. De "Monotone" Check (Voor meerdere niveaus)

Wat als je vier niveaus hebt (0%, 33%, 66%, 100%) en je wilt weten: "Wordt het effect sterker naarmate we meer studenten de methode laten gebruiken?"

De Oude Manier: Je zou drie aparte tests moeten draaien (0 vs 33, 33 vs 66, 66 vs 100) en hopen dat ze allemaal overeenkomen. Dit is als het controleren of een ladder recht is door elke sport afzonderlijk te meten; dit is foutgevoelig.
De Nieuwe Manier: De auteurs hebben een "Global Monotone Test" gebouwd. Deze kijkt naar de volledige ladder in één keer. Het vraagt: "Is er enige manier om deze klassen te herschikken die de resultaten eruit laat zien als een rechte, opwaartse lijn?"
Het Resultaat: Het geeft één enkel, perfect nauwkeurig antwoord voor de hele trend, zelfs met kleine groepen, zonder dat je meerdere aparte tests hoeft uit te voeren.

Praktijktest: Het Zomba Experiment

Om te bewijzen dat hun methoden werken, hebben de auteurs hun methoden toegepast op een echt experiment in Malawi, het Zomba Cash Transfer Program.

De Opzet: Ze keken naar scholen waar verschillende percentages meisjes geld aanboden om in school te blijven.
De Vraag: Profiteerden de meisjes die geen geld aangeboden kregen (of leden zij juist onder het effect) nog steeds omdat hun klasgenoten dat wel kregen?
De Uitkomst: Ze hebben hun nieuwe tests uitgevoerd. De resultaten toonden aan dat, voor de specifieke vragen die ze stelden, de data geen sterk bewijs leverde dat de spillover-effecten plaatsvonden op de manier die zij hadden gehypothetiseerd. Cruciaal was dat ze lieten zien dat hun nieuwe methoden de rommelige, kleine-groep-data van dit echte experiment veel beter konden aanpakken dan de oude methoden.

De Belangrijkste Conclusie

Dit artikel is als het geven van een nieuwe, betrouwbaardere gereedschapskist aan onderzoekers om te bestuderen hoe mensen elkaar in groepen beïnvloeden.

Als je een kleine groep hebt, geven ze je een methode die exact is (geen gokwerk).
Als je geïnteresseerd bent in gemiddelden, geven ze je een methode die nauwkeuriger wordt naarmate je meer data verzamelt.
Als je meerdere niveaus van behandeling hebt, geven ze je een manier om het volledige patroon in één keer te testen.

Ze hebben geen nieuwe medicijnen of nieuwe onderwijsmethoden uitgevonden; ze hebben een betere manier uitgevonden om te meten of die dingen werken wanneer mensen elkaar in groepen beïnvloeden.

Technische Samenvatting: Randomisatietests in Randomized Saturation Designs

Probleemstelling

Randomized saturation designs zijn een primair instrument voor het schatten van spillover-effecten in geclusterde populaties. In deze designs worden clusters eerst toegewezen aan verschillende verzadigingsniveaus (de proportie behandelde eenheden binnen een cluster), waarna eenheden vervolgens binnen clusters worden gerandomiseerd, geconditioneerd op het toegewezen verzadigingsniveau. Hoewel deze designs de eigen behandelingseffecten effectief scheiden van de intensiteit van de peer-behandeling, blijft geldige statistische inferentie een uitdaging.

Twee primaire obstakels belemmeren de inferentie in deze setting:

Kleine Steekproefomvang: Het aantal clusters is vaak te klein om grote-steekproefbenaderingen te rechtvaardigen, en clustergroottes zijn frequent heterogeen. Dit vereist exacte eind-steekproefmethoden in plaats van asymptotische normale benaderingen.
Partiële Scherpheid: Veel hypothesen van belang met betrekking tot spillover-effecten (bijv. geen spillover, begrensde spillover, of gemiddelde spillover) zijn slechts partieel scherp. Ze beperken de potentiële uitkomsten onder specifieke blootstellingscondities, maar imputeren niet het volledige schema van ontbrekende potentiële uitkomsten over de gehele toewijzingsruimte. Bijgevolg genereren naïeve randomisatietests die de volledige toewijzingsvector herverdelen, geen geldige referentieverdelingen.

De bestaande literatuur heeft zich grotendeels gericht op grootschalige schattingen of conditionele randomisatietests onder scherpe nullen. Er is een gat in de ontwikkeling van eind-steekproef geldige randomisatietests voor partiële, begrensde en zwakke gemiddelde nulhypothesen binnen multi-verzadigingsdesigns.

Methodologie

Het artikel ontwikkelt een reeks randomisatietests die zijn afgestemd op de structuur van randomized saturation designs onder de assumptie van homogene partiële interferentie (waarbij uitkomsten afhangen van de eigen behandelingsstatus en het aantal behandelde peers in het cluster). De methodologie is verdeeld in drie hoofdcomponenten op basis van de aard van de nulhypothese en het aantal verzadigingsniveaus.

1. Conditionele Tests voor Twee Verzadigingsniveaus

Voor een vast paar verzadigingsniveaus $s$ en $s'$ stellen de auteurs een conditioneel randomisatiekader voor dat conditioneert op "focale eenheden".

Selectie van Focale Eenheden: Uit clusters waar de geobserveerde verzadiging ofwel $s$ of $s'$ is, wordt een vast aantal onbehandelde eenheden gesampled. Deze eenheden dienen als basis voor vergelijking.
Relabeling Verdeling: De test genereert een referentieverdeling door de verzadigingslabels ( $s$ en $s'$ ) te permuteren over de geselecteerde clusters, terwijl de focale eenheden en hun geobserveerde uitkomsten vast blijven staan. Dit reduceert het probleem tot een cluster-niveau relabeling-probleem.
Nul-specifieke Statistieken:
- Partieel Scherpe Nul ( $H_{0,PS}$ ): Veronderstelt dat $Y_i(0, s) = Y_i(0, s')$ voor alle eenheden. Onder deze nul zijn de focale uitkomsten invariant voor relabeling, waardoor elke focale statistiek (bijv. verschil in gemiddelden) een eind-steekproef geldige test oplevert.
- Begrensde Nul ( $H_{\delta,B}$ ): Veronderstelt dat $Y_i(0, s) - Y_i(0, s') \leq \delta$ . De test gebruikt de gelijkheidsgrens ( $=\delta$ ) als een "minst gunstige" imputatie. Door de geobserveerde uitkomsten met $\delta$ te verschuiven, construeert de test een conservatieve statistiek die de eind-steekproef geldigheid behoudt voor de ongelijkheidsnul.

2. Asymptotische Tests voor Zwakke Gemiddelde Nullen

Voor hypothesen betreffende gemiddelde spillover-effecten (bijv. unit-gemiddelde of cluster-gemiddelde spillovers), bepaalt de nul niet de ontbrekende potentiële uitkomsten, waardoor exacte eind-steekproef conditionele tests onmogelijk zijn.

Aanpak: De auteurs maken gebruik van dezelfde conditionele relabelingverdeling, maar koppelen deze aan een studentized statistiek (met gebruik van Neyman-variantieschatters).
Geldigheid: Hoewel de conditionele verdeling geen exacte eind-steekproef nulverdeling is, bewijzen de auteurs dat de studentized relabeling-statistiek asymptotisch geldig is onder regulariteitsvoorwaarden (bijv. stabiele designfracties en begrensde momenten). Dit overbrugt het Fisheriaanse randomisatieperspectief met de Neymaniaanse grootschalige inferentie.

3. Onconditionele Tests voor Globale Monotoniciteit

Voor designs met meerdere geordende verzadigingsniveaus behandelt het artikel de globale nulhypothese dat onbehandelde uitkomsten monotoon zijn in het verzadigingsniveau.

Pairwise Imputatie: In plaats van het probleem te deconstrueren in pairwise contrasten (wat meerdere testen-correcties vereist), ontwikkelen de auteurs een onconditionele randomisatietest gebaseerd op pairwise imputatie (PIRT).
Mechanisme: De test vergelijkt de geobserveerde toewijzing met alle andere haalbare toewijzingen in de design-support. Het maakt gebruik van een statistiek die "pairwise-imputable" is, wat betekent dat deze alleen afhangt van eenheden die onbehandeld zijn onder zowel de geobserveerde als de referentie-toewijzing, en waarvan de blootstelling binnen de geordende set valt die door de nul wordt gedekt.
Geldigheid: Deze constructie levert een eind-steekproef geldige onconditionele test op voor de globale monotone nul, waarbij de noodzaak om p-waarden van lokale contrasten te combineren wordt vermeden.

Belangrijkste Resultaten

Het artikel stelt de volgende theoretische resultaten vast:

Eind-steekproef Geldigheid (Conditioneel): Voor partiële en begrensde nullen die twee verzadigingsniveaus betreffen, controleren de voorgestelde conditionele randomisatietests (Procedure 3.1) de Type I fout-ratio exact in eind-steekproeven, geconditioneerd op de geselecteerde focale set.
Asymptotische Geldigheid (Zwakke Nullen): Voor zwakke gemiddelde nullen controleert de studentized conditionele randomisatietest de asymptotische omvang, wat geldige inferentie mogelijk maakt zelfs wanneer de nul niet scherp is.
Eind-steekproef Geldigheid (Globale Monotoniciteit): De Pairwise-Imputable Randomization Test (PIRT) voor de globale monotone nul (Procedure 5.1) wordt bewezen eind-steekproef geldig te zijn onconditioneel. De test is conservatief, maar richt zich direct op de globale vorm van de spillover-respons.
Empirische Prestaties: Simulaties gekalibreerd naar het Zomba Cash Transfer experiment laten zien dat:
- De conditionele CRT voor begrensde nullen de omvang dicht bij de nominale niveaus houdt (gemiddelde omvang ~0,051) en een betere power biedt dan regressie-gebaseerde benchmarks in kleine steekproeven.
- De globale monotone PIRT conservatiever is dan het combineren van aangrenzende pairwise tests via Bonferroni, maar biedt superieure power voor het detecteren van grote schendingen van monotoniciteit, vooral naarm evenredigheid van het aantal verzadigingsniveaus toeneemt.

Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen aan de literatuur over causale inferentie onder interferentie:

Uitbreiding van Conditionele Randomisatietests: Het breidt het conditionele randomisatiekader (voorheen toegepast op binaire first-stage designs met enkele behandelde eenheden) uit naar multi-verzadigingsdesigns met meerdere behandelde eenheden per cluster. Dit adresseert de complexere toewijzingsruimtes en partiële imputatieproblemen die veel voorkomen in empirische toepassingen.
Inferentie voor Zwakke Nullen: Het biedt een pad voor randomisatie-gebaseerde inferentie op zwakke gemiddelde spillover-nullen. Door conditionele relabeling te combineren met studentisering, verbindt het paper de Fisheriaanse exacte testen met de Neymaniaanse asymptotische inferentie, waardoor onderzoekers in staat zijn om wetenschappelijk relevante gemiddelde effecten te testen, zelfs wanneer exacte eind-steekproef geldigheid onbereikbaar is.
Testen van Globale Monotoniciteit: Het gaat verder dan gelijkheidsnullen om begrensde en monotone restricties te testen. De ontwikkeling van de PIRT voor globale monotoniciteit stelt onderzoekers in staat om de gehele vorm van de spillover-respons te testen in één enkel framework, in plaats van te vertroukken op lokale pairwise vergelijkingen. Dit is bijzonder relevant voor toepassingen waar de richting van de spillovers (bijv. toenemend of afnemend) de primaire vraag is.

De auteurs benadrukken dat de kerninzicht het scheiden is van de conditioneringsstap (selectie van imputeerbare eenheden) van de statistiek (afgestemd op de specifieke nul). Deze modulaire aanpak maakt geldige inferentie mogelijk over een spectrum van hypothesen, van scherpe individuele effecten tot zwakke gemiddelde effecten en globale monotoniciteit, binnen de uitdagende context van randomized saturation designs.