📈 economics

Randomization Inference For the Always-Reporter Treatment Effect

Dit artikel introduceert een worst-case randomisatietest voor het schatten van het gemiddelde behandelingseffect bij altijd-rapporteurs in gerandomiseerde trials met uitval, waarbij de validiteit wordt gewaarborgd door het maximaliseren van de p-waarde over alle met de data consistente configuraties.

Oorspronkelijke auteurs: Haoge Chang, Zeyang Yu

Gepubliceerd 2026-03-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haoge Chang, Zeyang Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuw medicijn test op een groep vrijwilligers. Je wilt weten of het medicijn werkt. Je deelt de groep willekeurig op: de ene helft krijgt het medicijn (de behandelingsgroep), de andere helft krijgt een nep-medicijn (de controlegroep).

Maar dan gebeurt er iets vervelends: niet iedereen komt terug om te vertellen hoe het met hen gaat. Sommige mensen zijn ziek geworden, sommigen zijn verhuisd, en sommigen zijn gewoon vergeten hun vragenlijst in te vullen. Dit noemen we uitval (of attrition in het Engels).

Het probleem is dat de mensen die niet terugkwamen, misschien net die mensen waren die het medicijn het meest nodig hadden, of juist diegenen die het slecht hadden ervaren. Als je alleen kijkt naar de mensen die wel terugkwamen, krijg je een vertekend beeld. Het is alsof je de smaak van een soep probeert te beoordelen, maar je proeft alleen de stukjes aardappel en negeert de wortels die allemaal naar de bodem zijn gezakt.

Wat doen de auteurs van dit paper?

De auteurs, Haoge Chang en Zeyang Yu, hebben een slimme manier bedacht om toch een eerlijk oordeel te vellen, zelfs als je niet weet wie er precies is uitgevallen. Ze gebruiken een methode die ze "Randomization Inference" noemen. Laten we dit uitleggen met een paar creatieve analogieën.

1. De "Altijd-Komende" Mensen (Always-Reporters)

Stel je voor dat er drie soorten mensen zijn in je experiment:

De Altijd-Komers: Mensen die altijd terugkomen, of ze nu het medicijn kregen of niet.
De Kieskeurigen: Mensen die alleen terugkomen als ze het medicijn kregen (misschien omdat ze zich beter voelen), maar niet als ze het nep-medicijn kregen.
De Verdwenen: Mensen die nooit terugkomen, wat ze ook kregen.

De auteurs willen weten: "Werkt het medicijn voor de Altijd-Komers?"
Dit is een eerlijke vraag, want bij deze groep weten we zeker dat ze onder beide omstandigheden (met of zonder medicijn) zouden hebben gerapporteerd. Maar hier zit de valstrik: We weten niet wie de Altijd-Komers zijn. We zien alleen wie er nu terugkwam. Een persoon die nu terugkwam, zou een Altijd-Komer kunnen zijn, maar ook een Kieskeurige.

2. De "Slechtste Mogelijke Scenario" Benadering

Omdat we niet zeker weten wie wie is, doen de auteurs iets heel speciaals. Ze zeggen: "Laten we het ergste mogelijke scenario aannemen."

Stel je voor dat je een rechter bent die een zaak moet beoordelen, maar je mist een paar bewijsstukken. In plaats van te raden, zeg je: "Laten we aannemen dat de schuldige de slimste en meest verborgen crimineel is die er bestaat, en laten we kijken of we hem dan nog steeds kunnen overtuigen."

In dit paper doen ze hetzelfde:

Ze kijken naar alle mogelijke manieren waarop de mensen in de groepen verdeeld zouden kunnen zijn (wie is een Altijd-Komer, wie is een Kieskeurige?).
Ze berekenen voor elk van die mogelijke scenario's of het medicijn werkt.
Ze zoeken het scenario op waarbij het moeilijkst is om te zeggen dat het medicijn werkt (het "p-waarde" is het hoogst).
Als het medicijn zelfs in dat ergste scenario nog steeds significant werkt, dan zijn ze er zeker van dat het werkt.

Dit is als een schokbestendige test voor een auto. Je rijdt niet alleen over een gladde weg, maar je test hem ook op de ergste mogelijke kuilen en gaten. Als de auto daar nog steeds rijdt, is hij echt goed.

3. De Twee Balans-Regels

Om dit te doen, gebruiken ze twee regels om te checken of hun aannames kloppen:

Regel 1 (De Uitslag): De resultaten van de mensen die terugkwamen moeten eerlijk verdeeld zijn tussen de medicijn-groep en de placebo-groep.
Regel 2 (Het Aantal): Het aantal Altijd-Komers moet ook eerlijk verdeeld zijn. Omdat de groepen willekeurig zijn samengesteld, zou het aantal mensen die "altijd komen" in beide groepen ongeveer gelijk moeten zijn.

Als je ziet dat er veel meer mensen in de medicijn-groep terugkwamen dan in de placebo-groep, en dat dit niet toevallig is, dan is er iets mis met de data. De auteurs bouwen een statistische test die beide regels tegelijk checkt, alsof ze twee gewichten op een weegschaal leggen.

4. De Rekenmachine (Computers)

Het lastige is dat er miljoenen manieren zijn om te verdelen wie een Altijd-Komer is. Het zou te lang duren om ze allemaal handmatig te tellen.
De auteurs hebben daarom slimme algoritmes (computerprogramma's) bedacht:

Voor simpele data (ja/nee antwoorden) gebruiken ze een uitputtende zoektocht (ze kijken naar elke mogelijke combinatie).
Voor complexe data (cijfers, zoals bloeddruk) gebruiken ze wiskundige optimalisatie (zoals een slimme zoektocht in een doolhof) om de snelste weg naar het antwoord te vinden zonder alle paden te hoeven lopen.

Samenvatting in één zin

Dit paper biedt een wiskundig wapen om eerlijk te oordelen over de effecten van een behandeling, zelfs als veel mensen verdwijnen uit het onderzoek, door te kijken naar het "ergste mogelijke scenario" en te bewijzen dat het resultaat daar toch nog steeds sterk genoeg is om te tellen.

Het is een manier om zekerheid te vinden in een wereld vol onzekerheid en verdwijnende gegevens.

1. Probleemstelling

Het artikel adresseert het probleem van selectiebias door uitval (attrition) in gerandomiseerde gecontroleerde trials (RCT's). Wanneer uitkomsten slechts voor een subset van de eenheden worden waargenomen (bijvoorbeeld omdat deelnemers niet reageren op follow-up enquêtes), kan de schatting van het treatment effect vertekend zijn als de uitval systematisch samenhangt met de potentiële uitkomsten.

De auteurs focussen op een specifieke subpopulatie: de "always-reporters". Dit zijn eenheden die hun uitkomst zouden rapporteren, ongeacht of ze in de behandelings- of controlegroep zitten. Het doel is om het Average Treatment Effect voor Always-Reporters (AR-ATE) te testen.

De centrale uitdaging is dat de status van "always-reporter" niet direct waarneembaar is. Men kan alleen zien of iemand heeft gerapporteerd onder de toegewezen conditie, maar niet onder de contrafactuele conditie. Bestaande methoden voor inferentie onder de aanname van monotonie (behandeling beïnvloedt rapportagegedrag alleen in één richting) vertrouwen vaak op asymptotische benaderingen, wat beperkingen oplevert in kleine steekproeven of bij heterogene behandelingseffecten.

2. Methodologie

De auteurs stellen een randomization inference (randomisatie-inferentie) procedure voor die geen beroep doet op grote steekproeftheorieën voor de geldigheid onder de scherpe nulhypothese.

Kernconcepten:

Monotonie Aanneming: Net als in eerdere literatuur (bijv. [18]) wordt aangenomen dat $r_i(1) \ge r_i(0)$ voor alle eenheden $i$ . Dit sluit "defiers" uit (eenheden die wel rapporteren als ze onbehandeld zijn, maar niet als ze behandeld zijn).
Worst-Case Benadering: Omdat de exacte set van always-reporters ( $A$ ) onbekend is, maar slechts gedeeltelijk onthuld door de data, berekent de procedure de worst-case p-waarde. Dit is de maximale p-waarde over alle mogelijke configuraties van always-reporters die consistent zijn met de waargenomen data.
Teststatistieken: Er worden drie soorten statistieken gebruikt die zowel de uitkomstbalans als de balans in het aantal always-reporters tussen behandelings- en controlegroep testen:
1. Studentized Hajek-statistiek ( $T^0_n$ ): Test het verschil in gemiddelden voor always-reporters.
2. Chi-kwadraat-achtige statistieken ( $T^1_n, T^2_n$ ): Combineren de Hajek-statistiek met een term die de balans in het aantal always-reporters tussen de groepen test. Dit is een uniek kenmerk, omdat randomisatie impliceert dat het verwachte aantal always-reporters in beide groepen gelijk moet zijn.

Algoritme:

Constructie van mogelijke tabellen: Identificeer alle mogelijke vectoren van always-reporters ( $A$ ) die consistent zijn met de waargenomen uitvalpatronen.
Pre-test (Optioneel): Gebruik een pre-test om onwaarschijnlijke configuraties (bijv. met extreem veel of weinig always-reporters in de behandelingsgroep) te verwijderen, gebaseerd op een significantieniveau $\beta$ .
Berekening van de p-waarde: Bereken voor elke overgebleven configuratie de randomisatie-p-waarde. De uiteindelijke p-waarde is het maximum van deze waarden.
Beslissing: Verwerp de nulhypothese als de worst-case p-waarde kleiner is dan het significantieniveau $\alpha$ .

Berekeningsimplementatie:

Voor discrete uitkomsten (bijv. binair) wordt gebruik gemaakt van exhaustieve enumeratie door gebruik te maken van de symmetrie van de randomisatieverdeling.
Voor continue uitkomsten wordt het probleem herformuleerd als een verzameling kleinere optimalisatieproblemen die worden opgelost met Integer Linear Programming (ILP). Dit maakt de berekening haalbaar voor grotere datasets.

3. Belangrijkste Bijdragen

Finite-Sample Validiteit: De procedure biedt strikte garanties voor de scherpe nulhypothese (geen behandelingseffect voor enige always-reporter) in eindige steekproeven. Dit is een verbetering ten opzichte van bestaande methoden die alleen asymptotisch geldig zijn.
Asymptotische Validiteit: De methode is ook asymptotisch geldig voor de zwakke nulhypothese (gemiddeld behandelingseffect is nul), zelfs in regio's van de parameterruimte waar het verschil in uitval tussen groepen verwaarloosbaar is. Bestaande methoden sluiten deze regio vaak uit of vereisen specifieke tuning.
Nieuwe Balansvoorwaarde: De auteurs tonen aan dat onder de scherpe nulhypothese niet alleen de uitkomsten, maar ook het aantal always-reporters in de behandelings- en controlegroep in balans moet zijn. Dit leidt tot krachtigere teststatistieken (Chi-kwadraat varianten).
Computatie-efficiëntie: Ze bieden concrete algoritmen (inclusief ILP-benaderingen) om de theoretisch complexe worst-case p-waarde in de praktijk te berekenen.

4. Resultaten (Simulaties)

De auteurs evalueren de prestaties via simulaties met $n=100$ eenheden:

Type I-fout (Grootte): Onder de nulhypothese ( $\tau = 0$ ) is de afwijzingsratio extreem laag (0.002), wat aangeeft dat de test conservatief is en de nominaliteit van 0.05 respecteert.
Power: Onder een alternatief met een positief effect ( $\tau = 1$ ) is de afwijzingsratio hoog (0.9218), wat wijst op goede power.
Rekentijd: De meeste tests worden snel voltooid (mediaan ~35 seconden) dankzij de pre-test en heuristieken. In zeldzame gevallen waar de null niet wordt verworpen en de teststatistiek dicht bij de drempel ligt, kan de rekentijd oplopen tot uren, maar dit is uitzonderlijk.

5. Betekenis en Conclusie

Dit artikel is significant omdat het een robuust alternatief biedt voor de inferentie van behandelingseffecten in aanwezigheid van uitval, zonder afhankelijk te zijn van grote steekproeftheorieën.

Voor onderzoekers: Het biedt een methode die "veilig" is voor kleine steekproeven en die de onzekerheid over de identiteit van always-reporters expliciet en conservatief behandelt.
Methodologisch: Het combineert randomization inference met worst-case analyse op een manier die zowel theoretisch onderbouwd is (dualiteit van finite-sample en asymptotische validiteit) als computatieel uitvoerbaar.
Toepassing: De methode is direct toepasbaar in veldexperimenten waar uitval een veelvoorkomend en kritiek probleem is, en waar de monotonie-aanneming redelijk is.

Samenvattend bieden Chang en Yu een rigoureuze, wiskundig onderbouwde en praktisch toepasbare oplossing voor het testen van behandelingseffecten op een subpopulatie die slechts gedeeltelijk identificeerbaar is, waarbij ze de beperkingen van bestaande asymptotische benaderingen overwinnen.