📊 statistics

Post-treatment problems: What can we say about the effect of a treatment among sub-groups who (would) respond in some way?

Dit artikel introduceert de 'Treatment Reactive Average Causal Effect' (TRACE), een methode om de causale effecten van een behandeling te schatten voor specifieke subgroepen die op een bepaalde manier zouden reageren, zonder de statistische vertekeningen te introduceren die optreden bij het simpelweg conditioneren op post-behandelingsvariabelen.

Oorspronkelijke auteurs: Chad Hazlett, Nina McMurry, Tanvi Shinkre

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chad Hazlett, Nina McMurry, Tanvi Shinkre

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor: je hebt een nieuwe, hippe sportcoach ingehuurd om een groep mensen fitter te maken. Na een maand zie je dat de gemiddelde conditie van de hele groep nauwelijks is verbeterd. Je bent teleurgesteld. Maar dan valt je op: de helft van de groep is eigenlijk nooit naar de lessen komen opdagen!

Nu stelt de vraag zich: Heeft de coach wel een goed programma, of is het echt een prutser?

Als je alleen naar het gemiddelde kijkt, lijkt de coach een mislukking. Maar als je alleen naar de mensen kijkt die wél kwamen, krijg je een vertekend beeld (want die mensen waren misschien al gemotiveerder). Dit wetenschappelijke artikel van Hazlett, McMurry en Shinkre biedt een slimme wiskundige manier om dit probleem op te lossen.

Hier is de uitleg in begrijpelijke taal.

Het probleem: De "Filter-valstrik"

In de wetenschap willen we vaak weten wat een behandeling (de coach) doet bij mensen die er ook echt iets van merken (de mensen die de training volgen).

Het probleem is dat je niet zomaar een filter kunt gebruiken. Als je alleen de mensen bekijkt die de training volgden, negeer je de mensen die afhaakten. En die mensen die afhaakten, deden dat misschien wel omdat ze al ongezond waren of geen tijd hadden. Als je die groep weglaat, vergelijk je "appels met peren" in plaats van "appels met appels". Je krijgt een resultaat dat veel rooskleuriger is dan de werkelijkheid.

De oplossing: De TRACE-methode

De auteurs introduceren een nieuwe methode die ze de TRACE noemen. In plaats van te gokken, gebruiken ze een soort "wiskundige schaduw-methode".

Stel je voor dat je een detective bent die een verdachte zoekt in een donkere kamer. Je kunt de verdachte niet direct zien, maar je ziet wel zijn schaduw op de muur. Je weet niet precies hoe hij eruitziet, maar je weet wel: hij is minstens 1 meter 80 en draagt een hoed.

De TRACE-methode doet iets soortgelijks:

De harde feiten: We kijken naar wat er echt is gebeurd bij de mensen die de behandeling wel hebben ervaren.
De "Wat als"-berekening: We kijken naar de mensen die de behandeling niet hebben ervaren. We maken een slimme gok over wat er met hen gebeurd zou zijn als ze de behandeling wel hadden gekregen.
De bandbreedte: In plaats van één getal te geven (wat vaak onjuist is), geven ze een range (een bandbreedte). Ze zeggen: "We weten het niet 100% zeker, maar het effect ligt ergens tussen deze twee grenzen."

Drie voorbeelden uit het onderzoek

Om te laten zien dat dit werkt, passen ze het toe op drie verschillende situaties:

De politie en geweld: Als de politie een auto staande houdt, kan dat leiden tot geweld. Maar als de politie de auto niet staande houdt, kan er ook geen geweld tijdens de controle plaatsvinden. De onderzoekers laten zien hoe je met deze methode toch kunt berekenen of iemands ras invloed heeft op de kans op geweld, zelfs als je alleen data hebt van de momenten dat er wél een controle was.
Community policing in Liberia: Een programma om geweld in dorpen te verminderen leek gemiddeld niet te werken. Maar met de TRACE-methode konden de onderzoekers aantonen dat het programma in dorpen waar het echt werd uitgevoerd wél degelijk hielp om geweld te verminderen. Het probleem was dus niet de methode, maar de uitvoering.
Transgender rechten: Een gesprek over empathie kan iemands mening veranderen. De onderzoekers wilden weten: werkt dit gesprek alleen bij mensen die sowieso al een beetje openstaan voor verandering, of werkt het bij iedereen? De TRACE-methode helpt om de kracht van het gesprek te meten bij de mensen die er echt een emotionele reactie op hebben.

De kernboodschap

De paper zegt eigenlijk: "Stop met het simpelweg wegfilteren van mensen die niet reageren op een behandeling. Dat geeft een vals beeld. Gebruik in plaats daarvan een methode die rekening houdt met de onzekerheid en de mensen die 'niet meedoen', zodat we de echte kracht van een interventie kunnen zien."

Het is een manier om eerlijker en nauwkeuriger te zijn in een wereld waar niet iedereen altijd meewerkt aan een experiment.

Technische Samenvatting: Post-treatment problems: What can we say about the effect of a treatment among sub-groups who (would) respond in some way?

1. Het Probleem: Post-treatment Bias en Selectie

In veel wetenschappelijke onderzoeken is de centrale vraag niet alleen of een behandeling ( $D$ ) werkt, maar of deze werkt voor een specifieke subgroep die op een bepaalde manier reageert op de behandeling ( $M$ ). Denk aan deelnemers die een interventie daadwerkelijk hebben opgevolgd (compliance), een aandachtstest hebben doorstaan, of een specifiek mechanisme vertonen.

Het probleem is dat het simpelweg conditioneren op de geobserveerde waarde van een post-treatment variabele ( $M$ ) leidt tot bias. Dit komt door twee redenen:

Blokkade van effecten: Het conditioneren op $M$ blokkeert een deel van het causale pad van $D$ naar de uitkomst $Y$ .
Collider Bias: $M$ is vaak een gevolg van zowel de behandeling ( $D$ ) als ongeobserveerde verstorende variabelen ( $U$ ) die ook de uitkomst ( $Y$ ) beïnvloeden. Hierdoor ontstaat een schijnverband tussen $D$ en $Y$ dat niet causaal is.

Bestaande methoden zoals Instrumental Variables (IV) vereisen de "exclusion restriction" (het idee dat de behandeling alleen via $M$ werkt), wat in de praktijk vaak onverdedigbaar is omdat onderzoekers juist geïnteresseerd zijn in het totale effect (inclusief directe effecten).

2. Methodologie: De TRACE-estimand

De auteurs introduceren de Treatment Reactive Average Causal Effect (TRACE).

Definitie:
De TRACE is het totale effect van de behandeling op de uitkomst voor de groep die, indien behandeld, een specifieke waarde van de post-treatment variabele zou realiseren:
$\text{TRACE} \equiv E[Y_i(1) - Y_i(0) \mid M_i(1) = 1]$

Dit verschilt van de Local Average Treatment Effect (LATE) omdat de TRACE zowel 'compliers' als 'always-takers' omvat en geen restrictie oplegt aan directe effecten.

Identificatiestrategie:
Omdat $M$ een post-treatment variabele is, is de TRACE niet direct identificeerbaar zonder aannames. De auteurs stellen een tweeledige aanpak voor:

No-assumption trimming bounds: Er kunnen scherpe grenzen (bounds) worden gesteld op de TRACE die enkel gebaseerd zijn op de gerandomiseerde toewijzing van $D$ . Deze bounds bepalen het bereik van plausibele waarden zonder dat er extra aannames over ongeobserveerde variabelen nodig zijn.
Leveraging assumptions on $\text{TRACE}(0)$ : De kern van de methode is het redeneren over het effect bij de groep die niet reageert ( $\text{TRACE}(0)$ $TRACE (0)$ ). Door defensieve aannames te doen over $\text{TRACE}(0)$ $TRACE (0)$ , kan de TRACE nauwkeuriger worden ingeschat. Veelvoorkomende aannames zijn:
- $\text{TRACE}(0) = 0$ : De behandeling heeft geen effect als er geen reactie ( $M$ ) plaatsvindt (bijv. bij politie-geweld dat alleen kan plaatsvinden tijdens een stop).
- $|\text{TRACE}(0)| < |\text{TRACE}|$ : Het effect bij niet-reactieve types is kleiner dan bij reactieve types.
- $\text{TRACE}(0)$ heeft een tegengesteld teken: De behandeling heeft een negatief effect bij niet-reactieve types (bijv. backlash).

3. Belangrijkste Bijdragen

Nieuwe Estimand: De introductie van de TRACE als een robuust alternatief voor bestaande maten zoals SACE, LATE en mediation-analyses.
Partiële Identificatie: In plaats van te streven naar één (vaak foutief) punt-schatting, biedt de methode een wetenschappelijk verantwoorde manier om een bereik van waarden te identificeren.
Flexibiliteit: De methode werkt zelfs wanneer de post-treatment variabele $M$ alleen in de behandelde groep gemeten kan worden.
Transparantie: Het stelt onderzoekers in staat om expliciet te maken welke aannames over de niet-reactieve groep nodig zijn om een bepaald resultaat te rechtvaardigen.

4. Resultaten en Toepassingen

De auteurs illustreren de methode met drie casussen:

Politie-geweld: In een setting waar geweld alleen kan optreden tijdens een verkeersstop ( $M=1$ ), kan de TRACE exact worden geïdentificeerd als men aanneemt dat er geen geweld is zonder stop ( $\text{TRACE}(0)=0$ ). Dit lost het probleem op van selectiebias in administratieve data.
Community Policing in Liberia: Bij een interventie die een null-effect liet zien op algemene criminaliteit, toonde de TRACE aan dat de interventie wel degelijk een significant effect had op het verminderen van mob violence in gemeenschappen waar de implementatie succesvol was.
Transgender rechten: De methode laat zien dat een interventie die de attitudes verbetert (mechanisme $M$ ), ook een groter effect heeft op de steun voor wetgeving onder degenen die positief reageerden op de gesprekken.

5. Significantie

Dit paper is van groot belang voor de sociale wetenschappen en beleidsevaluaties. Het biedt een oplossing voor het dilemma waarbij een interventie "gemiddeld" niet werkt (ITT), maar theoretisch wel degelijk effectief is voor de doelgroep. Het stelt onderzoekers in staat om de effectiviteit van programma's te beoordelen zonder te vervallen in de methodologische valkuilen van post-treatment conditioning of de te strikte aannames van traditionele IV-modellen.