📊 statistics

Treatment effect: a critique

Dit artikel bekritiseert het onderscheid tussen modelgebaseerde en contrafactische definities van behandelingseffecten, waarbij wordt betoogd dat hoewel contrafactische kaders een geïdealiseerde helderheid bieden, modelvrije definities mogelijk ongeschikt zijn voor het generaliseren van wetenschappelijke conclusies buiten de geobserveerde steekproef, wat de zorgen weerspiegelt die door Cox zijn geuit.

Oorspronkelijke auteurs: Heather Battey, Charlotte Edgar

Gepubliceerd 2026-01-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Heather Battey, Charlotte Edgar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die probeert uit te vogelen of het toevoegen van een geheim kruid (de "behandeling") de soep lekkerder maakt. Je wilt precies weten hoeveel lekkerder hij wordt. Dit artikel is een debat tussen twee groepen statistici over de beste manier om die "lekkerderheid" te meten.

Hier is de opbouw van het argument in het artikel, met behulp van eenvoudige analogieën.

De Twee Concurrerende Recepten

De auteurs, Battey en Edgar, vergelijken twee verschillende manieren om een "behandelingseffect" (de impact van het kruid) te definiëren.

1. Het "Model-gebaseerde" Recept (De Fisheriaanse benadering)

Het Idee: Deze benadering gaat ervan uit dat er een verborgen, stabiele regel is die bepaalt hoe de soep verandert. Denk aan een natuurkundige wet. Als je het kruid toevoegt, verandert de smaak van de soep met een specifieke, consistente hoeveelheid (zoals het toevoegen van exact 2 gram zout).
Het Doel: Om die stabiele "regel" of parameter te vinden. Zelfs als je de soep met andere basis ingrediënten kookt (verschillende mensen), blijft de verandering veroorzaakt door het kruid constant volgens de regel.
De Analogie: Stel je een lopende band voor waarbij op elke doos een sticker wordt geplakt. Het "behandelingseffect" is de grootte van de sticker. Het is voor elke doos dezelfde grootte, ongeacht wat er in de doos zit.

2. Het "Model-vrije" Recept (De Counterfactual Benadering)

Het Idee: Deze benadering gaat niet uit van een verborgen regel. In plaats daarvan stelt het voor elke persoon een "Wat als?"-vraag. "Wat zou Persoon A hebben geproefd als ze het kruid niet hadden gekregen, vergeleken met wat ze wel hebben geproefd?"
Het Doel: Om het gemiddelde verschil te berekenen tussen de "echte wereld" en de "imaginaire wereld" voor iedereen in de groep.
De Analogie: Stel je voor dat je 100 klonen van jezelf hebt. Je geeft het kruid aan de ene kloon en niet aan de andere. En dan doe je dat opnieuw met een andere set klonen. Je neemt het gemiddelde van al die verschillen. Dit is de "Model-vrije" methode.

Het Grote Probleem: Het "Kameleon"-effect

De auteurs stellen dat de "Model-vrije" benadering een grote fout heeft: het verandert afhankelijk van wie je het vraagt.

Om dit te bewijzen, gebruiken ze een gedachte-experiment (een "fictieve idealisering"). Ze doen alsof we een magische machine hebben waarmee we zowel de "gekruide" als de "ongekruide" versies van elke persoon tegelijkertijd kunnen zien. Zelfs met deze perfecte informatie gedraagt het Model-vrije gemiddelde zich vreemd.

De Analogie van de Instabiele Liniaal:
Stel je voor dat je de lengte van een groep mensen meet om te zien hoeveel een groeihormoon (de behandeling) hen helpt te groeien.

De Model-gebaseerde visie zegt: "Het hormoon zorgt ervoor dat iedereen precies 2 inch groter wordt." Dit is een stabiel feit.
De Model-vrije visie berekent de gemiddelde groei.
- Als je groep bestaat uit zeer kleine mensen, kan het hormoon hen 2 inch laten groeien, wat een enorme procentuele toename is.
- Als je groep bestaat uit zeer grote mensen, is diezelfde 2 inch misschien een minimale procentuele toename.
- Het Resultaat: Het "gemiddelde effect" dat door de Model-vrije methode wordt berekend, verandert volledig, simpelweg omdat je een andere groep mensen hebt gemeten.

De auteurs laten zien dat in veel real-world scenario's (zoals binaire uitkomsten zoals "ziek" versus "gezond"), het Model-vrije gemiddelde volledig afhangt van de specifieke mix van mensen in je steekproef. Als je de steekproef verandert, verandert het "antwoord" mee.

Waarom Dit Ertoe Doet

De auteurs betogen dat als je wetenschappelijke conclusies wilt trekken die van toepassing zijn op de wereld in het algemeen (en niet alleen op de specische mensen in je studie), je een stabiele definitie nodig hebt.

De Kritiek: De Model-vrije benadering is als het proberen te meten van de "gemiddelde snelheid" van een auto door te kijken hoe snel hij op verschillende wegen rijdt. Als de weg steil is, gaat hij langzaam; als de weg vlak is, gaat hij snel. De "snelheid" is geen eigenschap van de auto; het is een eigenschap van de specifieke weg waarop je toevallig reed.
Het Gevolg: Als je de Model-vrije methode gebruikt, kan je conclusie over een behandeling waar zijn voor jouw specifieke groep patiënten, maar kan deze volledig onjuist zijn voor de volgende groep patiënten die je ziet. Het generaliseert niet goed.

Het Beantwoorden van de Tegenargumenten

Het artikel pakt ook drie veelvoorkomende verdedigingen van de Model-vrije benadering aan:

"Maar mensen zijn verschillend!"
- Verdediging: De Model-vrije methode is beter omdat het verschillende mensen verschillende effecten laat hebben.
- Weerlegging: De Model-gebaseerde methode kan dit ook aan! Het behandelt de verschillen simpelweg als "interacties" (zoals zeggen dat het kruid anders werkt op pittige soep versus milde soep), terwijl de kernregel stabiel blijft.
"We willen geen model veronderstellen!"
- Verdediging: We moeten niet raden naar de regel; we moeten gewoon het verschil meten.
- Weerlegging: Als je geen regel veronderstelt, verlies je het vermogen om iets stabiels te zeggen over de toekomst. Je eindigt met een getal dat alleen werkt voor de specifieke mensen die je vandaag hebt gemeten.
"Het heeft 'Dubbele Robuustheid'!"
- Verdediging: De wiskunde is slim; het werkt zelfs als een deel van de berekening fout is.
- Weerlegging: Dit is alleen nuttig als het ding dat je meet (het gemiddelde verschil) daadwerkelijk een betekenisvol, stabiel doelwit is. Als het doelwit zelf wankel is (zoals de instabiele liniaal), helpt "robuust" zijn je niet om de roos te raken.

De Kern van het Verhaal

De auteurs concluderen dat hoewel de "Model-vrije" (counterfactual) benadering populair en wiskundig slim is, het vaak faalt om een stabiele definitie van een behandelingseffect te bieden die kan worden gegeneraliseerd naar nieuwe mensen.

Ze pleiten voor een terugkeer naar de "Model-gebaseerde" benadering (geassocieerd met R.A. Fisher), waarbij we zoeken naar een stabiele regel of parameter die verklaart hoe de behandeling werkt, in plaats van alleen de verschillen in een specifieke, potentieel niet-representatieve groep op te tellen.

Kortom: Tel niet alleen de verschillen op die je ziet in je specifieke groep. Vind de onderliggende regel die de verandering verklaart, zodat je conclusies ook gelden voor de volgende groep die je ontmoet.

Technische Samenvatting: Behandelingseffect: Een Kritiek

Probleemstelling
Het artikel behandelt een fundamentele divergentie in de definitie van "behandelingseffect" binnen de statistiek. Eén kamp, geworteld in de Fisheriaanse traditie, definieert het behandelingseffect als een stabiele parameter binnen een statistisch model (bijv. een regressiecoëfficiënt). Het tegenovergestelde kamp, geassocieerd met het Rubin causale model en counterfactual-frameworks (Rubin, 1974; Rosenbaum en Rubin, 1983), definieert het behandelingseffect als een model-vrij populatieniveau-verschil in potentiële uitkomsten (of counterfactuals). Terwijl de literatuur uitgebreid heeft gedebatteerd over de identificeerbaarheid en schatting van counterfactual effecten, stelt dit artikel de vraag of de model-vrije definitie (specifiek het gemiddelde verschil in potentiële uitkomsten) een geschikte doelstelling voor inferentie vormt wanneer het doel wetenschappelijke generalisatie buiten de geobserveerde steekproef is. De auteurs betogen dat model-vrije definities zelfs onder geïdealiseerde omstandigheden waarbij counterfactuals observeerbaar zijn, een gebrek aan stabiliteit en wetenschappelijke coherentie kunnen vertonen.

Methodologie
De auteurs maken gebruik van een vergelijkende theoretische analyse middels "fictieve idealisering". Om het probleem van wat er wordt gemeten te isoleren van het probleem van hoe het wordt geschat (d.w.z. ontestbare aannames over onobserveerbare variabelen), nemen zij een scenario aan waarin het counterfactual proces volledig bekend is, en zowel de potentiële uitkomsten ( $Y_i(0)$ als $Y_i(1)$ ) observeerbaar zijn voor elk individu. In deze geïdealiseerde setting reduceert het probleem zich tot een matched-pair design waarbij elk individu wordt gekoppeld aan een perfecte kopie.

De auteurs vergelijken vervolgens het "model-vrije" behandelingseffect, gedefinieerd als het steekproefgemiddelde van individuele verschillen:
$\tau_n := \frac{1}{n} \sum_{i=1}^n E_i(Y_i(1) - Y_i(0))$
tegen het "model-gebaseerde" behandelingseffect, gedefinieerd als een stabiele parameter $\theta$ (of $\Delta$ ) die een transformatie van de waarschijnlijkheidsverdeling van de uitkomst regelt (volgens McCullagh, 2002, 2022).

Zij analyseren vijf specifieke voorbeelden om de compatibiliteit van deze twee definities te testen:

Lineair Model: Additieve effecten op het gemiddelde.
Exponentieel Model: Multiplicatieve effecten op de snelheid (rate).
Weibull Model: Multiplicatieve effecten op de snelheid met een vormparameter $\alpha$ .
Exponentieel Model (Additieve Snelheid): Additieve effecten op de snelheid.
Logistisch Model: Additieve effecten op de log-odds (binaire uitkomsten).

Belangrijkste Bijdragen en Resultaten
De analyse levert de volgende technische bevindingen op:

Compatibiliteit in Transformatiefamilies: In gevallen waar het behandelingseffect fungeert als een groepstransformatie op de baseline distributieparameters (bijv. additieve verschuivingen in een lineair model of multiplicatieve verschuivingen in een exponentiële snelheid), herstelt het model-vrije gemiddelde $\tau_n$ de model-gebaseerde parameter (of een eenvoudige transformatie daarvan).
Instabiliteit in Niet-Transformatiefamilies: In gevallen waar het behandelingseffect stabiel gedefinieerd is in het model (bijv. een additieve verschuiving $\Delta$ $Δ$ naar een exponentiële snelheid, of een additieve verschuiving $\Delta$ $Δ$ naar de logistische log-odds), faalt het model-vrije gemiddelde $\tau_n$ $τ_{n}$ in het herstellen van een stabiele parameter. In plaats daarvan wordt $\tau_n$ $τ_{n}$ een complexe functie van de specifieke baseline parameters ( $\gamma_i$ $γ_{i}$ ) van de getrokken individuen.
- Voorbeeld: In het additieve exponentiële snelheidsmodel is $\tau_n = \frac{1}{n} \sum \log((\gamma_i + \Delta)/\gamma_i)$ . Deze waarde varieert drastisch afhankelijk van de distributie van $\gamma_i$ in de steekproef. Als $\gamma_i$ klein zijn, is $\tau_n$ groot; als $\gamma_i$ groot zijn, is $\tau_n$ minuscuul.
- Voorbeeld: In het logistische model hangt $\tau_n$ af van de specifieke waarden van de lineaire predictoren $\gamma_i$ van de gesamplede eenheden.
Noodzakelijke Voorwaarden voor Equivalentie: De auteurs leiden drie criteria af waaronder de model-vrije en model-gebaseerde definities voor elke steekproef identieke antwoorden opleveren:
1. Het behandelingseffect werkt op de baseline distributie via de baseline parameterruimte.
2. De groepsactie is consistent op de observaties.
3. Er zijn geen nuisance parameters behalve de baseline parameter nodig om de relevante verwachting te karakteriseren.
  Schending van deze voorwaarden (zoals gezien in de laatste twee voorbeelden) maakt de model-vrije target afhankelijk van de specifieke gekozen steekproef, wat het principe van stabiele parameters schendt.

Significantie en Claims
Het artikel claimt dat de instabiliteit van het model-vrije behandelingseffect $\tau_n$ een kritiek gebrek is wanneer wetenschappelijke conclusies bedoeld zijn om te generaliseren. De auteurs sluiten zich aan bij de zorgen geuit door Cox (1958b, 2012) met betrekking tot de geschiktheid van model-vrije gemiddelden als targets voor inferentie.

Generaliseerbaarheid: Omdat $\tau_n$ afhankelijk is van de specifieke distributie van baseline kenmerken in de steekproef, kunnen conclusies getrokken uit één studie mogelijk niet generaliseren naar een andere populatie met een andere distributie van $\gamma_i$ , zelfs als het onderliggende causale mechanisme (de modelparameter) identiek is.
Wetenschappelijke Praktijk: De auteurs stellen dat als behandelingseffecten systematisch variëren tussen eenheden, deze variatie verklaard moet worden via interactietermen binnen een stabiel model (zoals in de formalisering van McCullagh), in plaats van te worden geabsorbeerd in een onstabiel, steekproefafhankelijk gemiddelde.
Weerlegging van Veelvoorkomende Verdedigingen: Het artikel behandelt drie argumenten voor model-vrije definities:
- Heterogeniteit: Het model-gebaseerde framework kan individuele specifieke effecten accommoderen via interactiecomponenten terwijl de parameterstabiliteit behouden blijft.
- Modelmisspecificatie: Hoewel model-vrije benaderingen misspecificatie vermijden, offeren ze stabiliteit en interpreteerbaarheid op. Als een model gemisspecificeerd is, verliest het ook zijn stabiliteit, wat de noodzaak van controles op model adequaatheid onderstreept.
- Dubbele Robuustheid: De eigenschap van dubbele robuustheid is alleen relevant als de model-vrije target parameter $\tau_n$ wordt geaccepteerd als een geldige wetenschappelijke grootheid; de auteurs dagen deze acceptatie uit.

Conclusie
Het artikel concludeert dat de model-vrije definitie van het behandelingseffect niet een universeel passende target is voor inferentie. In veel standaard wetenschappelijke settings (zoals logistische of additieve exponentiële modellen) is het model-vrije gemiddelde een onstabiele grootheid die verandert met de samenstelling van de steekproef, terwijl de model-gebaseerde parameter een stabiele, wetenschappelijk zinvolle grootheid blijft. De auteurs suggereren dat de proliferatie van methoden om conditionele validiteit of subpopulatie-gemiddelden te behandelen in de causale inferentie literatuur een symptoom is van deze onderliggende instabiliteit in de model-vrije definitie.

De Twee Concurrerende Recepten

Het Grote Probleem: Het "Kameleon"-effect

Waarom Dit Ertoe Doet

Het Beantwoorden van de Tegenargumenten

De Kern van het Verhaal

Meer zoals dit