📊 statistics

Residual-on-Residual Regression as a Tool for Effect Estimation in Observational Data

Dit artikel stelt residual-on-residual regressie voor als een stabiel, interpreteerbaar en computationeel eenvoudig alternatief voor AIPW en TMLE voor het schatten van blootstellingseffecten in observationele data, waarbij door middel van simulaties en real-world toepassingen wordt aangetoond dat het vergelijkbaar presteert met gevestigde methoden onder standaardcondities en deze overtreft wanneer er sprake is van schendingen van de positiviteit.

Oorspronkelijke auteurs: Ashley I. Naimi, Qianhui Jin, Ya-Hui Yu, Sara M. Parisi, Lisa M. Bodnar

Gepubliceerd 2026-07-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ashley I. Naimi, Qianhui Jin, Ya-Hui Yu, Sara M. Parisi, Lisa M. Bodnar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te zoeken of het eten van veel groenten daadwerkelijk helpt bij het voorkomen van een specifieke zwangerschapscomplicatie genaamd preeclampsie. Je hebt een enorme berg data van duizenden zwangere vrouwen. Maar er is een addertje onder het gras: de vrouwen die veel groenten eten, zijn ook op andere manieren anders—ze kunnen rijker zijn, meer bewegen of een betere toegang hebben tot de gezondheidszorg. Deze verschillen worden "confounders" (verstorende variabelen) genoemd. Als je de twee groepen direct met elkaar vergelijkt, zou je kunnen denken dat de groenten het werk doen, terwijl het in werkelijkheid gewoon hun andere gezonde gewoonten zijn.

Om dit op te lossen, gebruiken wetenschappers statistische "tovertrucs" om die andere verschillen weg te strippen en het effect van de groenten te isoleren. Dit artikel introduceert een specifieke tovertruc genaamd Residual-on-Residual Regressie en laat zien dat het net zo goed werkt als de twee meest populaire trucs die momenteel worden gebruikt (genaamd AIPW en TMLE), maar dan met een paar extra voordelen.

Hier is hoe het artikel het uitlegt, met eenvoudige analogieën:

Het Probleem: De "Ruis" in het Signaal

Beschouw de data als een radio-uitzending. Je wilt het "groentesignaal" horen (het effect van het dieet), maar de radio zit vol statische ruis (de confounders zoals leeftijd, inkomen en lichaamsbeweging).

De Oude Manier: Wetenschappers probeerden vroeger een perfect script te schrijven om precies te beschrijven hoe elke vorm van statische ruis klonk. Als ze het script fout raadden, was de uitslag ook fout.
De Nieuwe Manier (Machine Learning): Nu gebruiken wetenschappers "Super Learners" (computeralgoritmen) om het patroon van de statische ruis automatisch te leren. Maar deze learners zijn zo flexibel dat ze soms in de war kunnen raken of instabiel kunnen worden als de data lastig zijn.

De Drie Strijders

Het artikel vergelijkt drie methoden om het radiosignaal op te schonen:

AIPW & TMLE: Dit zijn de huidige "kampioenen". Ze zijn zeer krachtig en kunnen fouten herstellen als één deel van hun berekening fout is (een kenmerk dat "dubbel robuust" wordt genoemd). Echter, ze kunnen wankel worden als de data gaten vertonen (bijvoorbeeld als bijna niemand in de studie groenten eet, wat vergelijken moeilijk maakt).
Residual-on-Residual Regressie: Dit is de "underdog"-methode die de auteurs promoten. Het is als een slim tweestaps schoonmaakproces.

Hoe "Residual-on-Residual" Werkt

Stel je voor dat je wilt weten of een specifieke schoen ervoor zorgt dat je sneller rent. Maar mensen die die schoenen dragen, zijn ook vaak langer, en langer zijn helpt je sneller te rennen.

Stap 1 (De Schoonmaak): Eerst voorspel je hoe snel iemand zou moeten rennen op basis alleen van hun lengte (door de schoenen te negeren). Je berekent vervolgens het verschil tussen hun werkelijke snelheid en die voorspelling. Dit verschil wordt een "residue" genoemd. Het is de "overgebleven" snelheid die de lengte niet kon verklaren.
Stap 2 (De Herhaling): Je doet exact hetzelfde voor de schoenen. Je voorspelt hoeveel mensen die schoenen zouden moeten dragen op basis van hun lengte. Je berekent het "overgebleven" deel (residue) van het schoen dragen dat de lengte niet kon verklaren.
Stap 3 (De Koppeling): Nu neem je de "overgebleven snelheid" en de "overgebleven schoen-dragers" en kijk je of ze met elkaar verbonden zijn. Omdat je de factor "lengte" al van beide kanten hebt verwijderd, is elke verbinding die je vindt puur gerelateerd aan de schoenen.

Het artikel noemt dit "Residual-on-Residual" omdat je de restanten (residuals) tegen de restanten (residuals) regresseert (vergelijkt).

Wat de Studie Vond

De auteurs testten deze methode op twee manieren:

1. De Real-World Test (De nuMoM2b Studie)
Ze keken naar echte data van bijna 8.000 zwangere vrouwen om te zien of een hoge groente-inname het risico op preeclampsie verminderde.

De Resultaten: Alle drie de methoden (de twee kampioenen en de underdog) waren het met elkaar eens. Ze vonden allemaal dat een hoge groente-inname gekoppeld was aan een kleine maar reële vermindering van het risico op preeclampsie. De cijfers lagen zo dicht bij elkaar dat ze elkaar bevestigden.

2. De Simulatie Test (De Stress Test)
Ze creëerden nepdata op een computer om te zien hoe de methoden omgaan met problemen.

De "Rommelige Data" Test: Wanneer de data complex en niet-lineair waren (zoals een ingewikkelde knoop), deden alle drie de slimme methoden het erg goed, terwijl een simpele, ouderwetse methode er hopeloos naast zat.
De "Ontbrekende Data" Test: Dit was de grote onthulling. Ze creëerden een scenario waarin de "positiviteit"-aanname werd geschonden—wat betekent dat er enorme gaten in de data zaten (bijvoorbeeld: bijna niemand in een bepaalde groep at groenten).
- De AIPW en TMLE methoden begonnen te wankelen en werden minder nauwkeurig.
- De Residual-on-Residual methode bleef stabiel en kalm. Het raakte niet in de war door de gaten.

Waarom Dit Er Toe Doet

Het artikel betoogt dat Residual-on-Residual Regressie een fantastisch hulpmiddel is voor onderzoekers omdat:

Het Stabiel Is: Het raakt niet in paniek wanneer data ontbreken of ongelijk verdeeld zijn, in tegenstelling tot de concurrenten.
Het Simpel Is: Het is makkelijker te coderen en te begrijpen dan de complexe "kampioen"-methoden.
Het Een Veiligheidsnet Is: Als je alle drie de methoden gebruikt en ze zijn het met elkaar eens, kun je heel zeker zijn van je resultaat. Als ze het niet met elkaar eens zijn, is dat een rode vlag dat je model mogelijk kapot is.

De Kanttekening (De Kleine Lettertjes)

Het artikel merkt één belangrijke regel op: deze methode gaat ervan uit dat het effect van de groenten voor iedereen hetzelfde is (een "constante effect"). Als de groenten voor sommige vrouwen hielpen maar voor anderen schadelijk waren, zou deze specifieke methode een iets andere uitslag kunnen geven dan de andere. Echter, voor de meeste standaardvragen waarbij we het "gemiddelde" effect willen weten, werkt het prachtig.

Samenvattend: Het artikel zegt dat hoewel de fancy, complexe methoden (AIPW en TMLE) geweldig zijn, de simpelere "Residual-on-Residual" methode een betrouwbaar, stabiel en gemakkelijk te gebruiken alternatief is dat vaak net zo goed, en soms zelfs beter presteert wanneer de data rommelig zijn. Het is een geweldig instrument om in je statistische gereedschapskist te hebben.

Technische Samenvatting: Residual-on-Residual Regressie als Instrument voor Effectschatting in Observationele Data

Probleemstelling
Onderzoekers maken veelal gebruik van observationele data om causale effecten van blootstelling te schatten, maar standaard parametrische regressiemodellen schieten vaak tekort in hoog-dimensionale settings waar het aantal potentiële confounders groot is in verhouding tot de steekproefomvang. In dergelijke contexten is het correct specificeren van functionele vormen en interacties moeilijk, en kan modelmisspecificatie leiden tot biases die door standaard sensitiviteitsanalyses niet worden gedetecteerd. Hoewel machine learning (ML) algoritmen data-adaptieve alternatieven bieden voor het modelleren van complexe relaties tussen confounders, optimaliseren zij doorgaans een verliesfunctie met een bias-variant trade-off. Indien niet meegerekend, kan de bias geïntroduceerd door flexibele ML-methoden de prestaties van naïeve, enkel robuuste causale estimators verslechteren.

Hoewel de semiparametrische efficiëntietheorie dubbel robuuste estimators heeft voortgebracht zoals Augmented Inverse Probability Weighting (AIPW) en Targeted Maximum Likelihood Estimation (TMLE), zijn deze methoden niet zonder beperkingen. Specifiek kunnen zij zeer gevoelig zijn voor zelfs geringe schendingen van de positiviteitsassumptie (bijvoorbeeld wanneer steekproeven onvoldoende groot zijn om alle confounder-strata te bevolken met zowel blootgestelde als niet-blootgestelde individuen). Bovendien kan het toepassen van zowel TMLE als AIPW op dezelfde dataset uiteenlopende resultaten opleveren, wat onzekerheid creëert over welke schatting men moet vertrouwen.

Methodologie
Het artikel stelt Residual-on-Residual Regressie voor en evalueert dit als een methode, geworteld in het werk van Robinson (1988) en gepopulariseerd in de econometrie, als een stabiel alternatief voor het schatten van gemiddelde behandelingseffecten (ATE) binnen een gedeeltelijk lineair modelkader.

De aanpak werkt onder de specificatie:
$Y = \psi A + g(W) + \epsilon$
waarbij $Y$ de uitkomst is, $A$ de blootstelling is, $W$ een set confounders is, $\psi$ het constante behandelingseffect is, en $g(W)$ een niet gespecificeerde niet-parametrische functie is. In tegen tegenstelling tot standaard regressie, gaat dit model uit van een lineaire relatie tussen blootstelling en uitkomst, maar laat het de relatie tussen de confounder en de uitkomst flexibel.

De schatting verloopt in drie stappen:

Nuisance Schatting: Het fitten van niet-parametrische modellen (bijvoorbeeld met behulp van Super Learner ensembles) om de conditionele gemiddelden van de uitkomst gegeven de confounders, $\hat{E}[Y|W]$ , en de conditionele gemiddelden van de blootstelling gegeven de confounders, $\hat{E}[A|W]$ , te schatten.
Residu Constructie: Het berekenen van residuen voor zowel de uitkomst ( $\tilde{Y} = Y - \hat{E}[Y|W]$ ) als de blootstelling ( $\tilde{A} = A - \hat{E}[A|W]$ ).
Finale Schatting: Het schatten van $\psi$ door $\tilde{Y}$ op $\tilde{A}$ te regrederen met behulp van een Ordinary Least Squares (OLS) estimator zonder intercept.

Om geldige inferentie en robuustheid te garanderen, maken de auteurs gebruik van out-of-sample validatie (cross-fitting) om overfitting in de nuisance-modellen te voorkomen. De variantie-estimatie maakt gebruik van de HC3 robuuste (sandwich) variantie-estimator, die overeenkomt met de empirische variantie van de Neyman-orthogonale invloedsfunctie van de estimator.

Empirische Toepassing en Simulatie-resultaten
De auteurs hebben deze methode toegepast op data uit de Nulliparous Pregnancy Outcomes Study: Monitoring Mothers-to-Be (nuMoM2b) ( $n=7.923$ ) om de associatie tussen een hoge groente-inname-dichtheid en preeclampsie te schatten.

Empirische Bevindingen: Residual-on-residual regressie, AIPW en TMLE leverden concordante schattingen op, die allemaal wijzen op een bescheiden reductie in het risico op preeclampsie bij een hoge groente-inname. De residual-on-residual benadering produceerde een aangepast risicodifferentieel van -1,49 per 100 deelnemers (95% CL: -2,94, -0,03), vergelijkbaar met AIPW (-0,97) en TMLE (-1,15).

Een Monte Carlo-simulatiestudie ( $n=500$ , 10.000 replicaties) vergeleken de eind-steekproef eigenschappen van residual-on-residual regressie met AIPW, TMLE en een misgespecificeerd lineair-additief OLS-model.

Primaire Simulaties (Positiviteit Voldoet): Wanneer het ware effect constant was en de relaties tussen de confounders niet-lineair waren, waren alle drie de dubbel robuuste estimators in essentie onbevooroordeeld met bijna nominale betrouwbaarheidsinterval dekking. Zij presteerden aanzienlijk beter dan het misgespecificeerde parametrische OLS-model, dat ernstige bias vertoonde en de dekking liet instorten.
Positiviteits Stress-tests: In scenario's met geïnduceerde positiviteits-schendingen (waar propensity scores de 0 of 1 naderden), demonstreerde residual-on-residual regressie superieure stabiliteit. Terwijl de RMSE van AIPW verviervoudigde en de dekking van TMLE daalde naar 88,7% bij ernstige schendingsniveaus, bleef de residual-on-residual regressie essentieel invariant in bias, precisie en dekking. Deze stabiliteit wordt toegeschreven aan het feit dat de methode steunt op het residualiseren van de blootstelling in plaats van het inverteren van de propensity scores, wat de instabiliteit die gepaard gaat met extreme gewichten vermijdt.

Kernbijdragen en Betekenis
Het artikel betoogt dat residual-on-residual regressie een praktische, interpreteerbare en computationeel eenvoudige tool biedt voor causale inferentie die AIPW en TMLE complementeert. De significantie ligt in verschillende gebieden:

Stabiliteit onder Positiviteits-schendingen: In tegen tegenstelling tot AIPW en TMLE, die afhankelijk zijn van inverse probability weighting, vereist residual-on-residual regressie het niet inverteren van de propensity score. Dit maakt het robuuster wanneer de positiviteitsassumptie zwak is of geschonden wordt, een veelvoorkomend probleem in vakgebieden zoals nutritionele epidemiologie.
Triangulatiestrategie: Omdat de methode dezelfde dubbel robuuste eigenschappen deelt met AIPW en TMLE, maar een andere schattingsmechanisme gebruikt, dient het als een waardevol instrument voor triangulatie. Discrepantie tussen deze estimators kan wijzen op modelafhankelijkheid of schendingen van onderliggende assumpties, wat nadere investigatie rechtvaardigt.
Interpreteerbaarheid en Implementatie: De methode levert een gesloten vorm coëfficiënt en een robuuste standaardfout, waardoor het eenvoudig te implementeren is in standaard software. Het biedt een directe schatting van een constant behandelingseffect onder de gedeeltelijk lineaire model-assumptie.

De auteurs merken op dat de interpreteerbaarheid van de estimator als ATE afhangt van de assumptie van een constant behandelingseffect. Indien er sprake is van effect-heterogeniteit, convergeert de estimator naar een variantie-gewogen gemiddeld effect in plaats van het eenvoudige ATE. De auteurs suggereren echter dat in settings waar de assumptie van een constant effect plausibel is, residual-on-residual regressie een stabiel, efficiënt en robuust alternatief biedt voor bestaande dubbel robuuste methoden.