Technische Samenvatting: Meetinduceerde Confounding

Probleemstelling

Observationele studies vertrouwen op de aanname van "sterke onafhankelijkheid" (strong ignorability), die stelt dat alle verstorende variabelen (confounders) bekend en voldoende gecontroleerd zijn om causale effecten te schatten. Een cruciaal, vaak over het hoofd gezien aspect van deze aanname is dat verstorende variabelen zonder meetfouten gemeten moeten worden. In sociale, educatieve en medische wetenschappen zijn veel confounders latente eigenschappen (bijv. motivatie, vermogen, welzijn) die niet direct observeerbaar zijn. In plaats daarvan vertrouwen onderzoekers op instrumenten (testen of enquêtes) om proxy-maten te genereren, zoals somscores, Item Response Theory (IRT)-schattingen of ruwe itemresponsies.

De auteurs stellen dat het vervangen van deze proxy-maten door de werkelijke latente eigenschap leidt tot meetinduceerde confounding (measurement induced confounding). Omdat de proxy-maten meetfouten bevatten, faalt het aanpassen voor deze maten erin om de 'backdoor path' tussen de behandeling en de uitkomst volledig te blokkeren. Gevolgen hiervan zijn dat conventionele benaderingen bevooroordeelde schattingen geven van het gemiddelde behandelingseffect (ATE) en onzekerheidsintervallen opleveren met incorrecte dekkingseigenschappen (specifiek: onderdekking).

Methodologie

Theoretisch Kader

Het artikel maakt gebruik van Directed Acyclic Graphs (DAGs) om het probleem te illustreren. In een standaard observationele setting waarbij een latente eigenschap $\theta$ de relatie tussen behandeling $Z$ en uitkomst $Y$ medieert, en itemresponsies $X$ worden gegenereerd door $\theta$:

• Conventionele Benadering: Onderzoekers passen voor $\hat{\theta}$ (schattingen afgeleid van $X$) of $X$ direct aan. De auteurs laten via DAGs zien dat $\hat{\theta}$ en $X$ geen voldoende aanpassingssets zijn, omdat ze niet volledig rekening houden met de onwaargenomen $\theta$, waardoor er residuele confounding blijft bestaan tussen $Z$ en potentiële uitkomsten $Y(1), Y(0)$.
• Voorgestelde Oplossing: De auteurs stellen een Bayesiaanse Gezamenlijke Schatting (Bayesian Joint Estimation) methode voor. Deze methode schat gelijktijdig drie componenten binnen één enkel probabilistisch model:
  1. Het Meetmodel: Relateert itemresponsies $X$ aan de latente eigenschap $\theta$ (bijv. met behulp van een 2-Parameter Logistic IRT-model).
  2. Het Behandelingsassignatiemodel: Relateert de latente eigenschap $\theta$ aan de toewijzing van de behandeling $Z$ (propensity score).
  3. Het Responsmodel: Relateert de latente eigenschap $\theta$ en de behandeling $Z$ aan de uitkomst $Y$.

Door de gezamenlijke distributie $p(\theta, Z, Y, X)$ te modelleren, maakt deze aanpak directe aanpassing voor de latente eigenschap $\theta$ mogelijk zonder deze ooit direct te observeren, waardoor de backdoor path effectief wordt gesloten.

Simulatiestudie

Om de theorie te valideren, hebben de auteurs een simulatiestudie uitgevoerd ($N=1000$ individuen, $J=100$ items, $M=1000$ replicaties) die een observationele studie nabootst van de invloed van collegebezoek op inkomen, waarbij motivatie de enige latente confounder is.

• Data Genererend Proces: Latente motivatie $\theta$ werd getrokken uit een standaard normale verdeling. Itemresponsies werden gegenereerd via een 2PL IRT-model. Behandelingsassignatie en potentiële uitkomsten waren lineaire functies van $\theta$.
• Vergelijkingsmethoden: De Bayesiaanse Gezamenlijke Schatting werd vergeleken met:
  • Response Surface Modeling: Aanpassen voor somscores ($\hat{\theta}_{sum}$), IRT-schattingen ($\hat{\theta}_{IRT}$), of ruwe itemresponsies ($X$) in een lineaire regressie.
  • Inverse Probability Treatment Weighting (IPTW): Het modelleren van propensity scores met behulp van $\hat{\theta}_{sum}$, $\hat{\theta}_{IRT}$, of $X$.

Geconstrueerde Observationele Studie

De auteurs pasten hun methode toe op een geconstrueerde observationele dataset afgeleid van een gerandomiseerde studie door Keller et al. (2025). In deze dataset kozen deelnemers zelf hun behandelingsarm op basis van voorkeur, wat een scenario creëert met latente confounding (basisvaardigheid in wiskunde gemeten via een 12-item pretest). Het resultaat van de gerandomiseerde studie diende als de onbevooroordeelde benchmark.

Belangrijkste Resultaten

Bevindingen van de Simulatie

• Bias (Vertekening): Alle conventionele benaderingen (somscores, IRT-schattingen en ruwe itemresponsies) produceerden bevooroordeelde schattingen van de Conditionele Gemiddelde Behandelingseffect (CATE).
  • Response surface modellen vertoonden gestandaardiseerde biases variërend van 0,0475 tot 0,0584 standaarddeviaties.
  • IPTW-modellen vertoonden nog grotere biases, variërend van 0,102 tot 0,126 standaarddeviaties.
  • De Bayesiaanse Gezamenlijke Schatting convergeerde naar nul bias.
• Dekking (Coverage): Conventionele benaderingen vertoonden systematisch onderdekking van het ware effect (95% betrouwbaarheidsintervallen bevatten de ware parameter minder vaak dan de nominale frequentie).
• Efficiëntie: De Bayesiaanse Gezamenlijke Schatting bereikte nominale dekking (95%) zonder de lengte van het onzekerheidsinterval te vergroten; sterker nog, de intervallen waren vergelijkbaar met of zelfs korter dan die van de bevooroordeelde conventionele methoden.

Bevindingen van de Geconstrueerde Studie

• De gerandomiseerde benchmark CATE was 0,7603.
• Bayesiaanse Gezamenlijke Schatting herstelde een CATE van 0,73 (0,007 standaarddeviaties van de benchmark).
• Conventionele methoden leverden schattingen op variërend van 0,99 tot 1,24 (0,06 tot 0,132 standaarddeviaties verwijderd van de benchmark).
• Cruciaal was dat alle response surface modellen de experimentele benchmark niet dekten met hun 95% intervallen. Hoewel sommige IPTW-intervallen de benchmark wel dekten, was dit toe te schrijven aan excessieve onzekerheid (brede intervallen) in plaats van nauwkeurigheid.

Bijdragen en Betekenis

Het artikel levert twee primaire bijdragen:

1. Identificatie van Meetinduceerde Confounding: Het identificeert en demonstreert formeel dat het aanpassen voor latente eigenschappen via proxy-maten (somscores, IRT-schattingen of itemresponsies) in observationele studies leidt tot bevooroordeelde causale schattingen en incorrecte onzekerheidskwantificering, zelfs wanneer de onderliggende functionele vormen lineair en correct gespecificeerd zijn.
2. Voorgestelde Oplossing: Het introduceert een Bayesiaans Gezamenlijk Schatting-kader dat dit probleem oplost door het meet-, assignatie- en responsieproces simultaan te modelleren.

Betekenis:
De auteurs concluderen dat een groot aantal bestaande observationele studies in de educatie, psychologie en geneeskunde die voor latente eigenschappen corrigeren met conventionele methoden, waarschijnlijk bevooroordeelde causale schattingen rapporteren met misleidende onzekerheidsintervallen. De voorgestelde Bayesiaanse Gezamenlijke Schatting biedt een pad naar onbevooroordeelde inferentie in dergelijke settings.

De auteurs behouden echter een bescheiden toon met betrekking tot de beperkingen van hun oplossing:

• Parametrische Aannames: De huidige implementatie rust op sterke parametrische aannames (bijv. lineaire relaties, 2PL IRT). Ze erkennen dat flexibele machine learning-methoden (bijv. BART, Causal Forests) de huidige methode niet kunnen oplossen omdat ze de backdoor path door het assignatiemechanisme niet adresseren wanneer latente variabelen betrokken zijn.
• Schaalbaarheid: Hoewel de aanpak kan schalen naar meerdere latente confounders, blijft het uitbreiden naar niet-parametrische modellen een aanzienlijke computationele uitdaging vanwege de niet-differentieerbaarheid van boom-gebaseerde estimators.
• Optimale Alternatief: De auteurs benadrukken dat gerandomiseerde studies de optimale oplossing blijven, aangezien randomisatie confounding per ontwerp elimineert, waardoor de meting van latente eigenschappen overbodig wordt voor causale identificatie. De voorgestelde methode is een remedie voor situaties waarin randomisatie ethisch of logistiek onmogelijk is.