Application of Propensity Score Models and Causal Estimators in Observational Studies under Model Misspecification

Technische Samenvatting: Toepassing van Propensiteitsscoremodellen en Causale Schatters in Observationele Studies onder Modelmisspecificatie

Probleemstelling
Propensiteitsscore (PS) methoden zijn standaardinstrumenten in observationele studies voor het verminderen van verstorende factoren en het schatten van causale behandelingseffecten. De validiteit van op PS gebaseerde schatters is echter sterk afhankelijk van de correcte specificatie van de onderliggende modellen. In de praktijk zijn de ware functionele vormen van zowel het toewijzingsmodel voor de behandeling (PS) als het uitkomstmodel doorgaans onbekend. Misspecificatie, voortvloeiend uit onjuiste functionele vormen, weggelaten variabelen of niet-opgenomen interacties, kan leiden tot aanzienlijke vertekening, instabiliteit en verhoogde variabiliteit in causale schattingen. Hoewel machine learning (ML) methoden (bijvoorbeeld Random Forests, Support Vector Machines) flexibele alternatieven bieden voor traditionele parametrische modellen (bijvoorbeeld logistische regressie) voor PS-schatting, is hun impact op de prestaties van klassieke causale schatters onder variërende graden van modelmisspecificatie onvoldoende begrepen. Er is specifiek behoefte om te evalueren hoe flexibele ML-gebaseerde PS-schatting interageert met Response Surface Modeling (RSM), Inverse Probability Weighting (IPW) en Augmented Inverse Probability Weighting (AIPW) wanneer modellen misspecificeren.

Methodologie
De studie maakt gebruik van een uitgebreid simulatiekader en twee real-world casestudies om de prestaties van schatters te evalueren.

• Simulatieontwerp:

  • Datageneratie: De auteurs genereerden onafhankelijke observaties met een binaire behandelaanduiding ($A$), een continue uitkomst ($Y$) en een vector van baseline covariaten ($X$) met dimensie $p=9$. Covariaten volgden een multivariate normale verdeling met variërende correlatiestructuren ($\rho \in \{0.2, 0.7\}$).
  • Misspecificatiescenario's: Vier distincte regimes werden geconstrueerd door correcte en incorrecte specificaties te combineren voor zowel het PS- als het uitkomstmodel:
    1. Beide modellen correct gespecificeerd.
    2. PS misspecificatie (weggelaten confounders en toegevoegde interactietermen), uitkomst correct gespecificeerd.
    3. PS correct gespecificeerd, uitkomst misspecificatie (weggelaten covariaten).
    4. Beide modellen misspecificatie.
  • Schatters en PS-modellen: De studie vergeleek drie causale schatters:
    • RSM: Alleen uitkomstregressie.
    • IPW: Weging gebaseerd op de PS.
    • AIPW: Dubbel robuuste schatter die uitkomstregressie en weging combineert.
    • PS-schattingmethoden: Logistische Regressie (LR), Random Forests (RF), Lineaire Discriminantanalyse (LDA) en Support Vector Machines (SVM).
  • Evaluatiemetrics: Prestaties werden beoordeeld over 1.000 Monte Carlo-replicaties met behulp van bias, absolute bias, Root Mean Squared Error (RMSE), empirische standaardfout (SE) en de breedte van het 95%-betrouwbaarheidsinterval. Steekproefgroottes van $n=200$ en $n=1000$ werden getest.

• Real-world Toepassingen:

  • ACTG175: Een gerandomiseerde klinische trial (HIV-1) gebruikt als benchmark waar alle schatters theoretisch zouden moeten convergeren, dienend als kalibratiecontrole.
  • ADNI: Een retrospectieve observationele studie (Alzheimer) geherorganiseerd als een quasi-experiment om het effect van ziektestatus (LMCI/AD versus Cognitief Normaal) op cognitieve achteruitgang (verandering in ADAS13-score) te schatten.

Belangrijkste Bijdragen en Resultaten

1. Superioriteit van Dubbel Robuuste Schatters:
   In alle simulatiescenario's toonde de Augmented Inverse Probability Weighting (AIPW) schatter consequent robuuste en stabiele prestaties. Vanwege zijn "dubbel robuuste" eigenschap leverde AIPW consistente schattingen zolang ofwel het PS-model of het uitkomstmodel correct was gespecificeerd. Zelfs wanneer beide modellen misspecificeren, vertoonde AIPW lagere bias en een stabielere variantie dan schatters met één model.

2. Kwetsbaarheid van IPW voor Flexibele PS-schatting:
   De IPW-schatter toonde hoge gevoeligheid voor PS-misspecificatie en de keuze van de PS-schattingmethode. Wanneer flexibele machine learning methoden (met name Random Forests en SVM) werden gebruikt om de PS te schatten, leverde IPW aanzienlijke bias en instabiliteit op. Dit werd toegeschreven aan het feit dat ML-methoden extreme propensiteitsscores dicht bij 0 of 1 opleveren, wat resulteert in instabiele gewichten. IPW presteerde alleen goed wanneer het PS-model correct was gespecificeerd met parametrische methoden (LR, LDA).

3. Beperkingen van RSM:
   RSM presteerde alleen goed wanneer het uitkomstmodel correct was gespecificeerd. Bij misspecificatie van het uitkomstmodel vertoonde RSM aanzienlijke bias, wat bevestigt dat benaderingen die alleen de uitkomst gebruiken geen robuustheid bezitten tegen schendingen van de aannames van het uitkomstmodel.

4. Invloed van Steekproefgrootte en Correlatie:
   Het vergroten van de steekproefgrootte van 200 naar 1000 verbeterde de prestaties van de schatters aanzienlijk (verminderde bias, RMSE en SE) over alle methoden heen, in overeenstemming met asymptotische theorie. Hogere covariaten-correlatie ($\rho=0.7$) leidde over het algemeen tot verbeterde schattingsnauwkeurigheid, waarschijnlijk door de versterkte voorspellende kracht van de opgenomen covariaten.

5. Real-world Bevindingen:

   • In de ACTG175 (gerandomiseerde) trial leverden alle schatters (IPW, AIPW, RSM) consistente, positieve en statistisch significante behandelingseffecten op, wat de methoden valideerde onder ideale identificatievoorwaarden.
   • In de ADNI (observationele) studie kwamen significante discrepanties naar voren. IPW-schatters gaven consequent een negatief blootstellingseffect aan (grotere cognitieve achteruitgang in de blootgestelde groep), terwijl AIPW- en RSM-schattingen werden afgezwakt, met betrouwbaarheidsintervallen die nul omvatten. Dit benadrukte de trade-off tussen variantie en bias: IPW was gevoelig voor resterende confounding en extreme gewichten, terwijl AIPW conservatievere schattingen leverde door gebruik te maken van uitkomstmodelling om PS-misspecificatie te corrigeren.

Betekenis en Claims
Het artikel claimt dat de integratie van flexibele machine learning-benaderingen binnen dubbel robuuste kaders (specifiek AIPW) cruciaal is voor het verbeteren van de schatting van causale effecten in observationele studies. De auteurs betogen dat hoewel ML-methoden complexe mechanismen voor behandelingstoewijzing kunnen vastleggen, hun directe toepassing in op weging gebaseerde schatters (IPW) problematisch kan zijn vanwege instabiliteit. Daarentegen kan, wanneer gekoppeld aan AIPW, de flexibiliteit van ML-methoden worden benut zonder de robuustheid van de schatter te compromitteren.

De studie concludeert dat de keuze van de PS-schattingmethode een aanzienlijke impact heeft op causale inferentie, met name voor op weging gebaseerde schatters. Zij pleit voor het gebruik van dubbel robuuste schatters zoals AIPW als een betrouwbare alternatief dat stabiele prestaties behoudt over een breed scala aan modelspecificaties. Deze bevindingen worden gepresenteerd als relevant voor klinische trials en regulatoire wetenschap, waar methodologische transparantie en robuustheid essentieel zijn voor geloofwaardige besluitvorming in het tijdperk van real-world data. De auteurs merken bescheiden beperkingen op, waaronder de focus op data met gemiddelde dimensionaliteit en de aanname van volledig waargenomen confounders, en erkennen dat prestaties kunnen verschillen in ultra-hoog-dimensionale settings of onder niet-gemeten confounding.