Moving toward best practice when using propensity score weighting in survey observational studies

Technische Samenvatting: Naar een best practice bij het gebruik van propensity score weighting in observationele surveystudies

Probleemstelling
Propensity score weighting is een standaardmethode voor het schatten van causale effecten van behandelingen uit observationele data door verwarring (confounding) toe te schrijven aan gemeten baseline-covariaten. Echter, wanneer observationele data afkomstig zijn van complexe enquêtes (complex surveys), blijft de optimale integratie van surveygewichten voor causale inferentie op populatieniveau een onderwerp van debat. De bestaande literatuur biedt tegenstrijdige aanbevelingen: sommigen suggereren het gebruik van surveygewichten als covariaten in het propensity score-model, terwijl anderen pleiten voor survey-gewogen regressie. Bovendien heeft eerder werk zich grotendeels gericht op het Average Treatment Effect (ATE) en het Average Treatment Effect on the Treated (ATT), waarbij andere doelpopulaties zoals de overlap-populatie vaak zijn verwaarloosd. Er is een gebrek aan consensus over hoe surveygewichten geïntegreerd moeten worden in verschillende stadia van schatting (propensity score modellering, outcome modellering en standaardisatie) om ongebiaste en efficiënte inferentie te garanderen voor diverse estimanden onder complexe steekproefontwerpen, met name wanneer de overlap beperkt is of modellen verkeerd gespecificeerd zijn.

Methodologie
De auteurs stellen een verenigd kader voor onder het balancing weights paradigma om surveygewichten te integreren in propensity score weighting voor survey-observationele studies.

1. Theoretisch Kader:

   • Het artikel maakt onderscheid tussen retrospectieve ontwerpen (steekproeftrekking vindt plaats na de toewijzing van de behandeling, waarbij de steekproefkansen afhankelijk kunnen zijn van de behandelingsstatus) en prospectieve ontwerpen (steekproeftrekking vindt plaats vóór de toewijzing van de behandeling).
   • Het definieert een algemene klasse van Population Weighted Average Treatment Effects (PWATE), $\tau_h$, gekenmerkt door een tilting-functie $h(X)$ die de covariantieverdeling verschuift van de oorspronkelijke populatie naar een doelpopulatie. Dit kader omvat ATE, ATT, Average Treatment Effect on the Control (ATC) en de Average Treatment Effect on the Overlap (PATO).
   • De auteurs leiden weging-estimatoren af die balancing weights combineren met surveygewichten (om verwarring aan te pakken) en surveygewichten (om selectiebias aan te pakken). De gewichten worden gedefinieerd als $\omega_{z,p}(X_i) = h(X_i) / [p_z(X_i) e_{sp}(X_i)]$, waarbij $p_z(X)$ de behandelingsspecifieke steekproefkansen vertegenwoordigt en $e_{sp}(X)$ de propensity score op populatieniveau is.

2. Ontwikkelde Estimatoren:

   • Propensity Score Weighting (PSW): Een standaard weging-estimator die surveygewichten incorporeert in zowel de propensity score schatting als de outcome standaardisatie.
   • Augmented Weighting (AW) Estimatoren: Om de efficiëntie te verbeteren, ontwikkelen de auteurs drie augmented estimatoren die gebruikmaken van outcome regressiemodellen:
     • One-step Moment Estimator (MOM): Gebruikt ongewogen outcome-modellen, maar past surveygewichten toe om voorspellingen en residuen te standaardiseren.
     • Clever Covariate Estimator (CVR): Integreert balancing weights als aanvullende covariaten ("clever covariates") in het outcome regressiemodel.
     • Weighted Regression Estimator (WET): Past het outcome regressiemodel toe met behulp van balancing weights als regressiegewichten.
   • Variantie-schatting: Gesloten vorm sandwich-variancestatistieken zijn afgeleid voor alle estimatoren met behulp van M-schattingstheorie, waarbij rekening wordt gehouden met de onzekerheid in zowel de propensity score als de outcome model schatting, evenals het survey-ontwerp.

3. Simulatieontwerp:

   • De auteurs hebben uitgebreide simulaties uitgevoerd met 1.000.000 individuen, georganiseerd in een multi-stage sampling design.
   • Scenario's varieerden op basis van: kwaliteit van de overlap (goede vs. slechte overlap), model specificatie (correcte/verkeerd gespecificeerde propensity score en outcome modellen) en het steekproefmechanisme (prospectief vs. retrospectief waarbij de steekproef afhankelijk is van de behandeling).
   • Zij vergeleken strategieën voor het incorporeren van surveygewichten: het gebruik ervan als regressiegewichten (W.PS) versus het gebruik ervan als een extra covariaat (C.PS).

Belangrijkste Resultaten

• Incorporatie van Surveygewichten: De simulaties laten consistent zien dat het gebruik van surveygewichten als regressiegewichten in het propensity score-model (W.PS) resulteert in lagere bias, hogere efficiëntie en betere dekking dan het gebruik ervan als een covariaat (C.PS). Dit voordeel is bijzonder uitgesproken onder scenario's met slechte overlap en retrospectieve sampling waarbij de steekproef afhankelijk is van de behandeling.
• Prestaties van Augmented Estimatoren:
  • Wanneer modellen correct gespecificeerd zijn, presteren alle augmented estimatoren (MOM, CVR, WET) beter dan PSW alleen.
  • CVR bereikt een hoge efficiëntie bij goede overlap, maar vertoont instabiliteit en slechte dekking bij slechte overlap of wanneer het outcome model verkeerd gespecificeerd is.
  • MOM biedt robuustheid maar is over het algemeen minder efficiënt vergeleken met WET.
  • WET komt naar voren als de meest robuuste en efficiënte estimator over alle scenario's heen, inclusief slechte overlap en model misspecificatie. Het behoudt een bijna nominale dekking en een lagere bias vergeleken met andere methoden.
• Doelpopulaties: De Overlap (PATO) estimand vertoont een superieure robuustheid ten opzichte van slechte overlap en model misspecificatie vergeleken met ATE en ATT, en bereikt vaak de laagste bias en hoogste efficiëntie, vooral wanneer dit gecombineerd wordt met WET en W.PS.

Casestudies
De auteurs hebben deze methoden toegepast op twee reële datasets:

1. ECLS-K (Prospectief Ontwerp): Analyse van het effect van speciaal onderwijs op wiskundeprestaties. De resultaten toonden aan dat WET stabiele schattingen bood voor verschillende doelpopulaties, terwijl PSW brede betrouwbaarheidsintervallen opleverde.
2. MEPS (Retrospectief Ontwerp): Analyse van raciale ongelijkheden in gezondheidsuitgaven. Vanwege oversampling van minderheidsgroepen waren de surveygewichten zeer variabel. WET met W.PS slaagde erin de instabiliteit veroorzaakt door extreme gewichten te mitigeren, wat leidde tot precieze schattingen voor de overlap-populatie waar de covariaat balans werd bereikt.

Betekenis en Claims
Het artikel claimt een verenigde oplossing te bieden voor het incorporeren van surveygewichten in propensity score weighting, waarbij het balancing weights framework wordt uitgebreid om een bredere klasse van estimanden te dekken (inclusen PATO) en closed-form variancestatistieken biedt voor efficiënte inferentie.

De auteurs concluderen met specifieke praktische aanbevelingen:

1. Gebruik Survey-Gewogen Propensity Scores (W.PS): Surveygewichten moeten worden gebruikt als regressiegewichten in het propensity score-model om ervoor te zorgen dat de gesamplede covariaatverdeling overeenkomt met de doelpopulatie, in plaats van ze enkel als covariaten te behandelen.
2. Geef de voorkeur aan Weighted Regression Estimators (WET): Onder de augmented methoden wordt WET aanbevolen vanwege de superieure stabiliteit en robuustheid, met name in scenario's met slechte overlap of model misspecificatie.
3. Overweeg Overlap Weights (PATO): Voor beleidsrelevante inferentie in populaties met beperkte overlap, biedt het targeten van de overlap-populatie middels overlap weights meer betrouwbare en efficiënte schattingen.

De auteurs benadrukken dat deze methoden zijn geïmplementeerd in het PSweight R-pakket, wat de toepassing ervan in complexe survey-observationele studies vergemakkelijkt. Zij erkennen beperkingen met betrekking tot aannames van unconfoundedness en bekende surveygewichten, en suggereren toekomstig werk op het gebied van sensitiviteitsanalyses en uitbreidingen naar meerdere behandelingen en machine learning-gebaseerde benaderingen.