Deconfounding Scores and Representation Learning for Causal Effect Estimation with Weak Overlap

Probleemstelling

In observationeel causaal inferentie is de overlappingsaanname (ook wel positivity genoemd) cruciaal voor het schatten van causale behandelingseffecten. Deze aanname vereist dat de verdelingen van covariaten in de behandelde en controlegroepen een gemeenschappelijke ondersteuning hebben.

• Het probleem: Wanneer overlappingsproblemen optreden (zwakke overlap), leiden populaire schatters (zoals inverse probability weighting of doubly robust schatters) tot hoge variantie en instabiele resultaten. Dit probleem wordt verergerd in hoge dimensies ("curse of dimensionality"), waar het onwaarschijnlijk wordt dat er overlap bestaat tussen complexe covariaten.
• Huidige aanpak: Bestaande methoden proberen dit op te lossen door het doel van schatting te veranderen (bijv. naar een populatie met betere overlap), extreme propensity scores te trimmen, of representaties te leren die beter overlappen. Echter, veel van deze methoden verliezen onbedoeld belangrijke verstorende informatie (confounding information), wat leidt tot bias, of ze verbinden de overlap-maatstaven niet direct aan de asymptotische variantie van de schatter.

Methodologie

De auteurs introduceren een nieuw kader gebaseerd op Deconfounding Scores en een nieuwe maatstaf voor overlap.

1. Deconfounding Scores:

   • Dit is een klasse van representaties $\phi(X)$ die de onbevooroordeelde schatting van het gemiddelde behandelingseffect op de behandelde (ATT) garanderen onder de aanname van onverwarbaarheid (ignorability).
   • Formeel wordt een deconfounding score gedefinieerd als een representatie waarbij de conditionele covariantie tussen het uitkomstmodel $m_0(X)$ en de dichtheidsverhouding (propensity score) gegeven $\phi(X)$ nul is.
   • Bestaande concepten zoals de propensity score (balancerende score) en de prognostic score (voorspellende score voor de uitkomst) zijn specifieke gevallen binnen deze klasse. De auteurs tonen aan dat er een continuüm bestaat tussen deze twee uitersten.

2. Overlap Divergentie:

   • De auteurs definiëren de overlap divergence $O(Z)$ als de verwachting van het kwadraat van de dichtheidsverhouding tussen de behandelde en controlegroepen voor een representatie $Z$: $O(Z) = E[\left(\frac{dP^1_Z}{dP^0_Z}(Z)\right)^2]$.
   • Dit is gerelateerd aan de $\chi^2$-divergentie. Een lagere waarde impliceert betere overlap.
   • Belangrijk theoretisch resultaat: Ze bewijzen dat de overlap divergence de semiparametrische efficiëntiegrens (asymptotische variantie) van de schatter controleert. Het minimaliseren van deze divergentie is dus noodzakelijk (en soms voldoende) om de variantie te verlagen.

3. Optimalisatie in een Gaussische Setting:

   • In een analytisch kader met Gaussische covariaten en Generalized Linear Models (GLM) voor behandeling en uitkomst, karakteriseren de auteurs de familie van deconfounding scores.
   • Ze tonen aan dat de geldige representaties liggen op een hyperbool in de ruimte opgespannen door de coëfficiënten van de prognostic score ($\alpha$) en de propensity score ($\beta$).
   • Kernbevinding: Binnen deze familie minimaliseert de prognostic score (die alleen afhankelijk is van de uitkomst) de overlap divergence, terwijl de propensity score deze maximaliseert. Dit betekent dat het weglaten van variabelen die alleen de behandeling voorspellen (maar niet de uitkomst) de overlap verbetert zonder bias te introduceren.

Belangrijkste Bijdragen

• Definitie van Deconfounding Scores: Een formele karakterisering van alle representaties die onbevooroordeeldheid behouden, wat een brug slaat tussen propensity en prognostic scores.
• Theoretische Link: Een bewijs dat de overlap divergence direct de asymptotische variantie van schatters beperkt, wat een theoretische onderbouwing biedt voor het minimaliseren van overlap-problemen.
• Analytische Optimaliteit: Het bewijs dat in een Gaussische setting prognostic scores de optimale representaties zijn voor het maximaliseren van overlap, terwijl ze de confounding bias nul houden.
• Empirische Validatie: Uitgebreide experimenten die aantonen dat het gebruik van deconfounding scores (vooral prognostic scores) de prestaties van bestaande schatters (IPW, AIPW, Outcome Regression) verbetert, zowel in gesimuleerde als semi-synthetische datasets.

Resultaten

De auteurs voerden experimenten uit op gesimuleerde data (met variërende overlap en signaal-ruisverhoudingen) en semi-synthetische datasets (IHDP, ACIC 2016, HC-MNIST).

• Simulaties:

  • Wanneer het uitkomstmodel correct gespecificeerd is, presteren schatters gebaseerd op de prognostic score consistent beter (lagere RMSE) dan die gebaseerd op ruwe covariaten of propensity scores.
  • Wanneer het propensity model correct is maar het uitkomstmodel niet, presteren propensity-score gebaseerde methoden beter.
  • Wanneer beide modellen misspecificeerd zijn, presteren deconfounding scores (met name de "equiangular" score die een middenweg zoekt) vaak beter dan ruwe covariaten.
  • De overlap divergence neemt af naarmate men beweegt van de propensity score naar de prognostic score, wat overeenkomt met een daling in de standaardafwijking van de schatter.

• Semi-synthetische Data:

  • Er is altijd minstens één deconfounding score die presteert beter dan het gebruik van ruwe covariaten.
  • De prognostic score levert in de meeste gevallen de grootste verbetering op, maar de "equiangular" score (een mix van propensity en prognostic) blijkt een robuust alternatief te zijn dat goed presteert ongeacht welke van de twee modellen (uitkomst of behandeling) beter wordt geschat door de data.

Betekenis en Conclusie

Dit paper biedt een fundamentele doorbraak in het omgaan met zwakke overlap in causale inferentie.

1. Theoretische Inzicht: Het verduidelijkt dat het minimaliseren van overlap-divergentie niet in strijd is met het behoud van onbevooroordeelde schatting, mits men binnen de klasse van deconfounding scores blijft.
2. Praktische Toepassing: Het suggereert dat het gebruik van prognostic scores (of een combinatie daarvan) in plaats van propensity scores of ruwe covariaten een effectieve strategie is om de variantie van schatters te verlagen in hoge-dimensionale settings.
3. Complementair: De methode is "drop-in" compatibel met bestaande schatters zoals AIPW, TMLE en Double Machine Learning.

De auteurs erkennen beperkingen, zoals de afhankelijkheid van Gaussische aannames voor de analytische resultaten, en wijzen op de noodzaak om deze methoden uit te breiden naar niet-lineaire, diepe leermodellen en meer algemene verdelingen. Toch legt dit werk de basis voor representatieleren dat specifiek is ontworpen om zowel onverwarbaarheid als overlap te optimaliseren.