Bounding Treatment Effects by Pooling Limited Information across Observations

Technische Samenvatting: Begrenzing van Treatment Effects door Beperkte Informatie te Pooleden over Observaties

Probleemstelling
Het artikel adresseert de uitdaging van het schatten van Average Treatment Effects (ATE) en Average Treatment Effects on the Treated (ATT) onder de aanname van onverwardheid wanneer de overlapvoorwaarde wordt geschonden of wanneer conditioneringsvariabelen een groot aantal onderscheiden waarden aannemen ten opzichte van de steekproefgrootte. In dergelijke situaties van "beperkte overlap" of hoge dimensionaliteit faalt standaard inverse propensity score (IPS) weging omdat de propensity score niet consistent kan worden geschat, wat leidt tot oneindige variantie of niet-uniform asymptotisch gedrag. Omgekeerd levert het uitsluitend vertrouwen op Manski-bounds (die geen overlap vereisen) extreem brede intervallen op die vaak ontoereikend zijn. De auteurs merken op dat bestaande methoden, zoals trimmen of overlap-weging, de parameter van interesse veranderen, terwijl extrapolatiemethoden vertrouwen op mogelijk verkeerd gespecificeerde modellen.

Methodologie
De auteurs stellen een nieuw kader voor het construeren van bounds voor dat een tussenruimte inneemt tussen het "geen poolen" van Manski-bounds en het "onbeperkte poolen" dat vereist is voor puntidentificatie via IPS-weging.

1. Beperkt Poolen: De kerninnovatie bestaat uit het construeren van bounds als steekproefgemiddelden van functies van waargenomen uitkomsten, waarbij de bijdrage van elke uitkomst alleen afhangt van de treatmentstatus van een beperkt aantal observaties met vergelijkbare covariatenwaarden.
2. Orde van Bounds:
   • Eerste-orde Bounds ($Q=1$): Deze corresponderen met standaard Manski-bounds, waarbij uitsluitend individuele uitkomst en treatmentstatus worden gebruikt, zonder dat overlap vereist is.
   • Tweede-orde en Hogere-orde Bounds ($Q \ge 2$): Deze maken gebruik van informatie uit paren of kleine groepen observaties met identieke (of geklusterde) covariatenwaarden. Door binnen deze kleine groepen de aanname van onverwardheid te benutten, leiden de auteurs strakkere bounds af.
3. Referentie Propensity Score: De bounds worden geparametriseerd door een "referentie propensity score" $p^*(x)$. De bounds blijven geldig ongeacht de waarde van $p^*(x)$. Echter, als $p^*(x)$ dicht bij de ware propensity score $p(x)$ ligt, worden de bounds scherp (optimaal qua verwachte breedte). Dit stelt onderzoekers in staat om voorkennis of eenvoudige schattingen (bijvoorbeeld het globale treatmentaandeel) te incorporeren zonder het risico op ongeldigheid als de gok onjuist is.
4. Generalisatie naar Hogere Orden: Het artikel generaliseert deze bounds naar willekeurige orde $q$. De bounds worden geconstrueerd als polynomen in de onbekende propensity score $p(x)$. Om ze uitvoerbaar te maken, worden termen die $[p(x)]^r$ bevatten, vervangen door producten van treatmentindicatoren van $r$ verschillende observaties binnen dezelfde covariatencluster.
5. Omgaan met Continue Covariaten: Aangezien het theoretische kader discrete covariaten veronderstelt om herhaalde waarden mogelijk te maken, stellen de auteurs een praktische clusterprocedure voor (hiërarchisch agglomeratief clusteren) om continue covariaten te groeperen in bins. Dit creëert een eindige set van "effectieve" covariatenwaarden, waardoor de toepassing van de bounds mogelijk wordt.
6. Inferentie: De auteurs ontwikkelen asymptotisch geldige betrouwbaarheidsintervallen. Ze behandelen de verschillende covariatenclusters als de effectieve steekproefgrootte ($m$). Ze adresseren het probleem van potentieel lege betrouwbaarheidsintervallen (waarbij de ondergrens de bovengrens in eindige steekproeven overtreft) door een unie van intervallen te construeren op basis van Stoye (2020), waarbij wordt gewaarborgd dat het definitieve interval nooit leeg is terwijl de asymptotische dekking behouden blijft.

Belangrijkste Bijdragen

• Nieuwe Bounds: Het artikel biedt de eerste systematische methode om geldige bounds voor ATE en ATT af te leiden die robuust zijn voor beperkte overlap en hoge-dimensionaliteit van covariaten, zonder dat de overlapvoorwaarde of een consistente schatting van de propensity score vereist is.
• Robuustheid tegen Foutieve Specificatie: In tegenstelling tot IPS-schatters blijven deze bounds geldig zelfs als de referentie propensity score verkeerd gespecificeerd is. Ze bieden een "veiligheidsnet" dat smaller wordt naarmate de referentiescore de waarheid nadert, maar niet instort als dat niet het geval is.
• Geldigheid voor Eindige Steekproeven: De methodologie is ontworpen voor scenario's waarin het aantal onderscheiden covariatenwaarden groot is ten opzichte van de steekproefgrootte, een regime waarin standaard niet-parametrische schatting faalt.
• Inferentieprocedures: Het artikel stelt de asymptotische normaliteit van de steekproefbounds vast en biedt een concrete procedure voor het construeren van niet-lege, geldige betrouwbaarheidsintervallen.

Resultaten

• Monte Carlo Experimenten: Simulaties tonen aan dat wanneer de overlapvoorwaarde geldt en de referentiescore correct is, de voorgestelde bounds strak zijn en vergelijkbaar met orakel-schatters. Wanneer overlap wordt geschonden of de propensity score verkeerd gespecificeerd is, blijven de voorgestelde bounds (met name met $Q=2, 3$) informatief en weerspiegelen ze correct partiële identificatie, terwijl standaard IPS-schatters en nearest-neighbor matching aanzienlijke bias of dispersie vertonen. De bounds verbeteren Manski-bounds door de intervalbreedte te verkleinen terwijl de geldigheid behouden blijft.
• Empirische Toepassingen:
  • Rechtshartkatheterisatie (RHC): Toegepast op de data van Connors et al. (1996), levert de methode een 95% betrouwbaarheidsinterval voor de ATT op van $[-0.117, -0.006]$, wat nul uitsluit en een negatief effect suggereert (verhoogde mortaliteit). Deze conclusie houdt stand zonder te vertrouwen op de overlapvoorwaarde of een correct gespecificeerd logit-model.
  • Tijdelijk Werkprogramma: Toegepast op de Dehejia-Wahba-substeekproef en de PSID-controlegroep. Voor de Dehejia-Wahba-steekproef (waar randomisatie behouden blijft) zijn de bounds strak en consistent met eenvoudige gemiddeldeverschillen. Voor de PSID-controlegroep (waar overlap beperkt is) worden de bounds aanzienlijk breder om de onzekerheid te weerspiegelen, in contrast met de Manski-bounds die nog breder zijn.

Betekenis en Claims
De auteurs claimen dat hun methode een robuust compromis biedt tussen het extreme conservatisme van Manski-bounds en de kwetsbaarheid van methoden voor puntidentificatie onder beperkte overlap. Door toelating tot "beperkt poolen" van informatie, benut de aanpak de aanname van onverwardheid om bounds te verstrakken zonder de sterke data-eisen (grote lokale steekproefgroottes) te eisen die nodig zijn voor propensity score-schatting. Het artikel benadrukt dat de methode bijzonder waardevol is in hoge-dimensionaliteitssituaties waar betrouwbare propensity score-schatting onuitvoerbaar is. De auteurs zijn bescheiden wat betreft de discretisatie van continue covariaten, en erkennen dit als een praktische oplossing die benaderingsfout introduceert, waarvan de formele analyse wordt overgelaten aan toekomstig werk. Ze merken ook op dat hoewel hun bounds optimaal zijn binnen de klasse van beschouwde "beperkt poolen"-bounds, ze niet claimen de globaal optimale bounds te zijn die mogelijk zijn onder alle denkbare aannames.