Small Samples and Short Panels: Evaluating Policy Evaluation Methods with Realistic Data

Technische Samenvatting: Kleine Steekproeven en Korte Panelen: Het Evalueren van Beleidsevaluatiemethoden met Realistische Data

Probleemstelling
Onderzoekers in de economie, volksgezondheid en politieke wetenschappen maken frequent gebruik van longitudinale quasi-experimentele ontwerpen, zoals Difference-in-Differences (DiD) en de Synthetic Control Method (SCM), om beleidsinterventies op geografisch niveau (bijv. staten, provincies, steden) te evalueren. Deze evaluaties worden echter vaak geconfronteerd met ernstige databeperkingen: een beperkt aantal geografische eenheden en korte panelen (weinig pre- en post-behandelingsperioden). Hoewel DiD steunt op de aanname van parallelle trends, wat onwaarschijnlijk kan zijn zonder uitgebreid te conditioneren op covariaten (een moeilijke taak in kleine steekproeven), bieden nieuwere methoden zoals Synthetic Difference-in-Differences (SDiD) en de Augmented Synthetic Control Method (ASCM) alternatieven.

Het kernprobleem dat wordt geadresseerd, is dat de theoretische prestatiegaranties voor SDiD en ASCM—specifiek met betrekking tot bias en de dekking van betrouwbaarheidsintervallen—afgeleid zijn onder asymptotische aannames die een groot aantal eenheden en tijdsperioden vereisen. Deze aannames falen vaak in realistische evaluaties van het gezondheidsbeleid waarbij de steekproefomvang klein is (bijv. minder dan 10 controle-eenheden) en de panelen kort zijn (bijv. minder dan 20 pre-behandelingsperioden). Er is een gebrek aan systematisch bewijs over de vraag of deze methoden betrouwbare schattingen en geldige inferentie opleveren onder dergelijke ernstige beperkingen in de hoeveelheid data.

Methodologie
Om de prestaties van SDiD en ASCM in deze realistische settings met kleine steekproeven te evalueren, gebruiken de auteurs een gekalibreerde simulatiestrategie. In plaats van te vertrouwen op puur theoretisch gegenereerde data, injecteren zij bekende behandelingseffecten (specifiek door het ware effect op nul te zetten om de nul-eigenschappen te testen) in gesimuleerde datasets die afgeleid zijn van empirische distributies uit de echte wereld.

• Data-kalibratie: De simulatieparameters worden geschat op basis van twee datasets uit de echte wereld:
  1. Youth Risk Behavior Surveillance System (YRBSS): Stad-niveau data over suikerconsumptie bij jongeren ($N=7$ steden, $T=6$ perioden), wat korte panelen met weinig eenheden vertegenwoordigt.
  2. Current Population Survey (CPS): Staat-niveau log-loon data ($N=50$ staten, $T=40$ jaar), wat de mogelijkheid biedt om langere panelen te onderzoeken.
• Data Generating Process (DGP): Data wordt gegenereerd onder een latent factor model ($Y = \Gamma\Psi' + W \cdot \tau + E$), een setting waarin zowel SDiD als ASCM gunstige theoretische eigenschappen bezitten. De factor loadings ($\Gamma$) en tijdfactoren ($\Psi$) worden geschat met behulp van interactieve vaste effecten uit de kalibratiedatasets.
• Simulatiedesign: De auteurs variëren het aantal behandelde eenheden ($N_{tr}$), controle-eenheden ($N_{co}$), pre-behandelingsperioden ($T_{pre}$) en post-behandelingsperioden ($T_{post}$). Scenario's omvatten extreme beperkingen (bijv. $N_{co}=6, T_{pre}=5$).
• Geëvalueerde methoden:
  • SDiD: Geïmplementeerd via het synthdid R-pakket, met gebruik van placebo variantie-estimatie.
  • ASCM: Geïmplementeerd via het augsynth R-pakket met ridge regressie als outcome-model, gebruikmakend van conformal inference voor hypothesetesten.
  • DiD: Inclusief als benchmark in settings waar parallelle trends exact standhouden, om efficiëntieverliezen te kwantificeren.
• Metrieken: Prestaties worden beoordeeld via bias, empirische standaardfout en de dekkingspercentages van betrouwbaarheidsintervallen (berekend als het aandeel van de simulaties waarin de ware nul $\tau=0$ niet wordt verworpen).

Belangrijkste Resultaten
De resultaten van de simulaties onthullen onderscheidende prestatiekenmerken voor SDiD en ASCM, afhankelijk van de steekproefomvang en de lengte van het paneel:

1. Bias en Precisie:

   • Beide methoden vertonen een matige bias (doorgaans $<0,1$ empirische standaarddeviaties) in de meeste scenario's.
   • ASCM produceert over het algemeen een kleinere bias dan SDiD, met name wanneer er meer eenheden beschikbaar zijn. Echter, in settings met meer tijdsperioden en minder behandelde eenheden, kan ASCM een grotere bias vertonen.
   • SDiD bereikt over het algemeen lagere empirische standaardfouten (hogere precisie) dan ASCM, vooral in scenario's met lange pre-behandelingsperioden en weinig behandelde eenheden (bijv. in de CPS-data met $N_{tr}=1, N_{co}=10, T_{pre}=30$, was de variantie van ASCM 2,26 keer groter dan die van SDiD).

2. Dekking van Betrouwbaarheidsintervallen:

   • ASCM: De conformal inference procedure vertoont consequent overdekking (dekking $>95\%$) wanneer het aantal pre-behandelingsperioden klein is ($T < 20$), wat leidt tot een aanzienlijk verlies aan statistische power. Overdekking kan echter ook aanhouden bij langere panelen (bijv. $T=30$) wanneer het aantal behandelde eenheden zeer klein is ($N_{tr}=1$). Nominale dekking wordt over het algemeen bereikt wanneer ten minste 20 pre-behandelingsperioden beschikbaar zijn, mits er voldoende behandelde eenheden zijn.
   • SDiD: Dekking is sterk afhankelijk van het aantal controle-eenheden. Bij één behandelde eenheid wordt nominale dekking pas bereikt met ten minste 25 controle-eenheden. Bij meerdere behandelde eenheden is nominale dekking haalbaar met slechts 10 controle-eenheden.
   • DiD: Bereikt nominale dekking ongeacht de steekproefomvang wanneer de aanname van parallelle trends standhoudt, hoewel SDiD en ASCM precisie opofferen (relatieve efficiëntie varieert van 1,09 tot 2,25) om robuustheid tegen schendingen van parallelle trends te verkrijgen.

3. Prestaties bij Kleine Steekproeven:

   • In de meest beperkte scenario's (bijv. $N_{co}=6, T_{pre}=5$) vertonen beide methoden afwijkingen van de nominale dekking, hoewel de bias relatief laag blijft.
   • De auteurs merken op dat hoewel de theoretische aannames voor asymptotische normaliteit vaak falen in deze kleine steekproeven, de methoden nog steeds "redelijk goed" presteren wat betreft punt-schatting, hoewel inferentie (intervallen) voorzichtigheid vereist.

Betekenis en Praktische Richtlijnen
Het artikel biedt praktische richtlijnen voor onderzoekers die beleidsinterventies evalueren in settings met weinig eenheden en korte panelen, met name waar de aanname van parallelle trends verdacht is:

• Methodekeuze: SDiD en ASCM worden aanbevolen als primaire analyses alleen wanneer domeinkennis suggereert dat parallelle trends onwaarschijnlijk is (bijv. door pre-interventie schokken). Anders moeten ze worden gebruikt als sensitiviteitsanalyses voor DiD.
• Inferentiebeperkingen:
  • ASCM moet met voorzichtigheid worden gebruikt in korte panelen ($T < 20$) vanwege conservatieve betrouwbaarheidsintervallen die de power verminderen; zelfs bij langere panelen kan de dekking slecht zijn als het aantal behandelde eenheden zeer klein is.
  • SDiD vereist een voldoende aantal controle-eenheden (ongeveer 25 voor enkele behandelde eenheden, 10 voor meerdere) om geldige inferentie te bereiken.
• Trade-offs: De studie benadrukt dat de robuustheid van SDiD en ASCM tegen schendingen van parallelle trends gepaard gaat met een verlies aan precisie vergeleken met DiD wanneer parallelle trends daadwerkelijk standhouden.
• Beperkingen: De auteurs erkennen dat hun simulaties gekalibreerd zijn op slechts twee datasets en een latent factor model met gelijktijdige adoptie veronderstellen. Zij beweren niet dat zij voorschrijvende richtlijnen geven voor specifieke covariabele-aanpassingen of alternatieve variantie-estimators, maar stellen dat hun resultaten de standaard software-implementaties reflecteren.

Conclusie
De studie concludeert dat hoewel SDiD en ASCM waardevolle instrumenten zijn voor beleidsevaluatie in data-arme omgevingen, hun inferentiële eigenschappen gevoelig zijn voor de steekproefomvang en de lengte van het paneel. Onderzoekers moeten zorgvuldig overwegen hoeveel controle-eenheden en tijdsperioden beschikbaar zijn voordat zij vertrouwen op deze methoden voor hypothesetesten, aangezien de standaard asymptotische garanties mogelijk niet standhouden in de kleine steekproefsettings die gebruikelijk zijn in onderzoek naar het gezondheidsbeleid.