Covariate balancing estimation and model selection for difference-in-differences approach

Dit artikel introduceert een dubbel robuuste schatter voor het gemiddelde behandelingseffect op de behandelde (ATT) in difference-in-differences-analyses door covariaatbalancering te combineren met propensity score-weging, en leidt bovendien een nieuw modelselectie-criterium af dat aanzienlijk verschilt van traditionele AIC-achtige straffen.

De kern

De Twee Sporen: Een Simpele Uitleg van de "Covariate Balancing" Methode

Stel je voor dat je een nieuwe medicijn wilt testen om te zien of het echt werkt. Je hebt twee groepen mensen: de Behandelgroep (die het pilletje nemen) en de Controlegroep (die een nep-pilletje nemen). Je wilt weten: Hoeveel beter gaat het met de behandelgroep dan met de controlegroep, puur door het pilletje?

In de echte wereld is dit lastig. Mensen die het pilletje nemen, zijn misschien al gezonder of rijker dan degenen die het niet nemen. Als je alleen kijkt naar wie er beter wordt, zie je misschien een verschil, maar is dat door het pilletje of omdat ze al beter waren?

De wetenschappers in dit artikel (Baba en Ninomiya) hebben een slimme manier bedacht om dit probleem op te lossen en te voorkomen dat je de verkeerde conclusies trekt. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Twee Sporen" Methode (DID)

De standaardmethode heet Difference-in-Differences (Verschil-in-Verschillen).

• Stap 1: Kijk hoe de gezondheid van de behandelgroep is veranderd (voor en na).
• Stap 2: Kijk hoe de gezondheid van de controlegroep is veranderd.
• Stap 3: Trek het verschil van groep 2 af van het verschil van groep 1.

Dit werkt alleen als je kunt aannemen dat beide groepen anders zouden zijn verlopen als ze geen pilletje hadden gekregen. Dit heet de "parallelle trend". Maar wat als de groepen heel verschillend zijn (bijvoorbeeld qua leeftijd of inkomen)? Dan is die aanname misschien niet waar.

2. De Oplossing: De Weegschaal (Propensity Scores)

Om de groepen eerlijk te vergelijken, gebruiken onderzoekers een "weegschaal". Ze geven mensen in de controlegroep een zwaarder gewicht als ze lijken op iemand in de behandelgroep.

• Voorbeeld: Als er in de behandelgroep veel oude mannen zitten, maar in de controlegroep weinig, dan krijg die ene oude man in de controlegroep een heel groot gewicht. Zo "balanceren" we de groepen.

Het probleem: Om die weegschaal goed te maken, moet je een model gebruiken om te voorspellen wie een pilletje krijgt. Als je dit model verkeerd opstelt (bijvoorbeeld door een belangrijke factor te vergeten), is je hele weegschaal scheef en zijn je resultaten onbetrouwbaar.

3. De Nieuwe Methode: "Covariate Balancing" (CBD)

De auteurs zeggen: "Wacht even, we hoeven niet te gokken met een model. Laten we de weegschaal gewoon fysiek in balans brengen."

Ze gebruiken een wiskundige truc (momentenbalancering) om ervoor te zorgen dat de gemiddelde eigenschappen van beide groepen exact overeenkomen, ongeacht welk model je gebruikt.

• De Analogie: Stel je hebt twee bakken met fruit. In bak A zitten appels en peren. In bak B ook. Je wilt weten of appels lekkerder zijn. Je kunt niet gewoon tellen, want bak A heeft misschien meer dure peren.
  • De oude methode probeerde een formule te bedenken om de peren te tellen. Als je de formule fout had, was het resultaat fout.
  • De nieuwe methode (CBD) zegt: "Laten we gewoon fruit verplaatsen tot beide bakken precies hetzelfde aantal appels en peren hebben." Dan is het eerlijk, punt uit.

Het grote voordeel (Dubbel Robuust):
Dit is het magische deel. De nieuwe methode werkt goed in twee situaties:

1. Als je model voor de weegschaal perfect is.
2. OF als je model voor de weegschaal fout is, maar je model voor de uitkomst (hoe de gezondheid verandert) juist is.

Het is alsof je een auto hebt met twee remmen. Als de eerste rem faalt, werkt de tweede nog steeds. Je bent veilig, ongeacht welke fout je maakt.

4. De Uitdaging: Welke Factoren Maken Er Toe? (Model Selectie)

Nu we een goede methode hebben, is er nog een probleem: Welke factoren moeten we meenemen in onze berekening?
Hebben we leeftijd nodig? Inkomen? Of misschien alleen de leeftijd?

In de statistiek gebruiken we vaak een "score" (zoals AIC) om te kiezen welk model het beste is. Maar voor deze specifieke methode bestonden er geen goede scores. De oude scores waren als een verkeerde GPS: ze leidden je naar een route die eruitzag alsof hij kort was, maar die je uiteindelijk in een doodlopende straat bracht. Ze kozen vaak te veel onnodige factoren.

De auteurs hebben een nieuwe GPS bedacht.

• Ze hebben een formule gemaakt die precies berekent hoeveel "strafpunten" je moet geven als je te veel factoren toevoegt.
• In tegenstelling tot oude methoden (die vaak zeggen: "tel gewoon het aantal factoren en vermenigvuldig met 2"), zegt hun nieuwe formule: "Nee, de straf is anders, want onze weegschaal werkt anders."

5. Wat Levert dit Op?

In hun proeven (met computersimulaties en echte data over werkloosheid) toonden ze aan dat:

1. Hun nieuwe methode (CBD) veel minder fouten maakt als je niet zeker weet welke factoren belangrijk zijn.
2. Hun nieuwe "GPS" (model selectie) veel beter werkt dan de oude methoden. Het kiest de juiste factoren en negeert de ruis.

Kortom:
Deze paper introduceert een slimmere manier om te kijken of een behandeling werkt. Het is als het vervangen van een wazige bril door een scherpe, dubbel-gedekte bril die je altijd een helder beeld geeft, zelfs als je de wereld om je heen niet helemaal begrijpt. En ze hebben ook een betere kompas ontwikkeld om te weten welke wegen je moet nemen om de juiste conclusie te trekken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Covariate balancing estimation and model selection for difference-in-differences approach" van Baba en Ninomiya, vertaald en samengevat in het Nederlands.

Probleemstelling

Het artikel adresseert twee fundamentele uitdagingen binnen de semiparametrische Difference-in-Differences (SDID) methode voor causale inferentie:

1. Robuustheid tegen modelmisspecificatie: Traditionele SDID-schatters (zoals die van Abadie, 2005) zijn afhankelijk van een correct gespecificeerd model voor de propensiteitsscore (de kans op behandeling). Als dit model verkeerd is gespecificeerd, ontstaat er een bias in de schatting van het gemiddelde behandelingseffect op de behandelde groep (ATT). Bestaande dubbel robuuste methoden vereisen vaak schattingen van zowel het behandelingsmodel als het uitkomstmodel.
2. Gebrek aan modelselectiecriteria: Er bestaat geen geschikte informatie-criteria (zoals AIC of BIC) voor de SDID-context. Bestaande criteria, zoals het Generalized Information Criterion (GIC), zijn niet direct toepasbaar omdat de gebruikte verliesfuncties gewogen zijn met propensiteitsscores (die stochastische variabelen zijn). Bovendien levert het toepassen van standaardstraffen (zoals $2 \times$ het aantal parameters) vaak suboptimale resultaten op omdat ze de complexiteit van de gewogen schatting niet correct vangen.

Methodologie

De auteurs stellen twee nieuwe methoden voor: een schattingsprocedure en een bijbehorend modelselectiecriterium.

1. Covariate Balancing voor Difference-in-Differences (CBD)

De kern van de nieuwe schattingsmethode is het integreren van covariate balancing in de SDID-framework om dubbel robuustheid te bereiken zonder het uitkomstmodel expliciet te hoeven schatten.

• Momentvoorwaarden: In tegenstelling tot traditionele covariate balancing die vaak de eerste orde momenten (gemiddelden) van covariaten balanceren, stelt de auteur voor om de tweede orde momenten (kruisproducten $xx^T$) te balanceren tussen de behandelings- en controlegroep.
• Schattingsprocedure: De propensiteitsscore parameters ($\alpha$) worden geschat via de Generalized Method of Moments (GMM) door de empirische momentvoorwaarden $E[h(d, x; \alpha)] = 0$ te minimaliseren, waarbij $h$ gebaseerd is op de tweede orde momenten.
• Dubbel Robuustheid: De schatter $\hat{\theta}_{CBD}$ is consistent (dubbel robuust) als ofwel:
  1. Het model voor de propensiteitsscore correct is gespecificeerd, of
  2. Het model voor de verandering in uitkomsten over de tijd lineair is in de covariaten (zelfs als de propensiteitsscore verkeerd is gespecificeerd).
     Technische nuance: Het balanceren van tweede orde momenten is cruciaal voor deze eigenschap bij conditionele ATT-schattingen, wat een onthullend technisch inzicht is.

2. Modelselectiecriteria

De auteurs leiden nieuwe criteria af die gebaseerd zijn op een asymptotisch onbevooroordeelde schatter van het risico (risk), gebaseerd op de verliesfunctie van de SDID-schatting.

• Risicofunctie: Het doel is het minimaliseren van de gewogen gemiddelde kwadratische fout. De auteurs analyseren de bias van de ruwe risicoschatting.
• Strafterm (Penalty): Ze leiden een straffterm af die asymptotisch correct is voor de bias.
  • Voor het geval dat de propensiteitsscores bekend zijn, wordt een specifieke straffterm afgeleid.
  • Voor het CBD-geval (waarbij propensiteitsscores geschat worden via GMM) en het MLE-geval, wordt de straffterm afgeleid door rekening te houden met de variabiliteit van de geschatte propensiteitsscores.
• Verschil met AIC: De afgeleide straffterm is significant verschillend van de standaard $2 \times k$(waarbij$k$ het aantal parameters is) die voorkomt in AIC-type criteria. De nieuwe straffterm is doorgaans groter en compenseert beter voor de complexiteit van de gewogen schatting.

Belangrijkste Resultaten

1. Robuustheid (Simulaties):

   • Numerieke experimenten tonen aan dat de CBD-schatter robuust is tegen misspecificatie van het propensiteitsscore-model. Waar de traditionele Maximum Likelihood Estimator (MLE) aanzienlijke bias vertoont bij verkeerde specificatie, blijft de CBD-schatter consistent.
   • Het gebruik van de identiteitsmatrix als gewichtsmatrix in de GMM levert vaak vergelijkbare resultaten op als de optimale gewichtsmatrix, maar is stabieler.

2. Modelselectieprestaties:

   • De afgeleide strafftermen van het voorgestelde criterium benaderen de werkelijke bias zeer nauwkeurig (gevalideerd via Monte Carlo simulaties).
   • In vergelijking met een intuïtieve uitbreiding van het QICW-criterium (Platt et al., 2013), onderestimeert QICW de bias systematisch. Dit leidt ertoe dat QICW te veel covariaten selecteert (veel false positives).
   • Het voorgestelde criterium presteert over het algemeen superieur in termen van het minimaliseren van het empirische risico, vooral in scenario's met veel irrelevante covariaten.

3. Toepassing op Real Data (LaLonde Dataset):

   • Bij toepassing op de beroemde LaLonde-dataset (werkprogramma's) bleek dat het voorgestelde criterium een aanzienlijk ander model selecteert dan QICW. Waar QICW bijna alle covariaten selecteerde, selecteerde het voorgestelde criterium een parsimonieuzer model. Dit onderstreept het belang van een theoretisch geldig criterium in plaats van een intuïtieve benadering.

Significantie en Bijdrage

• Methodologische Innovatie: Het artikel levert een nieuwe, dubbel robuuste schatter voor SDID in, die specifiek is ontworpen voor het schatten van conditionele ATT's (heterogeniteit van behandelingseffecten). De ontdekking dat tweede orde momenten gebalanceerd moeten worden voor dubbel robuustheid in deze context is een belangrijk theoretisch inzicht.
• Invulling van een Kruis: Het vult een leemte in de literatuur door het eerste geldige modelselectiecriterium te bieden voor SDID-methoden. Bestaande criteria waren niet toepasbaar vanwege de gewogen aard van de schatters.
• Praktische Relevantie: De methode biedt onderzoekers in economie en epidemiologie een robuustere manier om causale effecten te schatten en de juiste covariaten te selecteren, zelfs wanneer de onderliggende modellen niet perfect zijn. De resultaten tonen aan dat het gebruik van intuïtieve criteria (zoals QICW) kan leiden tot overfitting en onbetrouwbare conclusies.

Samenvattend biedt dit werk een complete oplossing voor zowel de schatting als de modelselectie in semiparametrische Difference-in-Differences analyses, met een sterke focus op theoretische geldigheid en praktische robuustheid.