A formal approach to variable selection in difference-in-differences

1. Enunciazione del Problema

Le Differenze nelle Differenze (DiD) sono un metodo ampiamente utilizzato per l'inferenza causale che si basa sull'assunzione di trend paralleli: ovvero, in assenza di trattamento, l'evoluzione dell'esito del gruppo trattato avrebbe specchiato quella del gruppo di controllo.

• Il Divario: Nella pratica, i ricercatori spesso rilassano questa condizione a trend paralleli condizionati (assumendo che i trend siano paralleli solo all'interno di strati di covariate). Tuttavia, la selezione di queste covariate è frequentemente ad hoc (ad esempio, approcci "kitchen sink") o basata su valutazioni isolate di relazioni che variano nel tempo.
• L'Errore Concettuale: La letteratura spesso inquadra la difficoltà di incorporare covariate (specialmente quelle che variano nel tempo) come una limitazione di specifici stimatori (ad esempio, Effetti Fissi a Doppia Via). Gli autori sostengono che si tratti in realtà di un disallineamento tra l'insieme di aggiustamento implicitamente utilizzato dallo stimatore e l'insieme di aggiustamento richiesto per l'identificazione causale.
• Sfide Chiave:
  • I trend paralleli incondizionati sono un'assunzione forte che può entrare in conflitto con i trend condizionati.
  • Il ruolo delle covariate invarianti nel tempo e delle covariate post-trattamento è spesso frainteso (ad esempio, assumendo che le variabili invarianti nel tempo non siano mai confondenti, o che le variabili post-trattamento debbano essere sempre escluse).
  • Il feedback trattamento-confondente in contesti multi-periodo è spesso confuso con strategie di implementazione scalare (staggered rollout).

2. Metodologia

Gli autori propongono un quadro grafico basato sui Grafici Aciclici Diretti (DAG) e sul concetto di Equi-confondimento.

A. Fondamento Teorico: Equi-confondimento

Il documento riformula l'assunzione di trend paralleli come equi-confondimento: il confondente non osservato influenza gli esiti pre-trattamento e post-trattamento con uguale magnitudine.

• Rappresentazione Grafica: In un DAG standard, un confondente non osservato $V_0$ crea percorsi backdoor verso entrambi $Y_0$ e $Y_1$. L'assunzione di equi-confondimento è rappresentata da coefficienti uguali sugli archi da $V_0$ a $Y_0$ e $Y_1$.
• Rappresentazione Compatta: Gli autori introducono un diagramma semplificato focalizzato sulla variazione dell'esito $\Delta Y = Y_1 - Y_0$. Sotto l'equi-confondimento, il percorso da $V_0$ a $\Delta Y$ scompare (i coefficienti si annullano). Pertanto, l'identificazione richiede di bloccare tutti i percorsi backdoor dal Trattamento ($A_1$) a $\Delta Y$ in questo grafico compatto.
• Selezione delle Variabili: Applicando il criterio backdoor standard a questo grafico compatto, i ricercatori possono identificare un insieme di aggiustamento minimamente sufficiente ($X$) che giustifica i trend paralleli condizionati.

B. Allineamento della Stima

Gli autori analizzano stimatori DiD popolari (TWFE, IPW, Doppia Robustezza, ecc.) per determinare i loro insiemi di aggiustamento effettivi. Dimostrano che molti stimatori adottano di default insiemi di aggiustamento che non corrispondono ai requisiti del modello causale (ad esempio, il TWFE con covariate invarianti nel tempo le annulla; l'IPW standard utilizza spesso solo i valori di base).

• Soluzione Proposta: Invece di cambiare lo stimatore, gli autori propongono di modificare la specificazione delle covariate (ad esempio, creando copie costanti nel tempo di variabili che variano nel tempo, interagendo le covariate con il tempo) per costringere lo stimatore a utilizzare l'insieme di aggiustamento corretto.

C. Simulazione

Gli autori conducono uno studio di simulazione su molteplici scenari (variando il numero di covariate, effetti invarianti nel tempo vs. variabili nel tempo, meccanismi di covariate post-trattamento) per validare i loro risultati teorici. Confrontano il bias di vari stimatori quando si utilizzano insiemi di aggiustamento sufficienti, insufficienti o incerti.

3. Contributi e Approfondimenti Chiave

A. Trend Paralleli Incondizionati vs. Condizionati

• Conflitto: I trend paralleli incondizionati richiedono un offset perfetto di tutto il confondimento. Condizionare sulle covariate può paradossalmente rompere questa simmetria e introdurre bias se l'assunzione incondizionata era in realtà valida.
• Implicazione: I ricercatori non dovrebbero condizionare ciecamente sulle covariate dopo un test dei pre-trend; la decisione deve essere guidata dalla struttura causale.

B. Covariate Invarianti nel Tempo

• Approfondimento: Una covariata invariante nel tempo con un effetto invariante nel tempo sull'esito (tradizionalmente ignorata nel DiD) può essere una variabile di aggiustamento sufficiente se blocca un percorso backdoor creato da un confondente che varia nel tempo.
• Utilità: Questo amplia il pool di variabili di controllo valide, specialmente quando i confondenti che variano nel tempo non sono misurati.

C. Covariate Post-Trattamento

• Sfumatura: Non esiste una regola universale contro l'aggiustamento per covariate post-trattamento. La decisione dipende dal meccanismo che guida il cambiamento della covariata:
  • Auto-regressivo: Aggiustare per i valori post-trattamento è innocuo.
  • Shock endogeno: Potrebbe essere richiesto l'aggiustamento sia per i valori pre- che post-trattamento.
  • Confondente non misurato: Aggiustare per i valori post-trattamento potrebbe essere l'unico modo per identificare l'effetto.
  • Indotto dal trattamento: Aggiustare per i valori post-trattamento blocca il percorso causale (mediatore), recuperando solo l'effetto diretto, non l'effetto totale.

D. Estensioni Multi-Periodo

• Distinzione: Gli autori distinguono tra Tipo di Trattamento (Statico vs. Dinamico) e Strategia di Implementazione (Simultanea vs. Scalare/Staggered).
• Feedback Trattamento-Confondente: Questo ciclo di feedback (dove un trattamento precedente influenza una covariata che poi confonde un trattamento successivo) sorge solo sotto regimi di trattamento dinamici, non semplicemente a causa di un'implementazione scalare.
• Strategia: Per trattamenti statici scalari, dovrebbero essere costruiti diagrammi causali separati per ogni coorte per tenere conto di diversi meccanismi di assegnazione.

E. Allineamento della Stima

• Il Problema Centrale: Il bias deriva spesso dalla gestione predefinita delle covariate da parte dello stimatore (ad esempio, il pooling dei coefficienti nel TWFE) piuttosto che dalla forma matematica dello stimatore.
• La Soluzione: Modificando i dati di input (ad esempio, duplicando le covariate che variano nel tempo come colonne costanti nel tempo, interagendo con il tempo), qualsiasi stimatore standard può essere allineato ai requisiti di identificazione.

4. Risultati

Lo studio di simulazione conferma le previsioni teoriche:

• Insiemi di Aggiustamento Sufficienti: Quando l'insieme di aggiustamento effettivo corrisponde all'insieme sufficiente derivato dal DAG, tutti gli stimatori producono un bias basso (vicino allo zero), indipendentemente dal metodo specifico utilizzato.
• Insiemi di Aggiustamento Insufficienti: Tutti gli stimatori producono un bias sostanziale quando l'insieme di aggiustamento è insufficiente.
• Insiemi di Aggiustamento Incerti: Gli stimatori con insiemi di aggiustamento effettivi ambigui (ad esempio, TWFE standard con covariate che variano nel tempo) mostrano un bias variabile che va da trascurabile a grave, evidenziando il pericolo di affidarsi a specifiche predefinite.
• Risultati Specifici:
  • In scenari che richiedono covariate post-trattamento (ad esempio, confondenti non misurati che guidano l'evoluzione delle covariate), le implementazioni standard degli stimatori di Heckman, IPW e DR erano biasate perché escludevano di default i valori post-trattamento. Correggere i dati di input ha eliminato questo bias.
  • In scenari con feedback trattamento-confondente, l'aggiustamento per il mediatore al momento sbagliato ha introdotto un bias massiccio.

5. Significato

Questo documento sposta fondamentalmente il focus della letteratura DiD dalla selezione dello stimatore alla strategia di identificazione e selezione delle variabili.

1. Formalizza la Selezione delle Variabili: Fornisce i primi criteri rigorosi e grafici per la selezione delle covariate nel DiD, superando le pratiche ad hoc.
2. Chiarisce gli Errori Concettuali: Corregge comuni equivoci sulle variabili invarianti nel tempo e sulle covariate post-trattamento, mostrando che possono essere essenziali per l'identificazione.
3. Guida Pratica: Offre una soluzione "plug-and-play" per i praticanti: invece di passare a nuovi stimatori complessi, i ricercatori possono ottenere inferenze valide semplicemente ristrutturando i loro input di covariate per allinearli al modello causale.
4. Robustezza: I risultati suggeriscono che la scelta dell'insieme di aggiustamento è più critica per la validità rispetto alla scelta dello stimatore, a condizione che lo stimatore sia specificato correttamente per tale insieme.

In sintesi, gli autori forniscono un quadro unificato che integra diagrammi causali, teoria dell'identificazione e meccanica di stima, offrendo una via chiara per un'analisi DiD valida in contesti complessi e reali.