Bias-Variance Tradeoff of Matching Prior to Difference-in-Differences When Parallel Trends is Violated

Sintesi Tecnica: Trade-off tra Bias e Varianza del Matching Prior rispetto alla Differenza nelle Differenze

Enunciato del Problema
Nella gestione operativa empirica e in settori correlati, lo stimatore della Differenza nelle Differenze (DiD) è uno strumento standard per l'inferenza causale, basato sull'assunzione di "tendenze parallele" (PT). Per rafforzare la plausibilità di tale assunzione, i ricercatori impiegano frequentemente una strategia "Matching-DiD" (M-DiD), abbinando unità trattate e di controllo su covariate osservate prima della stima. Sebbene la letteratura esistente (ad es. Chabé-Ferret, 2015; Ham e Miratrix, 2024) abbia analizzato estensivamente le proprietà di bias di tali stimatori, ha largamente trascurato le implicazioni in termini di varianza ed Errore Quadratico Medio (MSE). Ciò crea un vuoto nella comprensione delle prestazioni complessive degli stimatori M-DiD, in particolare riguardo al trade-off tra la riduzione del bias tramite il matching e il potenziale aumento della varianza dovuto alla riduzione della dimensione campionaria. Inoltre, studi precedenti si basano spesso su aspettative limite a livello di popolazione piuttosto che su proprietà di campioni finiti, e alcuni fanno affidamento su forti assunzioni di normalità.

Metodologia
Gli autori sviluppano un quadro teorico basato su un modello di equazione strutturale lineare con fattori di confondimento non osservati che variano nel tempo. Il modello consente:

1. Effetti variabili nel tempo: I coefficienti delle covariate osservate ($X$) e delle variabili latenti ($\theta$) possono cambiare nel tempo, portando a potenziali violazioni delle tendenze parallele.
2. Analisi di campioni finiti: A differenza di lavori precedenti focalizzati esclusivamente sui limiti asintotici, gli autori definiscono analoghi di campioni finiti per tre stimatori:
   • DiD classico senza matching ($\hat{\tau}_{DiD}$).
   • DiD dopo il matching su covariate osservate ($\hat{\tau}^X_{DiD}$).
   • DiD dopo il matching su entrambe le covariate osservate e gli esiti pre-trattamento ($\hat{\tau}^{X,Y_0}_{DiD}$).
3. Assunzioni Rilassate: Il quadro sostituisce le assunzioni di normalità della letteratura precedente (ad es. Ham e Miratrix, 2024) con condizioni di continuità di Lipschitz sui momenti condizionali, accogliendo covariate discrete e strutture distributive più ampie.
4. Generalizzazione: L'analisi è estesa da un contesto univariato a due periodi a un contesto multivariato generale con più periodi pre-trattamento ($T > 1$), utilizzando un'equivalenza con la regressione a effetti fissi bidirezionali.

Principali Contributi

1. Caratterizzazione di Campioni Finiti: Il paper introduce e dimostra la consistenza degli stimatori DiD e DiD con matching di campioni finiti, colmando il divario tra valori limite teorici e applicazione pratica.
2. Analisi di Varianza e MSE: Gli autori forniscono caratterizzazioni matematiche esatte della varianza e dell'MSE per questi stimatori. Dimostrano che i trade-off osservati nel bias non valgono necessariamente per la varianza.
3. Risultati Novelli sul Trade-off:
   • Matching su Covariate ($X$): Contrariamente ai risultati sul bias che suggeriscono che il matching su $X$ sia sempre benefico, gli autori mostrano che il matching su $X$ comporta un trade-off di dimensione campionaria. Quando le tendenze parallele sono violate, il matching su $X$ riduce la varianza eliminando la variazione dovuta a $X$, ma questo beneficio è compensato dalla riduzione della dimensione campionaria effettiva (che aumenta la variazione campionaria). Pertanto, il matching su $X$ non è sempre raccomandato quando si considera la varianza.
   • Matching su Esiti Pre-Trattamento ($Y_0$): Al contrario, il matching aggiuntivo sugli esiti pre-trattamento riduce sempre la varianza rispetto al matching solo su $X$. Ciò è dovuto al fatto che la dimensione campionaria effettiva rimane invariata (poiché il matching è già stato eseguito), e il matching su $Y_0$ riduce il termine di errore irriducibile e migliora l'affidabilità del matching della variabile latente.
4. Linee Guida Pratiche: Il paper offre strategie di stima passo-passo e linee guida per i ricercatori applicati per decidere se effettuare il matching e su quali variabili, basandosi sulle loro dimensioni campionarie specifiche e su se danno priorità al bias, alla varianza o all'MSE.

Risultati Chiave

• Divergenza tra Bias e Varianza: Il paper stabilisce un chiaro trade-off tra bias e varianza. Sebbene il matching su $X$ riduca generalmente il bias, può aumentare la varianza se il costo della riduzione della dimensione campionaria supera il beneficio della rimozione dello squilibrio delle covariate.
• Il Termine "Affidabilità": La varianza dello stimatore che effettua il matching sugli esiti pre-trattamento dipende da un termine di "affidabilità" ($r_{\theta|x}$), che misura quanto bene gli esiti pre-trattamento predicono il fattore di confondimento latente $\theta$ dopo il controllo per $X$. All'aumentare del numero di periodi pre-trattamento, questa affidabilità si avvicina a 1, spingendo la varianza dello stimatore matched verso il limite inferiore dell'errore irriducibile.
• Implicazioni MSE: Poiché bias e varianza si muovono in direzioni diverse a seconda della strategia di matching, lo stimatore ottimale per minimizzare l'MSE è dipendente dal contesto. Gli autori forniscono stimatori per le riduzioni relative di bias, varianza e MSE (sotto specifiche condizioni di segno) per guidare il processo decisionale.
• Applicazione Empirica: Rianalizzando Wang et al. (2022) riguardo agli incentivi monetari sulla piattaforma Zhihu, gli autori riscontrano che la decisione originale di effettuare il matching su entrambe le covariate e gli esiti pre-trattamento era statisticamente giustificata. L'analisi ha mostrato una significativa riduzione del bias con un costo di varianza trascurabile, supportando l'uso della strategia M-DiD completa in quel contesto specifico.

Significato e Affermazioni
Il paper afferma di colmare un vuoto critico nella letteratura spostandosi dall'analisi basata solo sul bias a un quadro completo bias-varianza-MSE. Il suo significato risiede in:

• Correzione dell'Intuizione: Mette in discussione l'intuizione secondo cui il matching sia sempre superiore, mostrando che, sotto considerazioni di varianza, il DiD classico senza matching può talvolta essere preferibile a causa dell'efficienza della dimensione campionaria.
• Rilevanza Manageriale: Fornendo metriche (MSE) e linee guida pertinenti per la minimizzazione della larghezza degli intervalli di confidenza e dei rischi decisionali, il lavoro offre strumenti pratici per i ricercatori nella gestione operativa.
• Rigor Teorico: Generalizza i risultati precedenti rilassando le assunzioni di normalità e fornendo prove di consistenza per campioni finiti, rendendo i risultati più robusti per contesti applicati con dati discreti.

Gli autori rimangono modesti, riconoscendo limitazioni come l'affidamento su un modello strutturale lineare e l'assunzione di covariate invarianti nel tempo (sebbene sostengano che ciò possa essere riparametrizzato per approssimare contesti variabili nel tempo). Non affermano di eliminare completamente il bias, ma piuttosto di fornire un quadro per selezionare lo stimatore che minimizza l'errore complessivo (MSE) date le specifiche restrizioni dei dati.