Valid Inference when Testing Violations of Parallel Trends for Difference-in-Differences

Sintesi Tecnica: Inferenza Valida nel Testare le Violazioni delle Tendenze Parallele per le Differenze nelle Differenze

Enunciazione del Problema
Il disegno delle Differenze nelle Differenze (DID) è una strategia primaria per stimare gli effetti causali in presenza di confondimento non misurato, basandosi criticamente sull'assunzione di tendenze parallele. Sebbene tale assunzione sia controfattuale e non verificabile per il periodo post-trattamento, i ricercatori esaminano abitualmente i periodi pre-trattamento per verificare violazioni delle tendenze. Tuttavia, la letteratura recente (ad es. Freyaldenhoven, Hansen e Shapiro, 2019; Roth, 2022) ha dimostrato che l'uso di test preliminari convenzionali per validare le tendenze parallele induce gravi carenze statistiche nell'inferenza successiva, inclusi bias, bassa potenza e sottocopertura degli intervalli di confidenza. I ricercatori applicati si trovano di fronte a un dilemma: i test preliminari sono intuitivamente necessari per valutare la plausibilità del disegno di ricerca, eppure i metodi statistici standard falliscono quando condizionati ai risultati di tali test.

Metodologia
Gli autori propongono un quadro che formalizza la logica implicita del test preliminare attraverso una nuova assunzione e ne deriva le procedure di inferenza corrispondenti.

1. L'Assunzione di Estrapolazione Condizionale:
   Il contributo teorico fondamentale è l'"Assunzione di Estrapolazione Condizionale". A differenza dell'assunzione classica di tendenze parallele (che postula zero violazioni) o delle assunzioni di identificazione parziale (che assumono che le violazioni pre-trattamento limitino incondizionatamente le violazioni post-trattamento), questa assunzione postula una relazione condizionale:

   • Se la gravità delle violazioni delle tendenze parallele pre-trattamento ($S_{pre}$) è al di sotto di una soglia accettabile pre-specificata ($M$), allora la gravità delle violazioni post-trattamento ($S_{post}$) è limitata da $S_{pre}$ (cioè $S_{post} \leq S_{pre}$).
   • Se $S_{pre} > M$, non è giustificato alcun limite su $S_{post}$ e il disegno DID è considerato inappropriato.
     Qui, la gravità è misurata come una norma $L_p$ delle violazioni iterative delle tendenze parallele ($R(t)$).

2. Test Preliminare:
   Gli autori propongono un semplice test preliminare per determinare se vale la condizione di estrapolazione ($S_{pre} \leq M$). La statistica del test è la gravità stimata delle violazioni pre-trattamento ($\hat{S}_{pre}$). Il test rifiuta la condizione di estrapolazione se $\hat{S}_{pre} \geq M$.

   • Consistenza Asintotica: Il test è dimostrato essere asintoticamente consistente sotto una "condizione di separazione". Nello specifico, se la vera $S_{pre}$ è separata dalla soglia $M$ da una sequenza $s_n$ dove $s_n = \omega(n^{-1/2})$, sia l'errore di Tipo I che quello di Tipo II tendono a zero all'aumentare della dimensione del campione $n \to \infty$. Ciò differisce dal test di ipotesi convenzionale, che mira a minimizzare l'errore di Tipo II a un livello fisso di errore di Tipo I; invece, questo test dà priorità alla consistenza in regimi ben separati.

3. Intervalli di Confidenza Validi Condizionalmente:
   Se il test preliminare supera (cioè, la condizione di estrapolazione è dichiarata vera), gli autori costruiscono intervalli di confidenza per l'Effetto Medio del Trattamento sui Trattati (ATT).

   • Struttura: L'intervallo è centrato sullo stimatore DID standard ($\hat{\tau}_{DD}$) ma inflazionato per tenere conto del potenziale bias. La larghezza include due componenti:
     1. Un termine di bias: $\kappa \cdot \hat{S}_{pre}$, dove $\kappa$ è una costante derivata dalla lunghezza del periodo post-trattamento e dalla scelta della norma $p$. Questo termine rappresenta il limite superiore netto sul bias derivato dalla Proposizione 3.1.
     2. Un termine di fluttuazione statistica: $f(\alpha, \hat{\Sigma}) / \sqrt{n}$, che tiene conto dell'incertezza congiunta dello stimatore DID e della stima della gravità.
   • Validità: Il Teorema 5.1 stabilisce che questi intervalli raggiungono una copertura nominale ($1-\alpha$) condizionata all'evento che il test preliminare superi, a condizione che il processo generatore dei dati soddisfi la condizione di separazione.

Risultati Chiave

• Consistenza: Il test preliminare proposto è asintoticamente consistente per separare ipotesi in cui la gravità della violazione pre-trattamento è sufficientemente lontana dalla soglia $M$.
• Copertura Condizionale: Gli intervalli di confidenza proposti forniscono una copertura valida condizionata al superamento del test. Ciò risolve le questioni di sottocopertura associate ai metodi convenzionali che condizionano sul superamento di test pre-standard.
• Comportamento della Larghezza dell'Intervallo: La larghezza degli intervalli di confidenza scala come $\max(S_{pre}, n^{-1/2})$.
  • Se le violazioni pre-trattamento sono "presenti ma trascurabili" (ordine $n^{-1/2}$), la larghezza dell'intervallo converge al tasso parametrico standard ($n^{-1/2}$).
  • Se le violazioni sono non trascurabili (ordine $O(1)$), la larghezza dell'intervallo rimane costante, riflettendo il limite di bias persistente.
• Probabilità di Reporting Valido: Il Teorema 5.2 mostra che la probabilità congiunta di superare il test e che l'intervallo contenga l'effetto vero (reporting valido) converge anch'essa al livello nominale sotto l'ipotesi nulla ben separata.

Illustrazioni Empiriche
Gli autori validano i loro metodi utilizzando:

1. Simulazioni Sintetiche: Dimostrando che la copertura condizionale dei loro intervalli si mantiene al livello nominale quando la condizione di estrapolazione è vera, mentre gli intervalli convenzionali sottocoprono. Le simulazioni mostrano anche come la larghezza dell'intervallo scala con il numero di periodi pre-trattamento ($T_{pre}$) e il parametro di gravità ($p$).
2. Dati sulla Recentralizzazione in Vietnam: Rianalizzando Malesky, Nguyen e Tran (2014). Il test preliminare rifiuta correttamente la condizione di estrapolazione per esiti con gravi violazioni delle tendenze pre-trattamento (centri agricoli), prevenendo inferenze invalide, mentre fornisce intervalli più ampi e validi per esiti con violazioni minori.
3. Legge sul Diritto di Portare Armi (Virginia/Maryland): Un'illustrazione semi-sintetica che confronta le violazioni iterative con quelle complessive. I risultati evidenziano che la scelta della metrica di violazione ($R(t)$ iterativa vs. $\Delta(t)$ complessiva) e la soglia $M$ influenzano significativamente se la condizione di estrapolazione viene accettata e la conseguente larghezza dell'intervallo.

Significato e Affermazioni
Il paper afferma di fornire la prima assunzione formale (Estrapolazione Condizionale) che rende necessario il test preliminare, offrendo così una giustificazione teorica per una pratica empirica comune che in precedenza era stata dimostrata invalidare l'inferenza standard.

• Formalizzazione: Formalizza l'assunzione implicita che i ricercatori fanno quando decidono di procedere con l'analisi DID solo dopo aver osservato tendenze pre-trattamento "accettabili".
• Rimedio: Offre una soluzione pratica al "paradosso del pre-test" fornendo procedure di inferenza che rimangono valide dopo aver condizionato l'esito del test, a condizione che sia soddisfatta la condizione di separazione.
• Modestia: Gli autori riconoscono che l'Assunzione di Estrapolazione Condizionale è controfattuale e non verificabile, proprio come l'assunzione delle tendenze parallele stessa. Non affermano di verificare l'assunzione, ma piuttosto di fornire un quadro in cui, se l'assunzione vale e le violazioni pre-trattamento sono sufficientemente piccole (separate dalla soglia), è possibile un'inferenza valida. Notano che i loro risultati dipendono dalla condizione di separazione, il che significa che l'inferenza non è garantita per casi in cui le violazioni sono arbitrariamente vicine alla soglia $M$.

Il paper conclude suggerendo che lavori futuri potrebbero estendere queste procedure a disegni ad adozione scalare e strategie di identificazione alternative, ma sottolinea che il contributo attuale è una formalizzazione della logica sottostante al test preliminare nei disegni DID ad adozione a blocchi.