Small Samples and Short Panels: Evaluating Policy Evaluation Methods with Realistic Data

Sintesi Tecnica: Campioni Piccoli e Panel Brevi: Valutazione dei Metodi di Valutazione delle Politiche con Dati Realistici

Problema
I ricercatori in economia, salute pubblica e scienze politiche utilizzano frequentemente disegni quasi-sperimentali longitudinali, come il Difference-in-Differences (DiD) e il Synthetic Control Method (SCM), per valutare gli interventi politici a livello geografico (ad es., stati, contee, città). Tuttavia, queste valutazioni affrontano spesso gravi vincoli di dati: un numero limitato di unità geografiche e una lunghezza del panel ridotta (pochi periodi pre- e post-trattamento). Mentre il DiD si basa sull'assunzione di trend paralleli, che può risultare implausibile senza il condizionamento su estese covariate (un compito difficile in campioni piccoli), metodi più recenti come lo Synthetic Difference-in-Differences (SDiD) e l'Augmented Synthetic Control Method (ASCM) offrono alternative.

Il problema centrale affrontato è che le garanzie teoriche di performance per SDiD e ASCM — specificamente riguardo al bias e alla copertura degli intervalli di confidenza — sono derivate sotto assunzioni asintotiche che richiedono un gran numero di unità e periodi temporali. Queste assunzioni spesso falliscono nelle realistiche valutazioni delle politiche sanitarie dove le dimensioni del campione sono ridotte (ad es., meno di 10 unità di controllo) e i panel sono brevi (ad es., meno di 20 periodi pre-trattamento). Manca una sistematica evidenza sul fatto se questi metodi producano stime affidabili e inferenze valide sotto tali severi limitazioni di dati.

Metodologia
Per valutare la performance di SDiD e ASCM in questi contesti realistici con campioni piccoli, gli autori impiegano una strategia di simulazione calibrata. Invece di affidarsi a dati generati puramente in modo teorico, iniettano effetti di trattamento noti (specificamente impostando il vero effetto a zero per testare le proprietà nulle) in dataset simulati derivati da distribuzioni empiriche del mondo reale.

• Calibrazione dei Dati: I parametri della simulazione sono stimati da due dataset del mondo reale:
  1. Youth Risk Behavior Surveillance System (YRBSS): Dati sul consumo di soda tra i giovani a livello di città ($N=7$ città, $T=6$ periodi), che rappresentano panel brevi con poche unità.
  2. Current Population Survey (CPS): Dati sui log-salari a livello statale ($N=50$ stati, $T=40$ anni), che permettono l'indagine su panel più lunghi.
• Processo Generatore di Dati (DGP): I dati sono generati sotto un modello a fattori latenti ($Y = \Gamma\Psi' + W \cdot \tau + E$), un setting in cui sia SDiD che ASCM possiedono proprietà teoriche favorevoli. I carichi fattoriali ($\Gamma$) e i fattori temporali ($\Psi$) sono stimati utilizzando effetti fissi interattivi dai dataset di calibrazione.
• Design della Simulazione: Gli autori variano il numero di unità trattate ($N_{tr}$), di unità di controllo ($N_{co}$), di periodi pre-trattamento ($T_{pre}$) e di periodi post-trattamento ($T_{post}$). Gli scenari includono limitazioni estreme (ad es., $N_{co}=6, T_{pre}=5$).
• Metodi Valutati:
  • SDiD: Implementato tramite il pacchetto R synthdid, utilizzando la stima della varianza dei placebo.
  • ASCM: Implementato tramite il pacchetto R augsynth con regressione ridge come modello di outcome, utilizzando l'inferenza conforme per il test di ipotesi.
  • DiD: Incluso come benchmark nei casi in cui i trend paralleli valgono esattamente, per quantificare le perdite di efficienza.
• Metriche: La performance è valutata tramite bias, errore standard empirico e tassi di copertura degli intervalli di confidenza (calcolati come la proporzione di simulazioni in cui il vero nullo $\tau=0$ non viene rifiutato).

Risultati Chiave
I risultati della simulazione rivelano caratteristiche di performance distinte per SDiD e ASCM a seconda della dimensione del campione e della lunghezza del panel:

1. Bias e Precisione:

   • Entrambi i metodi mostrano un bias moderato (tipicamente $<0.1$ deviazioni standard empiriche) nella maggior parte degli scenari.
   • ASCM produce generalmente un bias minore rispetto a SDiD, particolarmente quando sono disponibili più unità. Tuttavia, in scenari con più periodi temporali e meno unità trattate, ASCM può mostrare un bias maggiore.
   • SDiD raggiunge generalmente errori standard empirici inferiori (maggiore precisione) rispetto ad ASCM, specialmente in scenari con lunghi periodi pre-trattamento e poche unità trattate (ad es., nei dati CPS con $N_{tr}=1, N_{co}=10, T_{pre}=30$, la varianza di ASCM era 2.26 volte superiore a quella di SDiD).

2. Copertura degli Intervalli di Confidenza:

   • ASCM: La procedura di inferenza conforme produce costantemente un sovra-copertura (copertura $>95\%$) quando il numero di periodi pre-trattamento è piccolo ($T < 20$), portando a una sostanziale perdita di potenza statistica. Tuttavia, la sovra-copertura può persistere anche con panel più lunghi (ad es., $T=30$) quando il numero di unità trattate è molto piccolo ($N_{tr}=1$). La copertura nominale è generalmente raggiunta quando sono disponibili almeno 20 periodi pre-trattamento, a condizione che vi siano sufficienti unità trattate.
   • SDiD: La copertura dipende fortemente dal numero di unità di controllo. Con una singola unità trattata, la copertura nominale è ottenuta solo con almeno 25 unità di controllo. Con molteplici unità trattate, la copertura nominale è raggiungibile con appena 10 unità di controllo.
   • DiD: Raggiunge la copertura nominale indipendentemente dalla dimensione del campione quando l'assunzione di trend paralleli è soddisfatta, sebbene SDiD e ASCM sacrifichino la precisione (l'efficienza relativa varia da 1.09 a 2.25) per guadagnare robustezza contro le violazioni dei trend paralleli.

3. Performance con Campioni Piccoli:

   • Negli scenari più vincolati (ad es., $N_{co}=6, T_{pre}=5$), entrambi i metodi mostrano deviazioni dalla copertura nominale, sebbene il bias rimanga relativamente basso.
   • Gli autori osservano che, sebbene le assunzioni teoriche per la normalità asintotica possano fallire in questi piccoli campioni, i metodi si comportano ancora "ragionevolmente bene" in termini di stima puntuale, sebbene l'inferenza (intervalli) richieda cautela.

Significato e Guida Pratica
Il documento fornisce una guida pratica per i ricercatori che valutano interventi politici in contesti con poche unità e panel brevi, specialmente dove l'assunzione di trend paralleli è sospetta:

• Selezione del Metodo: SDiD e ASCM sono raccomandati come analisi primarie solo quando la conoscenza della materia suggerisce che i trend paralleli siano implausibili (ad es., a causa di shock pre-intervento); altrimenti, dovrebbero essere utilizzati come analisi di sensibilità rispetto al DiD.
• Vincoli di Inferenza:
  • ASCM deve essere usato con cautela in panel brevi ($T < 20$) a causa degli intervalli di confidenza conservativi che riducono la potenza; anche con panel più lunghi, la copertura può essere scarsa se il numero di unità trattate è molto piccolo.
  • SDiD richiede un numero sufficiente di unità di controllo (circa 25 per singole unità trattate, 10 per unità multiple) per ottenere un'inferenza valida.
• Compromessi (Trade-offs): Lo studio evidenzia che la robustezza di SDiD e ASCM alle violazioni dei trend paralleli avviene al costo della precisione rispetto al DiD quando i trend paralleli valgono effettivamente.
• Limitazioni: Gli autori riconoscono che le loro simulazioni sono calibrate su soli due dataset e assumono un modello a fattori latenti con adozione simultanea. Non intendono fornire una guida prescrittiva per specifiche aggiustamenti di covariate o algoritmi alternativi di stima della varianza, notando che i loro risultati riflettono le implementazioni software predefinite.

Conclusione
Lo studio conclude che, sebbene SDiD e ASCM offrano strumenti preziosi per la valutazione delle politiche in ambienti con scarsità di dati, le loro proprietà inferenziali sono sensibili alla dimensione del campione e alla lunghezza del panel. I ricercatori devono considerare attentamente il numero di unità di controllo e i periodi temporali disponibili prima di fare affidamento su questi metodi per il test di ipotesi, poiché le garanzie asintotiche standard potrebbero non valere nei contesti di campioni piccoli comuni alla ricerca sulle politiche sanitarie.