Covariate-Balanced Weighted Stacked Difference-in-Differences

Il documento propone il metodo CBWSDID, un'estensione basata sul disegno del differenziale di differenze impilato ponderato che migliora la comparabilità tra gruppi trattati e di controllo all'interno di sottoesperimenti tramite bilanciamento delle covariate, permettendo di stimare l'effetto medio di trattamento aggregato in contesti con trend paralleli condizionati e trattamenti ripetuti.

L'essenziale

Immagina di voler capire se un nuovo farmaco funziona davvero. Hai un gruppo di pazienti che lo prende (i "trattati") e un gruppo che non lo prende (i "controlli"). Il problema classico è: come fai a essere sicuro che i due gruppi fossero simili prima di prendere il farmaco? Se i pazienti che hanno scelto il farmaco erano già più sani o più malati di quelli che non lo hanno preso, i tuoi risultati saranno sbagliati.

Questo articolo, scritto da Vadim Ustyuzhanin, propone un nuovo metodo statistico chiamato CBWSDID (una bocca piena, lo so!) per risolvere proprio questo problema, specialmente quando il "farmaco" viene introdotto in momenti diversi per persone diverse (come una nuova legge che entra in vigore in città diverse in anni diversi).

Ecco la spiegazione semplice, divisa in tre concetti chiave con delle analogie.

1. Il Problema: La "Festa" Sbagliata

Immagina di voler confrontare due feste per vedere quale musica fa ballare di più la gente.

• Festa A (Trattata): La gente arriva alle 20:00 e inizia a ballare.
• Festa B (Controllo): La gente arriva alle 20:00 ma non balla.

Il problema è che nella Festa A ci sono solo persone molto energiche, mentre nella Festa B ci sono persone stanche che preferiscono sedersi. Se confronti chi balla nella Festa A con chi non balla nella Festa B, penserai che la musica sia fantastica. In realtà, è solo perché la gente nella Festa A era già più energica!

Nella statistica economica, questo si chiama "tendenze non parallele". Le due gruppi non erano confrontabili fin dall'inizio.

2. La Soluzione: Due Passi, Due Strumenti

L'autore dice: "Non possiamo usare un solo trucco per tutto. Dobbiamo fare due cose distinte, ma in un unico sistema".

Passo 1: L'Agente di Coppiamento (Il "Matchmaker")

Prima di confrontare le feste, dobbiamo assicurarci che le persone siano simili.

• Prendi la persona più energica della Festa A e cerca nella Festa B una persona esattamente uguale (stessa età, stesso stato di salute, stesso umore).
• Se non trovi un clone perfetto, usi un "peso": dici che quella persona della Festa B conta per 1,5 persone perché è molto simile, mentre un'altra che è diversa conta solo per 0,2.
• In parole povere: Questo è il primo passo. Si crea un "gruppo di controllo" perfetto per ogni gruppo trattato, usando tecniche di abbinamento (matching) o pesi (weighting). Si chiama Covariate-Balanced (Bilanciamento delle caratteristiche).

Passo 2: Il Direttore d'Orchestra (Il "Regista")

Ora hai tanti piccoli gruppi di confronto perfetti (ognuno con la sua festa A e la sua festa B abbinata). Ma come li metti insieme per avere un risultato finale?

• Se hai 100 feste piccole, non puoi semplicemente sommare tutto. Alcune feste sono più importanti di altre.
• Il metodo originale (chiamato Weighted Stacked DID) aveva un difetto: mischiava i gruppi in modo disordinato, come se un direttore d'orchestra facesse suonare i violini troppo forte e i flauti troppo piano, creando un rumore.
• L'autore aggiunge un "regista" intelligente che assegna un peso preciso a ogni piccola festa, assicurandosi che il risultato finale rappresenti esattamente ciò che volevamo misurare (l'effetto medio reale).

L'innovazione di CBWSDID è unire questi due passi in un'unica ricetta. Non devi prima fare l'abbinamento e poi fare un altro calcolo separato. Tutto avviene in un'unica equazione matematica che fa entrambe le cose contemporaneamente.

3. Il Caso Complicato: La "Pillola" che va e viene

Fin qui, abbiamo parlato di un farmaco che si prende una volta e basta (trattamento "assorbente"). Ma cosa succede se il farmaco si prende, si smette, e poi si riprende? O se un paese diventa democratico, poi torna dittatoriale, e poi di nuovo democratico?

L'autore dice: "Nessun problema!".

• Invece di guardare la persona intera, guardiamo i momenti specifici (episodi).
• Se un paese diventa democratico nel 1990, guardiamo quell'episodio. Se diventa democratico di nuovo nel 2000, guardiamo quel nuovo episodio.
• Per ogni episodio, cerchiamo un "doppio" che non ha cambiato regime in quel momento specifico.
• È come guardare non la vita intera di un attore, ma ogni singola scena in cui cambia costume, e confrontarla con una scena simile di un altro attore.

Perché è importante? (Le Prove)

L'autore ha fatto due cose per dimostrare che funziona:

1. Simulazioni al computer: Ha creato dati finti dove sapeva la risposta esatta. I metodi vecchi (senza il suo trucco) sbagliavano spesso, dicendo che il "farmaco" funzionava quando in realtà non era così. Il suo metodo (CBWSDID) ha indovinato quasi sempre la risposta corretta.
2. Casi Reali:
   • Legge sulla Casa (Fair Housing Act): Ha studiato se una legge contro la discriminazione abitativa ha ridotto la segregazione razziale. I metodi vecchi dicevano "Sì, è crollata subito!". Il nuovo metodo ha detto: "Aspetta, le città che hanno adottato la legge erano già diverse dalle altre. Una volta corretto questo, l'effetto è molto più piccolo e meno chiaro".
   • Democrazia e Crescita: Ha studiato se diventare democratici fa crescere l'economia. Qui il suo metodo ha dato risultati molto simili a quelli di altri esperti famosi, ma con un calcolo più pulito e facile da controllare.

In Sintesi

Immagina di dover giudicare la qualità di un ristorante.

• Metodo vecchio: Confronti i clienti del Ristorante A con quelli del Ristorante B. Ma se i clienti di A sono tutti ricchi e quelli di B sono tutti studenti, il confronto è inutile.
• Metodo CBWSDID:
  1. Prendi ogni cliente ricco del Ristorante A e trovi uno studente del Ristorante B che ha lo stesso gusto per il cibo, la stessa età e lo stesso budget (Passo 1: Bilanciamento).
  2. Poi, fai una media ponderata di tutti questi confronti per dare un voto finale al ristorante (Passo 2: Aggregazione corretta).

Il risultato? Una stima molto più affidabile di quanto funzioni davvero il "farmaco" (o la legge, o il regime politico), evitando di essere ingannati dalle differenze iniziali tra i gruppi. È un ponte tra due mondi della statistica che prima sembravano separati.

Sommario tecnico

1. Il Problema di Ricerca

Il documento affronta le limitazioni delle attuali metodologie Difference-in-Differences (DID) in contesti di adozione scalare (staggered adoption) e trattamenti ripetuti. Sebbene il Stacked DID (DID impilato) sia diventato uno standard per studiare effetti dinamici riorganizzando i dati in sottogruppi specifici per coorte, esso presenta due problemi distinti di progettazione:

1. Aggregazione errata tra sottogruppi: Come evidenziato da Wing et al. (2024), l'impilamento standard fallisce nel recuperare un parametro causale aggregato ben definito (ATT aggregato) perché le quote delle coorti trattate e dei controlli non sono allineate correttamente, portando a trend non trattati distorti anche se il parallelismo vale all'interno di ogni sottogruppo.
2. Mancanza di comparabilità all'interno dei sottogruppi: Anche all'interno di un singolo sottogruppo, le unità trattate e i controlli "puliti" (clean controls) possono differire sostanzialmente per caratteristiche pre-trattamento o trend pre-esistenti. L'assunzione di parallelismo incondizionato è spesso implausibile in questi scenari.

La sfida è quindi come combinare la correzione dell'aggregazione (per ottenere l'ATT corretto) con la bilancia delle covariate (per garantire la comparabilità interna) senza trattare questi come stime separate e incompatibili.

2. Metodologia: CBWSDID

L'autore propone il Covariate-Balanced Weighted Stacked Difference-in-Differences (CBWSDID), un'estensione basata sul disegno (design-based) che separa e integra due fasi:

A. Fase 1: Aggiustamento di Progetto (Design Adjustment)

All'interno di ogni sottogruppo (o episodio), si applica un'aggiustamento per migliorare la comparabilità tra trattati e controlli.

• Si utilizzano pesi di progetto ($b_{sa}$) non negativi costruiti tramite matching (es. nearest-neighbor) o weighting (es. entropy balancing, IPW) basato su covariate pre-trattamento ($X_{sa}$).
• Questi pesi bilanciano le caratteristiche osservate e i lag delle variabili di outcome, risolvendo il problema della comparabilità interna.
• I trattamenti mantengono peso unitario, mentre i controlli ricevono pesi $b_{sa}$ che riflettono la loro importanza nel ricostruire il controfattuale.

B. Fase 2: Aggregazione Correttiva (Corrective Aggregation)

Per recuperare il parametro causale aggregato desiderato (l'ATT aggregato troncato definito da Wing et al., 2024), si applicano i pesi corretti impilati.

• La massa effettiva dei controlli in un sottogruppo $a$ è definita come $\tilde{N}^C_a = \sum b_{sa}$.
• I pesi finali del campione ($W_{sa}$) per i controlli combinano i pesi di progetto con un fattore di correzione che allinea la distribuzione dei controlli alle quote delle coorti trattate:
  $$W_{sa} = b_{sa} \times \frac{N^D_a / N^D_{\Omega}}{\tilde{N}^C_a / \tilde{N}^C_{\Omega}}$$
• Questo garantisce che l'aggregazione finale pesi ogni sottogruppo in proporzione alla sua quota di unità trattate, preservando l'identificazione dell'ATT target.

Estensione ai Trattamenti Ripetuti

Il framework è esteso a scenari con trattamenti non assorbenti (episodi di accensione $0 \to 1$ e spegnimento $1 \to 0$).

• Si introduce un'ipotesi di memoria finita: gli outcome potenziali dipendono dalla storia dei trattamenti solo attraverso gli ultimi $L$ periodi.
• L'unità di analisi diventa l'episodio (switch-on o switch-off) piuttosto che la coorte di prima adozione.
• I controlli sono definiti come episodi stabili non trattati che condividono la stessa storia recente di trattamento ($H(L)$), permettendo l'uso di unità che sono state trattate in passato ma sono attualmente non trattate (a differenza dei controlli "mai trattati" nei modelli standard).

3. Contributi Chiave

1. Quadro Unificato: Fornisce un unico stimatore che integra la raffinazione basata sul matching/weighting all'interno dei sottogruppi con la logica di aggregazione correttiva tra i sottogruppi.
2. Estensione a Trattamenti Ripetuti: Estende la logica del weighted stacked DID oltre l'adozione assorbente, gestendo cicli di trattamento ($0 \to 1 \to 0$) sotto l'assunzione di memoria finita, creando un ponte con metodi come PanelMatch.
3. Implementazione Software: Sviluppa il pacchetto R cbwsdid, rendendo l'estimatore accessibile e dimostrando la sua applicazione in scenari empirici complessi.

4. Risultati Empirici e Simulazioni

Simulazioni

In un disegno di simulazione dove i trend non trattati differiscono sistematicamente tra le coorti (violando il parallelismo incondizionato):

• Il Stacked DID standard e il Weighted Stacked DID mostrano pre-trend spuri significativi e bias sostanziali negli effetti post-trattamento.
• Il CBWSDID (sia nella versione matching che weighting) elimina quasi completamente i pre-trend spuri e recupera con precisione la traiettoria dinamica degli effetti del trattamento. La versione basata sul weighting ha mostrato le prestazioni migliori in termini di bias e tasso di rigetto.

Applicazione Empirica 1: Fair Housing Act (Trounstine, 2020)

• Contesto: Effetto dell'adozione della legge sulla segregazione razziale (bianchezza delle città).
• Risultato: Gli stimatori non raffinati (TWFE, Sun-Abraham, Weighted Stacked DID) mostrano un forte declino della bianchezza dopo l'adozione, ma anche pre-trend positivi significativi (violazione del parallelismo).
• Impatto del CBWSDID: Dopo l'aggiustamento delle covariate, i pre-trend diventano piatti (vicini a zero) e l'effetto post-trattamento negativo si riduce drasticamente, perdendo significatività statistica. Questo suggerisce che il risultato originale era guidato da una scarsa comparabilità tra città trattate e controlli.

Applicazione Empirica 2: Democrazia e Crescita (Acemoglu et al., 2019)

• Contesto: Effetto della transizione da autocrazia a democrazia (e viceversa) sul PIL pro capite.
• Risultato: Il CBWSDID e il PanelMatch producono conclusioni sostanziali simili (effetti di crescita deboli o nulli a breve termine, leggermente positivi a lungo termine per la democratizzazione; effetti negativi persistenti per l'autocratizzazione).
• Vantaggio: Il CBWSDID offre stime con varianza inferiore e mantiene la trasparenza e la facilità di diagnosi tipiche del framework DID impilato, pur incorporando la sensibilità del design del matching.

5. Significato e Conclusione

Il CBWSDID non sostituisce gli stimatori DID moderni o il panel matching, ma funge da ponte tra le due famiglie di metodi.

• Preserva la trasparenza dell'oggetto stimato (estimand) e della logica di aggregazione del Weighted Stacked DID.
• Importa la sensibilità progettuale (design sensitivity) del matching e del weighting per gestire la non parallelità dei trend condizionata.
• È particolarmente prezioso per i ricercatori che lavorano in contesti "esigenti" (demanding settings) con adozione scalare o trattamenti ripetuti, dove l'assunzione di parallelismo incondizionato è spesso irrealistica e la comparabilità tra gruppi è critica.

In sintesi, il metodo dimostra che separare la costruzione di un pool di donatori credibile (fase interna) dall'aggregazione corretta delle stime (fase esterna) è fondamentale per ottenere inferenze causali robuste in scenari di trattamento dinamico.