A Toolkit for the Study of Treatment-Effect Discontinuities

Sintesi Tecnica: Un Toolkit per lo Studio delle Discontinuità degli Effetti del Trattamento

Definizione del Problema
Sebbene gli Effetti Medi del Trattamento (ATE) abbiano da tempo rappresentato l'ossatura della valutazione d'impatto, essi spesso oscurano importanti eterogeneità negli effetti del trattamento attraverso la distribuzione dei risultati. La letteratura recente sugli Effetti del Trattamento Distribuzionali (DTE) è progredita attraverso la regressione quantilica, le causal forests e i test di dominanza stocastica. Tuttavia, rimane una lacuna specifica nell'analisi delle discontinuità degli effetti del trattamento, definite come punti in cui gli effetti distribuzionali marginali cambiano segno (ovvero, dove le Funzioni di Distribuzione Cumulata (CDF) dei gruppi trattati e di controllo si incrociano). Gli strumenti esistenti spesso faticano a separare chiaramente le regioni con segni opposti o a fornire un'inferenza rigorosa sulla posizione e sulla natura di questi incroci. Gli autori sostengono che identificare dove e come le distribuzioni si incrociano sia fondamentale per le politiche pubbliche, poiché rivela sottogruppi che beneficiano del trattamento rispetto a quelli che potrebbero esserne danneggiati, una sfumatura che si perde nei valori medi o nei semplici test di dominanza.

Metodologia
Il documento propone un toolkit centrato sulla Curva dell'Effetto del Trattamento (TEC), definita come la differenza tra le CDF del gruppo trattato ($F_B$) e del gruppo di controllo ($F_A$): $\Delta(x) = F_A(x) - F_B(x)$. Il framework introduce due approcci analitici complementari:

1. Analisi della Discontinuità Orizzontale (HDA): Questo metodo confronta sottogruppi di osservazioni situati in regioni in cui la TEC presenta segni opposti (ad esempio, al di sotto e al di sopra di un punto di incrocio). Gli autori utilizzano le Causal Forests per stimare gli Effetti Medi Condizionali del Trattamento (CATE) all'interno di questi distinti gruppi, con l'obiettivo di identificare le covariate che spiegano perché gli effetti differiscono di segno attraverso la distribuzione.
2. Analisi della Discontinuità Verticale (VDA): Questo approccio si concentra sui punti specifici in cui la TEC incrocia lo zero. Analogamente ai Disegni di Regressione Discontinua (RDD), esso esamina la pendenza locale della TEC in questi punti di incrocio per determinare se il cambio di segno sia brusco (non tangenziale) o graduale.

Framework Inferenziale
Il documento adatta l'asintotica dei punti di incrocio al contesto della TEC, affrontando due oggetti inferenziali:

• Posizione del Punto di Incrocio: Gli autori propongono di localizzare gli zeri utilizzando la differenza non smussata tra le CDF empiriche (ECDF), dimostrando che l'estimatore del punto di incrocio $\hat{x}_0$ è $\sqrt{n}$-consistente con una varianza inversamente proporzionale al quadrato della pendenza locale $[\Delta'(x_0)]^2$.
• Stima della Pendenza Locale e Test: Per valutare la ripidezza dell'incrocio (testando $H_0: \Delta'(x_0) = 0$), gli autori impiegano stimatori della densità kernel corretti per il bias. Derivano uno statistica di Wald corretto per il bias per testare la non-tangenzialità. Un importante contributo tecnico è la dimostrazione che l'uso di ECDF non smussate per la localizzazione evita il bias orizzontale indotto dallo smoothing, mentre la correzione del bias è essenziale per l'estimatore della pendenza al fine di garantire intervalli di confidenza validi per la posizione dell'incrocio.

Contributi Chiave

1. Framework Metodologico: Il documento formalizza l'HDA e la VDA come strumenti sistematici per studiare l'eterogeneità degli effetti del trattamento. Chiarisce i presupposti di identificazione, notando che la VDA si basa su soglie determinate endogenamente (punti di incrocio guidati dai dati) piuttosto che su cut-off politici esogeni, distinguendosi così dalla standard RDD.
2. Procedura Inferenziale: Gli autori operazionalizzano una procedura per localizzare i punti di incrocio e testare la loro non-tangenzialità. Forniscono uno studio Monte Carlo che documenta le prestazioni degli estimatori in campioni finiti, inclusi i tassi di rilevamento, i tassi di falsi positivi, il bias, la RMSE e la copertura degli intervalli di confidenza.
3. Illustrazione Empirica: Il toolkit è dimostrato su due dataset:
   • Dati Sintetici: Un censimento sintetico della Banca Mondiale dove gli effetti del trattamento sono costruiti per creare specifici pattern di incrocio. Ciò valida il workflow (stima della TEC, inferenza, HDA, VDA) in un ambiente controllato.
   • Dati Reali (PROGRESA): Un'applicazione diagnostica al programma messicano di trasferimenti monetari condizionati PROGRESA. L'analisi rivela che, mentre i nuclei familiari idonei mostrano una dominanza stocastica di primo ordine, i nuclei non idonei mostrano effetti di spillover sottili e deboli con cambi di segno troppo piatti per supportare un'analisi di discontinuità basata su soglia.

Risultati

• Evidenza Monte Carlo: Lo studio rileva che la potenza di rilevamento per i punti di incrocio dipende fortemente dalla ripidezza dell'incrocio stesso. Gli incroci ripidi vengono rilevati con alta potenza anche in campioni moderati, mentre gli incroci piatti richiedono campioni ampi per un rilevamento affidabile. Il tasso di falsi positivi per incroci spurii è trascurabile in campioni di $n \geq 4.000$.
• Correzione del Bias: La correzione esplicita del bias della pendenza locale migliora significativamente il recupero della vera pendenza e la calibrazione degli intervalli di confidenza della posizione dell'incrocio. Senza correzione, gli intervalli sono eccessivamente conservativi; con la correzione, raggiungono una copertura quasi nominale.
• Applicazione ai Dati Sintetici: Il toolkit ha identificato con successo due punti di incrocio nei dati sintetici, separando la popolazione in tre gruppi con effetti negativi, positivi e negativi, rispettivamente. L'HDA tramite causal forests ha identificato la spesa pre-trattamento come il principale driver di queste differenze.
• Applicazione PROGRESA: L'analisi ha confermato la dominanza positiva per i nuclei familiari idonei. Per i nuclei non idonei, la TEC ha rivelato deboli spillover negativi alla base della distribuzione e effetti prossimi allo zero altrove. Fondamentalmente, la procedura inferenziale ha diagnosticato correttamente che i cambi di segno erano troppo piatti (tangenziali) per giustificare una VDA basata su soglie, evitando affermazi di rotture strutturali spurie.

Significatività e Rivendicazioni
Il documento sostiene di fornire un complemento necessario agli strumenti DTE esistenti (dominanza stocastica, regressione quantilica, causal forests). La sua principale significatività risiede nell'offrire un toolkit diagnostico che permette ai ricercatori di:

• Identificare visivamente e statisticamente dove gli effetti del trattamento cambiano segno lungo la distribuzione dei risultati.
• Determinare se questi cambi di segno siano abbastanza netti da giustificare un'analisi di sottogruppo (HDA) o un'analisi di discontinuità locale (VDA).
• Evitare di sovra-interpretare cambiamenti distribuzionali deboli o graduali come discontinue soglie nette.

Gli autori sottolineano che il toolkit è particolarmente prezioso quando le CDF si incrociano, uno scenario in cui gli ATE sono meno informativi. Posizionano la TEC non come un sostituto della regressione quantilica o delle causal forests, ma come un precursore che identifica dove cercare l'eterogeneità, la quale può poi essere spiegata tramite metodi basati su covariate. Il documento conclude con modestia, riconoscendo che la VDA si basa su soglie stimate e che è necessario ulteriore lavoro per sviluppare procedure di inferenza formale che tengano pienamente conto dell'incertezza di queste soglie endogene nelle applicazioni del mondo reale.