Heterogeneous Treatment Effects and Causal Mechanisms

1. Il Problema di Ricerca

La "rivoluzione della credibilità" nelle scienze sociali ha favorito l'uso di disegni di ricerca che permettono l'identificazione e la stima degli effetti causali (Treatment Effects). Tuttavia, comprendere quali meccanismi producono tali effetti misurati rimane una sfida significativa.
Attualmente, l'approccio dominante per la valutazione quantitativa dei meccanismi si basa sulla rilevazione di Effetti Trattamento Eterogenei (HTE) rispetto a covariate pre-trattamento. La pratica corrente assume che:

1. La presenza di HTEs sia evidenza dell'attivazione di un meccanismo specifico.
2. L'assenza di HTEs indichi che il meccanismo è inattivo (inerte).

Gli autori sostengono che la base teorica per queste affermazioni è carente. La maggior parte degli studi quantitativi nelle principali riviste di scienze politiche (AJPS, APSR, JoP) utilizza gli HTEs per inferire meccanismi causali, ma spesso lo fa senza esplicitare le assunzioni necessarie, portando a conclusioni potenzialmente fuorvianti.

2. Metodologia e Quadro Teorico

Gli autori estendono il framework standard della mediazione causale (Imai et al., 2010a) all'interno del modello di potenziali esiti (Neyman-Rubin).

• Definizioni Chiave:

  • Meccanismo: Un processo sottostante che, se attivato, influenza l'esperienza per produrre un effetto causale.
  • Variabile Rilevante per il Meccanismo (MDV - Mechanism Detector Variable): Una covariata pre-trattamento che predice una maggiore attivazione di un meccanismo o un suo effetto più forte sull'esito.
  • HTEs: Differenze negli Effetti Trattamento Medi Condizionati (CATE) a diversi livelli di una covariata.

• Struttura del Modello:
  L'effetto totale ($TE$) è scomposto in effetto diretto ($DE$) e effetti indiretti ($IE$) tramite mediatori ($M$). Gli autori analizzano la relazione tra la differenza nei CATEs e la differenza negli effetti indiretti condizionati.

• Assunzioni di Identificazione:
  Per collegare gli HTEs all'attivazione di un meccanismo, sono necessarie due assunzioni di esclusione (spesso implicite nella pratica corrente):

  1. Esclusione I: La covariata moderatrice ($X_k$) non modera l'effetto diretto del trattamento.
  2. Esclusione II: La covariata moderatrice ($X_k$) non modera gli effetti indiretti di altri meccanismi.

• Ruolo delle Trasformazioni Non Lineari:
  Un contributo cruciale è l'analisi di come le trasformazioni non lineari delle variabili di esito (es. da utilità continua a scelta binaria, scale Likert, binning, logaritmi) violino la separabilità additiva degli effetti. Questo significa che anche se le assunzioni di esclusione valgono per l'esito teorico (es. utilità), potrebbero non valere per l'esito misurato (es. voto), generando eterogeneità spuria.

3. Risultati Principali

L'analisi teorica e le simulazioni portano a quattro casi distinti (sintetizzati nella Tabella 2 del paper) che definiscono cosa si può inferire sulla base della presenza o assenza di HTEs:

1. Caso 1: HTEs presenti su un esito non trasformato ($Y$) con assunzioni di esclusione valide.

   • Inferenza: La presenza di HTEs è una condizione sufficiente per affermare che il meccanismo è attivo per almeno un'unità nel campione.
   • Nota: Questo conferma la pratica corrente solo se le assunzioni di esclusione sono valide e l'esito non è trasformato.

2. Caso 2: Assenza di HTEs su un esito non trasformato ($Y$) con assunzioni di esclusione valide.

   • Inferenza: L'assenza di eterogeneità non prova che il meccanismo sia inattivo.
   • Spiegazione: Potrebbe esserci un errore di specificazione teorica (la covariata scelta non è una MDV), oppure il meccanismo è attivo ma produce lo stesso effetto per tutte le unità (nessuna variazione). Non è possibile distinguere tra queste possibilità senza assunzioni aggiuntive.

3. Caso 3: HTEs presenti su un esito trasformato non linearmente ($\tilde{Y}$).

   • Inferenza: L'eterogeneità osservata potrebbe essere un artefatto matematico della trasformazione (es. effetti soffitto/pavimento) e non riflettere l'attivazione del meccanismo.
   • Risultato: Non fornisce informazioni sull'attivazione del meccanismo, poiché la trasformazione rompe la separabilità additiva necessaria per isolare l'effetto indiretto.

4. Caso 4: Assenza di HTEs su un esito trasformato non linearmente ($\tilde{Y}$).

   • Inferenza: Non fornisce alcuna informazione utile. L'assenza di eterogeneità potrebbe derivare dalla trasformazione stessa o dalla mancanza di un meccanismo attivo.

Esempio Motore (Corruzione e Voto):
Gli autori dimostrano con un modello di voto che, sebbene il meccanismo "disgusto per la corruzione" sia l'unico attivo, si osservano HTEs rispetto all'affiliazione partigiana quando l'esito è il voto (scelta binaria), ma non quando l'esito è l'utilità (continua). Questo accade perché la trasformazione da utilità a voto binario crea eterogeneità spuria dovuta agli effetti soffitto/pavimento, portando a un errore di Tipo I (attribuire erroneamente l'effetto a un meccanismo di riallineamento partigiano).

4. Contributi Chiave

1. Nuovo Quadro Teorico: Forniscono il primo framework teorico che collega rigorosamente gli HTEs ai meccanismi causali, evidenziando che la pratica attuale è spesso ingannevole.
2. Esplicitazione delle Assunzioni: Dimostrano che l'uso degli HTEs richiede assunzioni di esclusione specifiche (non moderazione di altri meccanismi o effetti diretti) che non sono né più forti né più deboli dell'ignorabilità sequenziale usata nella mediazione tradizionale, ma sono diverse.
3. Critica alle Trasformazioni Non Lineari: Evidenziano come le pratiche comuni di misurazione (es. trasformare l'utilità in scelta binaria) invalidino le condizioni per l'identificazione dei meccanismi tramite HTEs.
4. Guida alla Progettazione della Ricerca: Offrono raccomandazioni pratiche per i ricercatori, inclusi l'uso di multiple MDV candidate, la priorità di misurare esiti che preservano la separabilità additiva (es. utilità latente) e l'uso di modelli strutturali (es. Random Utility Models) per recuperare l'esito non trasformato.

5. Significato e Implicazioni

Il paper ha un impatto significativo sulla metodologia delle scienze sociali, in particolare nella scienza politica:

• Ridefinizione dell'Inferenza: Ribalta la logica comune secondo cui "nessun HTE = nessun meccanismo". Gli autori dimostrano che l'assenza di eterogeneità è generalmente non informativa.
• Validità delle Conclusioni: Avverte che molte conclusioni pubblicate su "come" e "perché" un trattamento funziona potrebbero essere basate su artefatti di misurazione o su assunzioni non verificate.
• Alternative Metodologiche: Suggerisce che quando le assunzioni di esclusione non sono soddisfattive (specialmente con esiti trasformati), i ricercatori dovrebbero ricorrere a modelli strutturali (come i Random Utility Models) o a modelli bayesiani che incorporano informazioni sulla magnitudine degli effetti, piuttosto che affidarsi ciecamente alla semplice presenza/assenza di interazioni statistiche.

In sintesi, il lavoro invita a un maggiore rigore teorico e metodologico, chiedendo ai ricercatori di esplicitare le relazioni tra covariate, meccanismi e misure di esito prima di utilizzare gli HTEs come prova di attivazione meccanica.