Transporting causal effects from a randomized trial without "transportability:" a case study of political advertising during U.S. elections

Sintesi Tecnica: Trasferimento di Effetti Causali da un Trial Randomizzato senza "Trasportabilità"

Problematica
Il documento affronta la sfida di generalizzare (trasportare) gli effetti causali da una popolazione sorgente, dove è stato condotto un trial controllato randomizzato (RCT), a una popolazione target che differisce in modi non misurati. L'applicazione motivante specifica riguarda la generalizzazione dei risultati di un RCT su larga scala relativo alla pubblicità politica digitale contro Donald Trump durante le elezioni presidenziali statunitensi del 2020. Aggarwal et al. (2023) hanno riscontrato un effetto nullo sull'affluenza alle urne in cinque stati chiave (Pennsylvania, Wisconsin, Michigan, North Carolina e Arizona). Gli autori indagano se tale risultato nullo si generalizzi alla Georgia, uno stato unico tra quelli contesi con una demografia elettorale distinta (in particolare una quota più alta di elettori neri) e differenze non misurate in fattori socioeconomici (ad esempio, assicurazione sanitaria, reddito) rispetto agli stati sorgente.

I metodi standard di trasportabilità si basano sull'assunto che tutte le differenze tra la popolazione sorgente e quella target siano catturate dalle covariate osservate (trasportabilità). Tuttavia, in questo contesto, le differenze non misurate probabilmente violano tale assunto. Inoltre, i metodi esistenti richiedono spesso set di covariate identici tra i dati sorgente e quelli target, il che non è il caso qui (i dati sorgente includono l'affiliazione politica e la storia di voto, mentre i dati target del registro elettorale della Georgia includono solo dati demografici come età, razza e genere).

Metodologia
Gli autori propongono un framework di transfer learning che combina l'analisi di sensibilità con i metodi di trasportabilità per gestire sia le differenze non misurate che le covariate disallineate ($V \subset X$).

1. Modello di Sensibilità: Il framework rilassa l'assunto di trasportabilità introducendo un parametro di sensibilità $\Gamma_a$ (per livelli di trattamento $a \in \{0, 1\}$). Questo parametro rappresenta l'odds ratio degli esiti controfattuali tra la popolazione target e quella sorgente, condizionato dalle covariate condivise $V$. Quando $\Gamma_a = 1$, la trasportabilità è valida; le deviazioni da 1 quantificano il grado di violazione. Il modello assume una relazione di tilting esponenziale tra le densità condizionate dei potenziali esiti nelle due popolazioni.
2. Identificazione: Sotto questo modello di sensibilità, il Target Average Treatment Effect (TATE) è identificato come una funzione di $\Gamma_a$ e delle funzioni di disturbo (regressione dell'esito, punteggio di propensione e rapporti di densità).
3. Stima: Sono proposti due stimatori:
   • Stimatore di Regressione dell'Esito (OR): Un semplice stimatore plug-in che pesa la funzione di regressione dell'esito stimata $\hat{\rho}_a(V)$ mediante il parametro di sensibilità. Gli autori raccomandano un bootstrap dei percentili non parametrico per l'inferenza, fornendo una giustificazione teorica per la sua coerenza e normalità asintotica.
   • Stimatore della Funzione d'Influenza Efficiente (EIF): Uno stimatore semiparametrico efficiente basato sul cross-fitting. Esso utilizza l'EIF derivata dal modello di sensibilità. Gli autori osservano che, a differenza degli standard stimatori di trasportabilità, questo stimatore non è doppiamente robusto quando la trasportabilità è violata; richiede la stima consistente della funzione di regressione dell'esito $\rho_a$ specificamente.
4. Procedura di Calibrazione: Per affrontare la difficoltà di selezionare valori significativi per i parametri di sensibilità non identificabili, gli autori propongono una procedura di calibrazione guidata dai dati ispirata alla sensibilità del design. Questa prevede la divisione dei dati sorgente in due sottoinsiemi dissimili (ad esempio, Rust Belt vs. Sun Belt, o alto vs. basso supporto per Trump). La procedura individua l'intervallo di valori di $\Gamma_a$ in cui lo stimatore trasportato tra questi sottoinsiemi corrisponde allo stimatore "oracle" (la stima diretta dal sottoinsieme trattato come target). Ciò genera un insieme di riferimento di parametri di sensibilità che riflettono l'entità delle differenze non misurate presenti nei dati sorgente stessi.

Contributi Chiave

• Requisiti di Covariate Rilassati: Il framework permette ai dati sorgente di contenere più covariate ($X$) rispetto ai dati target ($V$), uno scenario comune in cui i dati osservazionali target mancano delle variabili dettagliate raccolte in un RCT.
• Giustificazione Teorica per l'Inferenza Bootstrap: Il documento stabilisce formalmente la correttezza teorica dell'uso di bootstrap dei percentili non parametrici per l'inferenza in contesti di transfer learning, una pratica precedentemente suggerita qualitativamente ma non rigorosamente provata.
• Stimatore EIF sotto Analisi di Sensibilità: Gli autori estendono la teoria della funzione d'influenza efficiente a contesti con parametri di sensibilità. Dimostrano che, sebbene lo stimatore sia semiparametricamente efficiente, perde la proprietà di "doppia robustezza" quando la trasportabilità è violata, richiedendo la corretta specificazione della funzione di regressione dell'esito.
• Calibrazione Guidata dai Dati: Viene introdotto un nuovo metodo di calibrazione per generare magnitudo di riferimento interpretabili per i parametri di sensibilità senza omettere le covariate misurate, evitando le criticità della tradizionale calibrazione per variabili omesse.

Risultati
Applicando il framework ai dati elettorali del 2020 in Georgia:

• Sotto la Trasportabilità: Se si assume che la trasportabilità sia valida (ovvero $\Gamma_0 = \Gamma_1 = 1$), la campagna pubblicitaria rimane inefficace in tutti i 159 condati della Georgia.
• Sotto l'Analisi di Sensibilità: Piccole deviazioni dalla trasportabilità portano a conclusioni drasticamente diverse.
  • Con parametri di sensibilità predefiniti (ad esempio, $\Gamma_0=0.99, \Gamma_1=1.01$), l'effetto pubblicitario diventa significativo e positivo in 154 condati.
  • Con parametri invertiti ($\Gamma_0=1.01, \Gamma_1=0.99$), l'effetto diventa significativo e negativo in 158 condati.
• Risultati Calibrati: Utilizzando i set calibrati derivati dalla partizione dei dati sorgente:
  • Partizione Rust Belt vs. Sun Belt: Molti condati sono sensibili alla direzione dell'effetto. I condati con una maggiore popolazione bianca e una minore popolazione nera tendono a mostrare effetti positivi, mentre i condati con una maggiore popolazione Latinx tendono a mostrare effetti negativi.
  • Partizione del Supporto per Trump: La maggior parte dei condati è insensibile alle violazioni della trasportabilità di tale magnitudo, suggerendo che le differenze non misurate tra i sostenitori di Trump e i non sostenitori siano sufficientemente grandi da richiedere deviazioni specifiche e ampie dei parametri di sensibilità per alterare la conclusione.
• Analisi dei Sottogruppi: L'effetto pubblicitario è sensibile in sei degli otto sottogruppi (definiti da genere, razza e storia di voto) quando la trasportabilità è violata, in particolare per le donne, elettrici ricorrenti che non sono neri o Latinx.

Significatività e Rivendicazioni
Il documento sostiene che il suo framework fornisce un approccio statisticamente valido per generalizzare gli effetti causali quando l'assunto di stretta trasportabilità è insostenibile e le covariate sono disallineate. Gli autori sottolineano che i loro risultati supportano la congettura che gli effetti nulli del RCT originale possano non generalizzarsi alla popolazione target se esistono anche piccole differenze non misurate.

Fondamentalmente, il documento evidenzia un'intuizione pratica derivata da Rosenbaum (2010): "piccoli effetti sono sensibili a piccoli bias [non misurati]". Poiché l'effetto originale nella popolazione sorgente era vicino allo zero, lo studio dimostra che la conclusione è altamente fragile rispetto a minime differenze non misurate tra le popolazioni. Gli autori posizionano il loro lavoro come uno strumento per professionisti che necessitano di un approccio teoricamente valido e semplice (specificamente lo stimatore OR con bootstrap) per valutare la robustezza delle affermazioni di generalizzazione senza fare affidamento sull'impraticabile assunzione di perfetta trasportabilità. Essi dichiarano esplicitamente che il framework è applicabile oltre le elezioni, come ad esempio nei trial clinici in cui i pazienti idonei al trial differiscono dalla popolazione generale idonea in modi non misurati.