📊 statistics

Identification and estimation of the conditional average treatment effect with nonignorable missing covariates, treatment, and outcome

Questo articolo stabilisce l'identificazione non parametrica e propone metodi di stima per l'effetto medio del trattamento condizionato (CATE) in presenza di dati mancanti non ignobili (MNAR) su covariate, trattamento e esiti, includendo anche un quadro per l'analisi di sensibilità.

Autori originali: Shuozhi Zuo, Yixin Wang, Fan Yang

Pubblicato 2026-02-24

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shuozhi Zuo, Yixin Wang, Fan Yang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un medico o un politico che deve decidere se un nuovo farmaco o una nuova legge funzionerà meglio per alcune persone rispetto ad altre. Questo è il cuore della valutazione degli effetti dei trattamenti: capire perché un intervento aiuta "Mario" ma non "Giulia".

In statistica, questo si chiama CATE (Effetto Medio del Trattamento Condizionale). È come dire: "Qual è l'effetto specifico di questo trattamento dato che so che Mario ha 30 anni, è alto e ama il calcio?".

Il problema è che nel mondo reale, i dati sono spesso imperfetti.

Forse Mario non ha risposto alla domanda sul suo reddito.
Forse Giulia non ha detto se ha preso il farmaco.
Forse qualcuno ha dimenticato di segnare il risultato finale.

Quando questi dati mancanti dipendono da cose che non vediamo (ad esempio, le persone con redditi molto bassi sono più timide e non rispondono), si crea un problema enorme chiamato MNAR (Missing Not At Random). È come cercare di indovinare il punteggio di una partita guardando solo i giocatori che sono andati a casa felici, ignorando quelli che sono scappati arrabbiati. I metodi tradizionali falliscono qui e danno risultati sbagliati.

Ecco cosa fa questo paper, spiegato con un'analogia semplice:

🕵️‍♂️ L'Investigatore e il Caso del "Dato Mancante"

Immagina che tu sia un investigatore privato che deve scoprire la verità su un crimine (l'effetto del trattamento), ma i testimoni (i dati) sono spariti o mentono.

1. Il Problema: I Testimoni Scomparsi

Nella maggior parte degli studi, si assume che i testimoni spariti siano spariti per caso (come se avessero perso l'autobus per sbaglio). Ma qui, i testimoni spariti perché non vogliono parlare (es. chi ha guadagnato poco non vuole dirlo). Se ignori questo, la tua storia sarà falsa.

2. La Soluzione: Tre Regole d'Oro

Gli autori del paper (Zuo, Wang e Yang) hanno trovato tre modi diversi per ricostruire la verità, anche con testimoni "testardi", a patto di seguire tre regole specifiche su come i testimoni decidono di tacere.

Pensa a un puzzle dove manca un pezzo centrale (il risultato finale, Y). Per vederlo, devi guardare i pezzi circostanti (Trattamento T e Covariate X).

Regola 1 (Il Silenzio Indifferente): Immagina che il testimone taccia solo perché è distratto, non perché il risultato è brutto o bello. In questo caso, basta guardare solo quelli che hanno parlato (i "completi") e la verità emerge. È il metodo più semplice.
Regola 2 (Il Segreto del Trattamento): Immagina che il testimone taccia perché il risultato è brutto, MA il suo silenzio non dipende direttamente dal trattamento che ha ricevuto. È come dire: "Se ho guadagnato poco, non parlo, ma non è perché ho preso il farmaco A invece del B". In questo caso, serve un trucco matematico (chiamato "completeness") per ricostruire il pezzo mancante usando il trattamento come "ombra" che rivela la verità.
Regola 3 (Il Segreto della Caratteristica): Simile alla Regola 2, ma qui il silenzio dipende dal risultato, non dalla caratteristica della persona (es. la sua etnia o il suo passato). Anche qui, serve un trucco matematico per usare la caratteristica come "ombra" per vedere il risultato nascosto.

3. Gli Strumenti dell'Investigatore

Per applicare queste regole, gli autori hanno creato due tipi di "lenti" per guardare i dati:

La Lente Flessibile (Non Parametrica): È come un'argilla modellabile. Si adatta a qualsiasi forma di dati senza assumere regole rigide. È potente, ma a volte è instabile e difficile da usare (come un'argilla che si sgretola se la tocchi troppo).
La Lente Strutturata (Parametrica): È come un calco in gesso. Assumi che i dati seguano una forma specifica (es. una curva). È più stabile e facile da usare, ma devi essere sicuro che la forma sia giusta.

4. Il Test di Resistenza (Sensitivity Analysis)

La parte più geniale è il "test di resistenza". Immagina di aver costruito un castello di carte basato su una delle tre regole. Ora, l'investigatore chiede: "E se la mia regola fosse sbagliata di poco? E se il testimone mentisse un po' di più?".
Aggiungono un "peso" (un parametro $\delta$ ) alla loro teoria. Se il castello di carte (la conclusione sull'effetto del trattamento) rimane in piedi anche quando aggiungi peso, allora la tua scoperta è solida. Se crolla, allora non puoi fidarti.

🎓 L'Esempio Reale: Il Progetto "Job Corps"

Gli autori hanno applicato tutto questo a uno studio reale sugli studenti del "Job Corps" (un programma per giovani svantaggiati).

Obiettivo: Capire se ottenere un diploma (Trattamento) aumenta gli stipendi futuri (Risultato), e quanto questo varia da persona a persona.
Problema: Molti non hanno risposto su quanto guadagnavano o se avevano un passato criminale (dati sensibili!).
Risultato: Anche usando le regole più flessibili (dove i dati mancanti dipendono dai valori stessi), hanno dimostrato che ottenere un diploma aumenta davvero gli stipendi, e questo risultato è robusto anche se le persone mentono un po' sui loro guadagni.

In Sintesi

Questo paper è come una bussola per navigare nel mare dei dati mancanti.
Invece di buttare via le informazioni incomplete (come fanno molti), insegna come usare la logica e la matematica per "riempire i buchi" in modo sicuro, anche quando le persone nascondono la verità. Ci dice che, con le regole giuste, possiamo ancora capire chi beneficia davvero di un trattamento, anche quando i dati sono imperfetti.

Il messaggio finale: Non avere paura dei dati mancanti. Se sai come interrogarli con le giuste domande (le tre regole), possono ancora raccontarti la verità.

Titolo: Identificazione e stima dell'effetto medio del trattamento condizionale (CATE) con covariate, trattamento e esito mancanti non ignorabili (MNAR)

Autori: Shuozhi Zuo, Yixin Wang, Fan Yang.

1. Il Problema

Nelle studi osservazionali, l'eterogeneità dell'effetto del trattamento è fondamentale per la valutazione delle politiche, le scienze sociali e la medicina di precisione. Questa eterogeneità è catturata dall'Effetto Medio del Trattamento Condizionale (CATE), definito come l'effetto atteso del trattamento dato un insieme di covariate.

Tuttavia, in pratica, le covariate ( $X$ ), il trattamento ( $T$ ) e l'esito ( $Y$ ) sono spesso osservati solo parzialmente. Quando il meccanismo di missingness (mancanza di dati) dipende dai valori non osservati delle variabili stesse, si parla di Missing Not At Random (MNAR).

I metodi standard (come l'analisi dei casi completi, l'imputazione multipla o il weighting inverso) si basano su assunzioni di Missing Completely At Random (MCAR) o Missing At Random (MAR), che falliscono in scenari MNAR, portando a stime distorte del CATE.
La letteratura esistente si è concentrata principalmente sull'identificazione dell'effetto medio del trattamento (ATE) o su meccanismi di missingness restrittivi. Manca un quadro generale per l'identificazione e la stima del CATE quando covariate, trattamento ed esito sono tutti parzialmente osservati e soggetti a meccanismi MNAR complessi, inclusi i casi di "auto-censura" (dove una variabile influenza la propria mancata osservazione).

2. Metodologia

Il paper propone un quadro teorico e pratico basato su studi prospettici, dove le covariate e il trattamento sono misurati prima dell'esito ( $X, T$ misurati prima di $Y$ ). Questo ordinamento temporale implica che l'esito futuro non può influenzare la missingness passata.

Assunzioni e Meccanismi di Identificazione

Gli autori definiscono tre meccanismi MNAR specifici per l'esito ( $R_Y$ ), mantenendo la massima flessibilità per la missingness di $X$ e $T$ :

Assunzione 1: $R_Y$ è indipendente da $Y$ dato $(X, T, R_X, R_T)$ . (Nessuna auto-censura dell'esito).
Assunzione 2: $R_Y$ è indipendente da $T$ dato $(X, Y, R_X, R_T)$ . (L'esito può auto-censurarsi, ma il trattamento no).
Assunzione 3: $R_Y$ è indipendente da $X$ dato $(T, Y, R_X, R_T)$ . (L'esito può auto-censurarsi, ma le covariate no).

Sotto queste assunzioni, il CATE è identificabile anche se la distribuzione congiunta completa dei dati non lo è.

Condizione di Completezza: Per le Assunzioni 2 e 3 (che ammettono l'auto-censura), l'identificazione nonparametrica richiede una condizione di completezza. Questa condizione garantisce che la variabile "ombra" (il trattamento $T$ nell'Assunzione 2, o una componente delle covariate $X$ nell'Assunzione 3) fornisca sufficiente variazione per identificare univocamente il meccanismo di missingness dai dati osservati.

Strategie di Stima

Il paper sviluppa due approcci stimatori:

Stimatore Nonparametrico (Serie 2SLS):
- Implementa i risultati di identificazione risolvendo un'equazione integrale di Fredholm per la funzione di probabilità di risposta (odds di missingness).
- Utilizza un approccio a "sieve" (approssimazione in spazi di dimensione finita) e regolarizzazione quadratica per stabilizzare la soluzione dell'equazione integrale mal posta.
- Costruisce pesi per correggere la selezione e stima il CATE tramite regressione nonparametrica sui casi completi.
Stimatore Parametrico (Algoritmo EM):
- Assume modelli parametrici per l'esito e la probabilità di risposta.
- Utilizza l'algoritmo Expectation-Maximization (EM) con imputazione frazionaria (Fractional Imputation) per gestire l'esito latente quando è mancante.
- Questo approccio è più stabile numericamente rispetto all'approccio nonparametrico.

Analisi di Sensibilità

Poiché le assunzioni MNAR non sono verificabili dai dati osservati, il paper propone un quadro di analisi di sensibilità. Si introduce un parametro singolo ( $\delta$ ) che quantifica la deviazione dall'assunzione di base, permettendo di reintrodurre il percorso di dipendenza escluso (es. permettere a $Y$ di influenzare $R_Y$ ) e valutare la robustezza delle stime del CATE al variare di $\delta$ .

3. Risultati Chiave

Risultati Teorici

Identificabilità: È stato dimostrato che il CATE è identificabile sotto i tre meccanismi MNAR proposti, anche quando la distribuzione congiunta completa non lo è. Questo è un risultato cruciale: il CATE dipende solo dalla distribuzione condizionale $P(Y|X,T)$ , che può essere recuperata anche se la distribuzione congiunta di $(X,T)$ non è identificabile.
Controesempi: Gli autori mostrano che sotto le stesse assunzioni, l'ATE (Effetto Medio del Trattamento) spesso non è identificabile, evidenziando la superiorità del focus sul CATE in scenari di missingness complessi.
Caso Null: Sotto l'Assunzione 2, se $Y \perp T | X$ , il CATE è identificabile e uguale a zero, anche se la condizione di completezza fallisce.

Risultati delle Simulazioni

Assunzione 1: Lo stimatore a casi completi (CCA) è non distorto.
Assunzioni 2 e 3: I metodi standard (CCA, MI) mostrano distorsioni significative.
Gli stimatori proposti (NP e Para) rimangono non distorti quando la condizione di completezza è soddisfatta.
Lo stimatore parametrico (Para) dimostra maggiore stabilità e minore variabilità rispetto a quello nonparametrico (NP), che soffre dell'instabilità numerica tipica delle equazioni integrali mal poste.
Modelli che tentano di stimare la distribuzione congiunta completa (inclusi i componenti non identificabili) producono stime distorte, confermando la necessità di focalizzarsi direttamente sul CATE.

Applicazione Empirica: National Job Corps Study (NJCS)

Contesto: Studio sull'effetto del conseguimento di un credential educativo ( $T$ ) sui guadagni settimanali ( $Y$ ), con covariate di base ( $X$ ) come reddito precedente e storia di arresti.
Dati: Alto tasso di missingness (fino al 21% per $T$ e $Y$ ) e natura sensibile dei dati (guadagni, arresti) che suggerisce meccanismi MNAR.
Risultati: Tutte le specifiche (CCA, MI, NP, Para sotto Assunzioni 1-3) concordano qualitativamente: il conseguimento del credential ha un effetto positivo e statisticamente significativo sui guadagni per il profilo di riferimento.
Analisi di Sensibilità: L'effetto positivo rimane robusto per un ampio intervallo di deviazioni parametriche ( $\delta \in [-2, 2]$ ) rispetto alle assunzioni di base, indicando che le conclusioni non sono fragili rispetto a violazioni moderate delle assunzioni MNAR.

4. Contributi Principali

Identificazione Nonparametrica: Prima dimostrazione generale dell'identificabilità del CATE in studi osservazionali con missingness MNAR multivariata (inclusa auto-censura di $X, T, Y$ ).
Distinzione CATE vs ATE: Chiarisce che il CATE può essere identificabile sotto condizioni più deboli rispetto all'ATE, offrendo una via praticabile per l'inferenza causale quando la distribuzione congiunta non è recuperabile.
Metodologia di Stima: Sviluppo di stimatori nonparametrici (basati su equazioni integrali) e parametrici (basati su EM) specifici per questi scenari.
Quadro di Sensibilità: Proposta di un metodo sistematico per valutare la robustezza delle conclusioni causali rispetto a violazioni delle assunzioni di missingness non verificabili.

5. Significato e Implicazioni

Questo lavoro è di fondamentale importanza per la ricerca empirica in scienze sociali, economia e medicina, dove i dati mancanti sono onnipresenti e spesso correlati ai valori non osservati (es. persone con bassi guadagni che non riportano il reddito).

Fornisce una guida pratica per ricercatori che devono affrontare dati MNAR complessi, spostando il focus dalla stima della distribuzione congiunta (spesso impossibile) alla stima diretta dell'effetto causale condizionale.
Sottolinea che l'uso di metodi standard (come l'imputazione multipla o l'analisi dei casi completi) in presenza di MNAR può portare a conclusioni errate, mentre l'uso di stimatori specifici basati su condizioni di identificazione teorica può fornire risultati validi.
L'approccio raccomandato dagli autori è utilizzare lo stimatore parametrico come analisi principale (per stabilità) e condurre analisi di sensibilità, utilizzando lo stimatore nonparametrico come controllo di robustezza.