Residual-on-Residual Regression as a Tool for Effect Estimation in Observational Data

Sintesi Tecnica: La regressione Residuo-su-Residuo come strumento per la stima degli effetti in dati osservazionali

Problema
I ricercatori utilizzano frequentemente dati osservazionali per stimare gli effetti causali dell'esposizione, tuttavia i modelli di regressione parametrica standard spesso falliscono in contesti ad alta dimensionalità, dove il numero di potenziali confonditori è elevato rispetto alla dimensione del campione. In tali contesti, la corretta specificazione delle forme funzionali e delle interazioni è difficile, e la misspecificazione può introdurre bias che le analisi di sensibilità standard potrebbero non rilevare. Sebbene gli algoritmi di machine learning (ML) offrano alternative adattive ai dati per modellare relazioni complesse tra i confonditori, essi tipicamente ottimizzano una funzione di perdita con un compromesso tra bias e varianza. Se non tenuto in conto, il bias introdotto da metodi ML flessibili può degradare le prestazioni di stimatori causali singolarmente robusti e naïf.

Sebbene la teoria della semiparametricità efficiente abbia prodotto stimatori doppiamente robusti come l'Augmented Inverse Probability Weighting (AIPW) e il Targeted Maximum Likelihood Estimation (TMLE), questi metodi non sono privi di limitazioni. Nello specifico, possono essere altamente sensibili anche a minime violazioni dell'assunzione di positività (ad esempio, quando le dimensioni del campione sono insufficienti per popolare tutti gli strati dei confonditori con individui sia esposti che non esposti). Inoltre, l'applicazione di sia TMLE che AIPW allo stesso dataset può produrre risultati divergenti, creando incertezza su quale stima sia da ritenere affidabile.

Metodologia
Il documento propone e valuta la Regressione Residuo-su-Residuo, un metodo radicato nel lavoro di Robinson (1988) e reso popolare in econometria, come un'alternativa stabile per stimare gli effetti medi del trattamento (ATE) all'interno di un modello parzialmente lineare.

L'approccio opera sotto la specifica:
$$Y = \psi A + g(W) + \epsilon$$
dove $Y$ è l'esito, $A$ è l'esposizione, $W$ è un insieme di confonditori, $\psi$ è l'effetto costante del trattamento e $g(W)$ è una funzione non parametrica non specificata. A differenza della regressione standard, questo modello assume una relazione lineare tra esposizione ed esito, ma lascia flessibile la relazione tra confonditori ed esito.

La stima procede in tre fasi:

1. Stima dei Nuisance: Si applicano modelli non parametrici (ad esempio, utilizzando ensemble Super Learner) per stimare la media condizionata dell'esito dato i confonditori, $\hat{E}[Y|W]$, e la media condizionata dell'esposizione dati i confonditori, $\hat{E}[A|W]$.
2. Costruzione dei Residui: Si calcolano i residui sia per l'esito ($\tilde{Y} = Y - \hat{E}[Y|W]$) che per l'esposizione ($\tilde{A} = A - \hat{E}[A|W]$).
3. Stima Finale: Si stima $\psi$ regredendo $\tilde{Y}$ su $\tilde{A}$ utilizzando uno stimatore di Minimi Quadrati Ordinari (OLS) senza intercetta.

Per garantire un inferenza valida e robusta, gli autori utilizzano la validazione out-of-sample (cross-fitting) per prevenire l'overfitting nei modelli di nuisance. La stima della varianza utilizza lo stimatore della varianza robusto HC3 (sandwich), che corrisponde alla varianza empirica della funzione di influenza di Neyman-ortogonale dello stimatore.

Applicazione Empirica e Risultati della Simulazione
Gli autori hanno applicato questo metodo ai dati dello studio Nulliparous Pregnancy Outcomes Study: Monitoring Mothers-to-Be (nuMoM2b) ($n=7.923$) per stimare l'associazione tra l'alta densità di assunzione di verdure e la preeclampsia.

• Risultati Empirici: La regressione residuo-su-residuo, l'AIPW e il TMLE hanno prodotto stime concordanti, tutte indicanti una modesta riduzione del rischio di preeclampsia associata a un'alta assunzione di verdure. L'approccio residuo-su-residuo ha prodotto una differenza di rischio aggiustata di -1,49 per 100 partecipanti (95% CL: -2,94, -0,03), comparabile all'AIPW (-0,97) e al TMLE (-1,15).

Uno studio di simulazione Monte Carlo ($n=500$, 10.000 repliche) ha confrontato le proprietà in campioni finiti della regressione residuo-su-residuo rispetto ad AIPW, TMLE e un modello OLS lineare-additivo misspecificato.

• Simulazioni Primarie (Positività Soddisfatta): Quando il vero effetto era costante e le relazioni tra i confonditori erano non lineari, tutti e tre gli stimatori doppiamente robusti erano essenzialmente privi di bias con una copertura degli intervalli di confidenza quasi nominale. Hanno superato sostanzialmente il modello OLS parametrico misspecificato, che mostrava un bias severo e una copertura collassata.
• Stress Test sulla Positività: In scenari con violazioni indotte della positività (dove i propensity score si avvicinavano a 0 o 1), la regressione residuo-su-residuo ha dimostrato una stabilità superiore. Mentre l'errore quadratico medio (RMSE) dell'AIPW quadruplicava e la copertura del TMLE scendeva all'88,7% in livelli di violazione severa, la regressione residuo-su-residuo rimaneva essenzialmente invariata in termini di bias, precisione e copertura. Questa stabilità è attribuita alla capacità del metodo di basarsi sulla residualizzazione dell'esposizione piuttosto che sull'inversione dei propensity score, evitando l'instabilità associata ai pesi estremi.

Contributi Chiave e Significato
Il documento sostiene che la regressione residuo-su-residuo offre uno strumento pratico, interpretabile e computazionalmente semplice per l'inferenza causale che integra AIPW e TMLE. La sua importanza risiede in diversi ambiti:

1. Stabilità sotto Violazioni di Positività: A differenza di AIPW e TMLE, che si basano sul pesaggio dell'inverso della probabilità (inverse probability weighting), la regressione residuo-su-residuo non richiede l'inversione del propensity score. Questo la rende più robusta quando l'assunzione di positività è debole o violata, un problema comune in campi come l'epidemiologia nutrizionale.
2. Strategia di Triangolazione: Poiché il metodo condivide le proprietà di doppia robustezza con AIPW e TMLE ma utilizza un meccanismo di stima differente, esso funge da prezioso strumento di triangolazione. Il disaccordo tra questi stimatori può segnalare una dipendenza dal modello o violazioni delle assunzioni sottostanti, richiedendo ulteriori indagini.
3. Interpretabilità e Implementazione: Il metodo fornisce un coefficiente in forma chiusa e un errore standard robusto, rendendolo facile da implementare in software standard. Fornisce una stima diretta di un effetto costante del trattamento sotto l'assunzione del modello parzialmente lineare.

Gli autori osservano che l'interpretabilità dello stimatore come ATE dipende dall'assunzione di un effetto costante. Se esiste eterogeneità dell'effetto, lo stimatore converge a una media ponderata sulla varianza piuttosto che al semplice ATE. Tuttavia, gli autori suggeriscono che in contesti in cui l'assunzione di effetto costante è plausibile, la regressione residuo-su-residuto fornisce un'alternativa stabile, efficiente e robusta ai metodi esistenti a doppia robustezza.