Riepilogo Tecnico: Regularizzazione Mirata per la Stima dell'Effetto Causale con Risultati della Famiglia di Dispersione Esponenziale

1. Enunciato del Problema

La stima degli effetti causali da dati osservazionali utilizzando le Reti Neurali (NN) ha dimostrato prestazioni empiriche solide, tuttavia il raggiungimento di proprietà semiparametriche desiderabili—nello specifico la doppia robustezza e tassi di convergenza rapidi—rimane una sfida. Gli stimatori basati su NN esistenti, come quelli che utilizzano la Stima di Massima Verosimiglianza Mirata (TMLE) o la Regularizzazione Mirata (ad es. Shi et al., 2019; Nie et al., 2021), sono in gran parte limitati a risultati continui che assumono una distribuzione Gaussiana.

Questa limitazione restringe l'applicabilità a scenari reali che coinvolgono risultati binari (ad es. decisioni di acquisto), risultati di conteggio (ad es. numero di clic) o altre distribuzioni asimmetriche comuni nella pratica. Sebbene lavori precedenti (Gao e Hastie, 2022) abbiano affrontato i risultati della famiglia esponenziale utilizzando la Differenza nei Parametri Naturali (DINA) all'interno di un framework R-learner parzialmente lineare, non hanno esteso il paradigma della regularizzazione mirata alle NN per queste distribuzioni. Di conseguenza, manca una classe di stimatori basati su NN in grado di correggere il bias del primo ordine a livello distribuzionale per risultati della Famiglia di Dispersione Esponenziale (EDF) mantenendo al contempo garanzie teoriche.

Il lavoro mira a stimare la Funzione Canonica della Dose Media (ADCF), definita come $\psi_a = \theta[\text{do}(A=a)]$, dove $\theta$ è il parametro canonico (naturale) dell'EDF. Questa scelta si allinea con le pratiche standard per il confronto degli effetti sulla scala canonica ed evita problemi di eterogeneità spesso riscontrati nelle medie condizionali.

2. Metodologia

Il framework proposto unifica la regularizzazione mirata per risultati EDF sia in contesti di trattamento discreti (binari) che continui. La metodologia procede attraverso tre principali passaggi teorici e algoritmici:

A. Analisi Semiparametrica e Caratterizzazione del Bias

Gli autori derivano inizialmente l'espansione di von Mises dello stimatore di inserimento (plug-in) per l'ADCF al fine di identificare la struttura del bias del primo ordine.

• Trattamenti Discreti: Per trattamenti binari, derivano l'espansione mostrando che il bias consiste in un termine di resto del secondo ordine che coinvolge il prodotto degli errori di stima per il modello dei risultati ($\mu$) e il punteggio di propensione ($\pi$). Questa struttura di prodotto implica che se uno dei due modelli è stimato in modo coerente, il bias svanisce (proprietà di doppia robustezza).
• Trattamenti Continui: Per trattamenti continui, l'ADCF puntuale non è differenziabile lungo il percorso, rendendo indefinite le funzioni di influenza standard. Per superare ciò, gli autori introducono un'ADCF proiettata su setaccio. Proiettano la curva di risposta alla dose infinita-dimensionale su uno spazio di setaccio B-spline a dimensione finita. Questa proiezione ripristina la differenziabilità lungo il percorso, consentendo una funzione di influenza ben definita e un'espansione di von Mises valida per la curva proiettata.

B. Regularizzazione Mirata Unificata

Sfruttando la struttura del bias rivelata dall'espansione di von Mises, gli autori costruiscono un obiettivo di regularizzazione mirata unificato.

• Modello di Fluttuazione: Invece di aggiungere un termine di correzione a posteriori (che potrebbe spingere le stime fuori dallo spazio dei parametri), il metodo introduce una funzione di perturbazione scalare $\epsilon(a)$ al parametro canonico. Il parametro fluttuato è definito come:
  $$\hat{\theta}^*(x, a) = h(\hat{\mu}(x, a)) + \frac{\epsilon(a)}{\hat{\pi}(a|x)} h'(\hat{\mu}(x, a))$$
  dove $h$ è la funzione di collegamento e $h'$ è la sua derivata.
• Funzione di Perdita: Il metodo integra questa fluttuazione nell'addestramento della NN attraverso una funzione di perdita unificata:
  $$L_{TR}(\mu, \pi, \epsilon) = L(\mu, \pi) + \beta R(\mu, \pi, \epsilon)$$
  Qui, $L(\mu, \pi)$ è la negativa log-verosimiglianza standard per l'EDF, e $R$ è il termine di regularizzazione mirata derivato dalla negativa log-verosimiglianza del modello fluttuato. Il termine $R$ è costruito in modo che la sua derivata rispetto a $\epsilon$ sia uguale all'equazione del punteggio, azzerando efficacemente il termine di bias alla convergenza.
• Implementazione: Il parametro di fluttuazione $\epsilon(a)$ è parametrizzato utilizzando la stessa base B-spline utilizzata per la proiezione su setaccio nei trattamenti continui, garantendo coerenza tra l'obiettivo teorico e l'ottimizzazione.

C. Garanzie Teoriche

Il lavoro dimostra che lo stimatore basato su NN risultante raggiunge un tasso di convergenza a doppia robustezza nella norma $L_2$. Nello specifico, l'errore è limitato da:
$$O_p\left(n^{-1/3}\sqrt{\log n} + r_1(n)r_2(n) + r_2(n)^2\right)$$
dove $r_1(n)$ e $r_2(n)$ sono i tassi di convergenza degli stimatori del punteggio di propensione e dei risultati, rispettivamente. Questo estende le garanzie teoriche di Nie et al. (2021) dai risultati Gaussiani all'intera Famiglia di Dispersione Esponenziale.

3. Contributi Chiave

1. Analisi Semiparametrica dell'ADCF: Gli autori derivano l'espansione di von Mises per l'ADCF di risultati EDF. Per trattamenti continui, introducono l'ADCF proiettata su setaccio per gestire la non-differenziabilità lungo il percorso del funzionale puntuale, stabilendo una funzione di influenza ben definita.
2. Regularizzazione Mirata Unificata: Propongono un obiettivo di regularizzazione unificato che corregge il bias a livello distribuzionale per qualsiasi membro dell'EDF. Ciò permette alla NN di apprendere congiuntamente il modello dei risultati, il punteggio di propensione e il parametro di fluttuazione end-to-end rimanendo all'interno dello spazio dei parametri.
3. Estensione Teorica: Il lavoro fornisce una prova del tasso di convergenza a doppia robustezza, generalizzando i risultati precedenti dalle distribuzioni Gaussiane alla classe più ampia di EDF (inclusi Bernoulli e Poisson).
4. Validazione Empirica: Il metodo è stato validato su dataset sintetici e semi-sintetici (News, TCGA) con trattamenti binari e continui, dimostrando prestazioni all'avanguardia sia in contesti di risultati Bernoulli che Poisson.

4. Risultati Sperimentali

Gli autori hanno valutato il loro metodo contro diverse linee di base, tra cui Causal Forest, Dragonnet (e la sua versione adattata per risultati non Gaussiani), VCNet, DINA-learner e uno stimatore Doubly Robust (DR) standard.

• Trattamento Binario: Su dataset con risultati Bernoulli e Poisson, il metodo proposto ("Ours") ha ottenuto il più basso Errore Assoluto Medio (MAE) per l'Effetto Trattamento Medio (ATE), superando Dragonnet, VCNet e lo stimatore DR standard. Va notato che lo stimatore DR si è rivelato meno stabile in campioni finiti a causa della divisione per il punteggio di propensione nel termine di correzione.
• Trattamento Continuo: Per trattamenti continui, il metodo ha ottenuto il più basso Errore Quadratico Medio Medio (AMSE) per l'ADCF. I risultati hanno confermato che adattando semplicemente la funzione di perdita dei modelli esistenti (ad es. sostituendo MSE con la negativa log-verosimiglianza) è insufficiente; il meccanismo specifico di regularizzazione mirata è cruciale per le prestazioni.
• Analisi di Sensibilità: È stato dimostrato che l'iperparametro $\beta$, che controlla la forza della regularizzazione, ha un impatto moderato; valori troppo piccoli non riescono a correggere il bias, mentre valori troppo grandi interferiscono con la stima delle funzioni di disturbo.

5. Significato e Affermazioni

Il lavoro afferma di colmare una lacuna critica nell'inferenza causale con l'apprendimento profondo: l'incapacità dei framework di regularizzazione mirata esistenti di gestire risultati non Gaussiani e asimmetrici comuni nelle applicazioni reali (come tassi di conversione binari o dati di conteggio).

Derivando le necessarie espansioni semiparametriche e costruendo una funzione di perdita unificata, gli autori dimostrano che la regularizzazione mirata può essere generalizzata con successo alla Famiglia di Dispersione Esponenziale. Il significato di questo lavoro risiede in:

• Rigor Teorico: Fornire la prima derivazione dell'espansione di von Mises e della funzione di influenza per risultati EDF sia in trattamenti discreti che continui, consentendo la costruzione di stimatori a doppia robustezza.
• Applicabilità Pratica: Offrire un'architettura NN end-to-end che gestisce risultati binari e di conteggio senza fare affidamento sulle ipotesi restrittive parzialmente lineari dei metodi precedenti (come DINA-learner).
• Robustezza: Raggiungere tassi di convergenza più rapidi rispetto ai singoli stimatori di disturbo quando entrambi sono coerenti, mantenendo al contempo la stabilità all'interno dello spazio dei parametri, a differenza dei metodi di correzione del bias additivo.

Gli autori concludono che il loro framework estende le garanzie teoriche della regularizzazione mirata funzionale a una classe molto più ampia di distribuzioni dei risultati, verificata da risultati empirici all'avanguardia.