Outcome-adapted Automatic Debiased Machine Learning

Sintesi Tecnica: AutoDML (Apprendimento Automatico Automaticamente De-biased con Adattamento all'Esito)

1. Definizione del Probleamento

Nella inferenza causale e nell'econometria, i parametri di interesse come gli effetti del trattamento (ATE) o gli effetti delle policy sono spesso espressi come funzionali lineari di una funzione di regressione dell'esito, $\gamma(x) = E[Y|X=x]$. Sebbene gli stimatori "plug-in" che utilizzano il machine learning (ML) per $\gamma$ siano intuitivi, essi soffrono spesso di un bias significativo e non riescono a raggiungere la $\sqrt{n}$-consistenza.

Per affrontare questo problema, è stato introdotto l'AutoDML (Automatic Debiased Machine Learning) (Chernozhukov et al., 2022b, 2024), un framework che costruisce stimatori asintoticamente normali stimando simultaneamente la regressione dell'esito $\gamma$ e un rappresentante di Riesz $\alpha$ (una funzione di disturbo derivata dalla struttura del funzionale). Le architetture AutoDML esistenti, come RieszNet e MADNet, utilizzano una rappresentazione intermedia condivisa delle covariate $Z$ per stimare sia $\gamma$ che $\alpha$.

Il problema centrale affrontato in questo articolo è l'ottimalità della rappresentazione condivisa. Resta da chiarire se la rappresentazione condivisa $Z$ debba essere predittiva del rappresentante di Riesz $\alpha$ (come assunto tradizionalmente in RieszNet) o dell'esito $Y$. Gli autori indagano se una rappresentazione che dia priorità alla predizione dell'esito, scartando le informazioni sul rappresentante di Riesz, produca un'efficienza di stima superiore.

2. Metodologia e Framework Teorico

Risultati Teorici sull'Efficienza:
Gli autori stabiliscono due risultati teorici primari riguardanti le rappresentazioni delle covariate $Z = h(X)$:

• Teorema 6 (Efficienza Adattata all'Esito): Se una rappresentazione $Z$ preserva il potere predittivo dell'esito (ovvero, $\gamma_{h,P}(Z) = \gamma_P(X)$ e $Var_P[Y|Z] = Var_P[Y|X]$), lo stimatore AutoDML risultante ha una varianza asintotica $V_{h,P}$ che è minore o uguale alla varianza $V_P$ dello stimatore che utilizza le covariate complete $X$. Nello specifico, la riduzione della varianza è proporzionale a $E_P[Var_P[\alpha_P(X)|Z] Var_P[Y|Z]]$. Per massimizzare l'efficienza, $Z$ deve essere massimamente predittiva di $Y$ ma minimamente predittiva di $\alpha_P(X)$.
• Teorema 8 (Inefficienza Adattata a Riesz): Al contrario, per una vasta classe di funzionali (inclusi ATE e l'effetto medio delle policy), se una rappresentazione preserva il rappresentante di Riesz (ovvero, $\alpha_{h,P}(Z) = \alpha_P(X)$), la varianza asintotica $V_{h,P}$ è generalmente maggiore o uguale a $V_P$. Ciò suggerisce che apprendere una rappresentazione specificamente per il rappresentante di Riesz può portare a perdite di efficienza.

Lo Stimatore AutoDML Adattato all'Esito:
Motivati dal Teorema 6, gli autori propongono lo stimatore AutoDML adattato all'esito. La procedura prevede:

1. Suddivisione del Campione (Sample Splitting): Partizionamento dei dati in set per l'apprendimento della rappresentazione e per la stima finale.
2. Apprendimento della Rappresentazione: Stima di una rappresentazione $Z = \hat{h}(X)$ esclusivamente attraverso un passaggio di regressione dell'esito sul primo split dei dati.
3. Stima dei Disturbi (Nuisance Estimation): Utilizzo della rappresentazione appresa $Z$ per stimare sia la regressione dell'esito $\hat{\gamma}$ che il rappresentante di Riesz $\hat{\alpha}$ (tramite regressione di Riesz) sullo stesso split.
4. Stima Finale: Calcolo del parametro stimato sullo split di dati tenuto da parte (held-out) utilizzando la funzione di stima doppia robusta.

Implementazione con Reti Neurali:
Gli autori implementano questo approccio utilizzando un'architettura di rete neurale simile a RieszNet ma con un protocollo di addestramento distinto:

• Architettura: Un "tronco" (trunk) condiviso (layer nascosti) mappa le covariate $X$ in una rappresentazione $Z$, seguito da rami separati per l'esito ($\gamma$) e il rappresentante di Riesz ($\alpha$).
• Strategia di Addestramento:
  1. Step 1: Ottimizzazione del tronco condiviso e del ramo dell'esito minimizzando la perdita del Mean Squared Error (MSE).
  2. Step 2: Congelamento (Freeze) dei parametri del tronco condiviso e ottimizzazione solo dei parametri del ramo di Riesz minimizzando la perdita di Riesz.
• Collo di Bottiglia dell'Informazione (Information Bottleneck): Per garantire che $Z$ sia minimamente predittiva di $\alpha$, gli autori introducono tecniche di riduzione della dimensionalità:
  • Riduzione della Dimensionalità Semplice: Imposizione di una dimensione fissa e ridotta per $Z$.
  • Riduzione della Dimensionalità Adattiva: Applicazione di una penalità group LASSO sui pesi del layer $Z$ per incoraggiare la sparsità e azzerare efficacemente i neuroni, riducendo la dimensionalità di $Z$.

3. Contributi Chiave

1. Caratterizzazione Teorica: L'articolo dimostra che, per l'AutoDML, la rappresentazione condivisa ottimale è adattata all'esito (predittiva di $Y$, non di $\alpha$), contrariamente all'intuizione dietro i metodi esistenti come RieszNet che mirano a rappresentazioni adattate a Riesz.
2. Nuovo Stimatore: Introduzione dello stimatore AutoDML adattato all'esito, che apprende le rappresentazioni tramite regressione dell'esito prima, seguita dalla regressione di Riesz su una rappresentazione fissa.
3. Implementazione con Reti Neurali: Un protocollo di addestramento in due fasi specifico per le reti neurali che impone la proprietà di adattamento all'esito e utilizza colli di bottiglia informativi (tramite la riduzione della dimensionalità) per massimizzare i guadagni di efficienza.
4. Rivalutazione di RieszNet: Gli autori forniscono una spiegazione teorica del successo empirico di RieszNet, ipotizzando che le sue prestazioni derivino dalla scelta specifica dei pesi delle perdite (specificamente un peso ridotto sulla perdita di Riesz e l'inclusione della perdita TMLE) che crea involontariamente una rappresentazione adattata all'esito.

4. Risultati Sperimentali

Gli autori validano il loro metodo su dataset sintetici e semi-sintetici:

• Dati Sintetici (Prova di Concetto): In un contesto in cui la vera rappresentazione ottimale è nota, lo stimatore adattato all'esito con riduzione della dimensionalità adattiva ha raggiunto la varianza minima teorica, comportandosi come se avesse una conoscenza oracle della rappresentazione ottimale. Al contrario, gli stimatori che utilizzano reti separate o rappresentazioni adattate a Riesz hanno mostrato una varianza più elevata.
• Benchmark IHDP: Sul dataset semi-sintetico IHDP (Infant Health and Development Program), la rete neurale adattata all'esito con riduzione della dimensionalità adattiva ha raggiunto prestazioni state-of-the-art (il Mean Absolute Error più basso) rispetto a RieszNet, MADNet e reti neurali separate.
• Effetto di Spostamento Medio (Average Shift Effect): Lo stimatore adattato all'esito con riduzione della dimensionalità adattiva ha costantemente dimostrato la varianza e il Mean Squared Error (MSE) più bassi attraverso vari campioni.
• Esito Mancante Medio (Contesto Avversario): In un contesto impegnativo con propensity score estremi (Kang & Schafer, 2007), lo stimatore adattato all'esito con riduzione della dimensionalità adattiva ha ottenuto l'MSE più basso, guidato principalmente dalla riduzione del bias quadratico. Mentre gli intervalli di confidenza gaussiani avevano una bassa copertura in questo scenario difficile, gli intervalli di confidenza bootstrap (specificamente il percentile bootstrap) hanno migliorato significativamente la copertura, raggiungendo i livelli nominali per grandi campioni.

5. Significato e Rivendicazioni

L'articolo sostiene che l'adattamento all'esito sia la proprietà chiave per raggiungere l'efficienza dello stimatore nel framework AutoDML. Gli autori argomentano che:

• L'apprendimento di una rappresentazione che sia predittiva dell'esito ma che scarti le informazioni sul rappresentante di Riesz porta a stimatori asintoticamente più efficienti.
• Il proposto stimatore AutoDML adattato all'esito è una generalizzazione dello stimatore di propensione de-biased adattato all'esito (DOPE) al più ampio framework AutoDML.
• Il metodo proposto raggiunge un'accuratezza state-of-the-art nei benchmark standard senza richiedere una complessa regolazione dei parametri di trade-off tra molteplici obiettivi (a differenza di RieszNet, che richiede di bilanciare le perdite MSE, Riesz e TMLE).
• I risultati suggeriscono che il successo di metodi esistenti come RieszNet possa essere dovuto al loro apprendimento implicito di rappresentazioni adattate all'esito piuttosto che adattate a Riesz.

Gli autori concludono che, sebbene il loro metodo offra guadagni di efficienza, l'errore di rappresentazione deve essere controllato (ad esempio, tramite selezione delle variabili o campioni sufficientemente ampi) per garantire un'inferenza valida, e raccomandano l'uso del bootstrapping per gli intervalli di confidenza in scenari difficili in cui l'errore di rappresentazione potrebbe non essere asintoticamente trascurabile.