SHIFT: Robust Double Machine Learning for Average Dose-Response Functions under Heavy-Tailed Contamination

1. Enunciato del Problema

Il documento affronta la stima della Funzione Media di Risposta alla Dose (ADRF), $\theta(t) = E[Y(t)]$, per trattamenti continui utilizzando dati osservazionali. Le pipeline standard di Double Machine Learning (DML) si basano su smussatori locali lineari con pesi kernel nella seconda fase. Questi stimatori utilizzano tipicamente l'Errore Quadratico Medio (MSE) o perdite convesse simili, che soffrono di influenza funzionale illimitata.

La Patologia Centrale: L'Effetto di Spalmatura Funzionale
In presenza di valori anomali (contaminazione a code pesanti), un singolo residuo elevato in un punto locale $t_0$ non distorce solo la stima in $t_0$. Poiché gli smussatori kernel distribuiscono l'influenza su una finestra, un singolo outlier "spalma" il suo effetto su tutta la curva, distorcendo la forma globale e, crucialmente, la derivata $\theta'(t)$ (l'effetto marginale), che è spesso l'obiettivo per l'ottimizzazione delle politiche. I metodi robusti esistenti (come la regressione di Huber o quantile) spesso falliscono nel distinguere efficacemente tra dati inlier e outlier in scenari di contaminazione localizzata o non forniscono un meccanismo per identificare campioni anomali specifici.

2. Metodologia: lo Stimatore SHIFT

Gli autori propongono SHIFT (Self-calibrated Heavy-tail Inlier-Fit with Tempering), uno stimatore DML robusto progettato per mitigare l'effetto di spalmatura funzionale mantenendo l'efficienza su dati puliti. Il metodo consta di tre fasi:

Fase 1: Ortogonalizzazione delle Variabili di Disturbo

Viene utilizzata la cross-fitting DML standard per stimare le funzioni di disturbo $\hat{m}_Y(X) = E[Y|X]$ e $\hat{m}_T(X) = E[T|X]$. Vengono formati i residui:
$$\tilde{Y}_i = Y_i - \hat{m}_Y(X_i), \quad \tilde{T}_i = T_i - \hat{m}_T(X_i)$$
Ciò garantisce l'ortogonalità di Neyman, proteggendo la seconda fase dagli errori di stima delle variabili di disturbo.

Fase 2: GNC con Pesi Kernel e Perdita Redescending

Per ogni livello di trattamento target $t_0$, viene eseguita una regressione lineare locale sui residui all'interno di una finestra kernel. Invece dell'MSE, SHIFT utilizza una perdita di Welsch (un M-stimatore redescending):
$$\rho(r) = 1 - \exp\left(-\frac{\gamma}{2}\left(\frac{r}{\sigma}\right)^2\right)$$
Per gestire la non convessità della perdita di Welsch (che può intrappolare l'ottimizzazione in minimi locali vicino a cluster di outlier), il metodo impiega la Non Convessità Laureata (GNC). Il parametro di scala $\sigma$ viene ricotto da un valore elevato (dove la perdita è quasi quadratica) a un valore basso (dove respinge aggressivamente gli outlier). Ciò viene risolto tramite un ciclo di Minimi Quadrati Ri-pesati Iterativamente (IRLS) all'interno di ogni finestra kernel.

Fase 3: Rifit Difensivo (L'Innovazione Chiave)

Dopo la convergenza del ciclo GNC, il metodo esegue un ultimo "rifit difensivo" con Minimi Quadrati Ordinari (OLS) sugli inlier identificati. La scelta progettuale critica qui è la scala utilizzata per la soglia degli inlier:

• GNC-Fixed (Ablazione): Utilizza il MAD pre-fit dei residui grezzi ($\text{MAD}(\tilde{Y})$).
• SHIFT (Proposto): Utilizza il MAD post-GNC dei residui ($\text{MAD}(r^*)$) calcolato dopo che il ciclo GNC ha spinto gli outlier verso valori di residuo elevati.

Perché ciò è importante: Nella contaminazione localizzata (dove >50% della finestra kernel sono outlier), il MAD pre-fit è gonfiato dalla massa degli outlier, causando la soglia 3$\sigma$ di ammettere nuovamente gli outlier nel fit OLS finale. Il MAD post-GNC è controllato dalla massa degli inlier perché il ciclo GNC ha già separato gli outlier. Questo singolo cambiamento architetturale previene l'effetto di "spalmatura" nei regimi di contaminazione localizzata.

Estensioni:

• Trattamenti Binari: Adattato come Robust X-Learner utilizzando la perdita di Huber per la regressione del pseudo-esito.
• Serie Temporali: Utilizza la cross-validazione a blocchi e un'ancora MAD scorrevole per gestire la varianza non stazionaria.
• Multi-trattamento: Esteso a trattamenti vettoriali utilizzando kernel prodotto.

3. Contributi Chiave

1. Fix Architetturale (MAD Post-GNC): Il documento identifica che il tempismo della stima della scala è il principale motore della robustezza nella contaminazione localizzata. L'uso dei residui post-GNC per la soglia del rifit difensivo riduce il Level-RMSE da 1.03 a 0.33 nei test di stress localizzati, lasciando invariata la performance nella contaminazione uniforme.
2. Recupero della Forma Competitivo + Mascheramento degli Outlier: SHIFT ottiene un recupero della forma (RMSE) competitivo con Huber-DML (lo stato dell'arte attuale per la forma) ma produce in modo unico un vettore di pesi per campione non uniforme. Ciò consente a SHIFT di identificare e classificare gli outlier (Media F1 $\approx$ 0.96 su DGP con salti Gaussiani), mentre i metodi di Huber e quantile emettono pesi uniformi e non possono identificare anomalie specifiche.
3. Suite Diagnostica EVT: Gli autori affiancano SHIFT a un toolkit di Teoria dei Valori Estremi (EVT) a sei tecniche (indice di Hill, GPD-MLE/PWM, GEV, Eccesso Medio, ecc.). Ciò permette ai praticanti di diagnosticare il regime di coda (Fréchet vs Weibull) e decidere empiricamente se utilizzare SHIFT (per code limitate) o passare a Quantile-DML (per code pesanti).
4. Ablazione Contro-intuitiva: Il documento dimostra che, sotto contaminazione uniforme, modelli di disturbo lineari (Ridge, Lasso) superano i modelli flessibili basati su gradient boosting (HistGBM) di circa il 60% in termini di RMSE. I modelli flessibili tendono ad assorbire la contaminazione nella stima del disturbo, lasciando alla seconda fase meno segnale per respingere gli outlier.

4. Risultati Sperimentali

Il documento valuta SHIFT attraverso oltre 1.400 adattamenti su 5 Processi di Generazione dei Dati (DGP) con livelli di contaminazione fino a $p=0.25$.

• Recupero della Forma:
  • Contaminazione Uniforme: SHIFT è entro 0.05 RMSE di Huber-DML su 19/20 celle.
  • Contaminazione Localizzata (Regione Sinusoidale): SHIFT (RMSE 0.325) supera significativamente GNC-Fixed (RMSE 1.026) ed è competitivo con Huber-DML (RMSE 0.276).
  • Contaminazione a Code Pesanti: Quantile-DML prevale (RMSE 0.132 vs SHIFT 0.152), confermando l'utilità della diagnostica EVT nel cambiare metodo.
• Rilevamento degli Outlier:
  • SHIFT ottiene un punteggio F1 di ~0.96 su DGP con salti Gaussiani, recuperando efficacemente la maschera degli outlier ground-truth.
  • Sotto code pesanti ($t_3$), l'F1 di rilevamento si stabilizza a ~0.70, identificato come un limite fondamentale di identificabilità (indistinguibilità per rango di piccoli salti dal rumore).
• Modelli di Disturbo:
  • Sostituendo l'HistGBM predefinito con Ridge/Lasso, l'RMSE di SHIFT è stato ridotto del 60% sui DGP a contaminazione uniforme, invertendo l'euristica standard "più flessibile è meglio".
• Costo Computazionale:
  • SHIFT è circa 3 volte più lento dello Standard-DML ma più veloce di Quantile-DML. È completamente parallelizzabile sui punti della griglia.

5. Significato e Implicazioni

• Robustezza Pratica: SHIFT offre una soluzione "il meglio di entrambi i mondi": offre il recupero della forma dei metodi robusti convessi (Huber) aggiungendo la capacità diagnostica del rilevamento degli outlier (solitamente riservata ai metodi non convessi).
• Selezione del Metodo Guidata dai Dati: L'integrazione delle diagnostiche EVT sposta l'inferenza causale robusta da un approccio "scegli una funzione di perdita e speriamo" a un flusso di lavoro principiato e guidato dai dati, dove la forma della coda determina la scelta dello stimatore.
• Rivalutazione delle Euristiche DML: La scoperta che i disturbi lineari possono superare gli alberi potenziati in contesti robusti sfida la pratica DML standard di utilizzare il learner più flessibile possibile, suggerendo che la semplicità nella prima fase può preservare il segnale per la robustezza nella seconda fase.
• Open Source: Gli autori forniscono un'implementazione Python completa, dati grezzi e script di riproducibilità, facilitando l'adozione immediata e ulteriori ricerche.

In sintesi, SHIFT rappresenta un avanzamento significativo nell'inferenza causale robusta per trattamenti continui, risolvendo il problema specifico della "spalmatura funzionale" nella contaminazione localizzata attraverso una nuova calibrazione della scala post-GNC e fornendo un quadro diagnostico completo per i praticanti.