Riassunto Tecnico: Deconfounding tramite Profiled Transfer Learning

1. Definizione del Problema

Nella stima degli effetti basata su regressione e nell'inferenza causale, i confonditori non misurati sono una fonte primaria di bias, che porta a correlazioni spurie e conclusioni causali invalide. I metodi di deconfounding tradizionali operano tipicamente all'interno di framework a dataset singolo e si affidano o alla stima diretta delle strutture di confondimento (es. analisi fattoriale) o all'incorporazione di variabili ausiliarie (es. variabili strumentali o variabili proxy). Questi approcci affrontano spesso sfide pratiche, come la difficoltà di selezionare variabili ausiliarie adeguate o la dipendenza da assunzioni stringenti come la restrizione di esclusione o i trend paralleli.

Inoltre, sebbene il transfer learning sia sempre più utilizzato per sfruttare dataset sorgente con strutture simili per migliorare la stima del target, i paradigmi convenzionali di transfer learning non affrontano il confondimento nascosto. L'applicazione diretta del transfer learning standard a modelli confusi non sfrutta le strutture di confondimento condivise tra i dati sorgente e quelli target, risultando in stime distorte dei cambiamenti del modello (model shifts) e dei parametri target.

2. Metodologia: Framework ProTrans

Il documento propone ProTrans (Profiled Transfer Learning), un framework progettato per mitigare gli effetti di confondimento in un dataset target sfruttando dataset sorgente aggiuntivi che condividono strutture di confondimento simili. L'innovazione principale è il concetto di residui profilati (profiled residuals), che caratterizzano e trasferiscono i pattern di confondimento condivisi dai sorgenti al target.

2.1 Setup del Modello

Il modello target è definito come un modello di equazioni strutturali con confonditori nascosti $H_t$:
$$Y_{ti} = \beta_t^\top X_{ti} + \phi_t^\top H_{ti} + \varepsilon_{ti}$$
$$X_{ti} = f(H_{ti}) + E_{ti}$$
dove $\beta_t$ è il parametro di interesse, e $f(\cdot)$ è una mappatura ignota che descrive la struttura di confondimento. L'obiettivo è stimare il parametro target $\beta_t$ o lo shift del modello $\eta_0 = \beta_t - \beta_s$ (dove $\beta_s$ è il parametro medio della sorgente).

2.2 L'Algoritmo ProTrans

Il metodo procede in due fasi principali:

1. Stima del Parametro Sorgente e Costruzione dei Residui:

   • I dati sorgente vengono raggruppati per stimare un parametro iniziale della sorgente $\hat{\beta}_{init}$ (che non deve necessariamente essere deconfounded).
   • Vengono costruiti i Residui Profilati della Sorgente (Profiled Source Residuals): $\hat{Z}_s^{(k)} = Y_s^{(k)} - X_s^{(k)}\hat{\beta}_{init}$. Questi residui codificano informazioni riguardanti i confonditori nascosti nei dati sorgente.
   • Si ottiene uno stimatore deconfounded della sorgente $\hat{\beta}_s$ (ad esempio, tramite trasformazione trim o LASSO sui dati sorgente raggruppati). Grazie alla grande dimensione del campione dei dati sorgente ($n_s \gg n_t$), il deconfounding dei modelli sorgente è più fattibile e preciso rispetto a quello del target.

2. Trasferimento dei Residui Profilati e Stima del Target:

   • Un residuo profilato del target $\hat{Z}_t$ viene costruito allineando la correlazione covariata-residuo del target con la correlazione covariata-residuo della sorgente:
     $$\hat{Z}_t = \arg \min_{Z_t} \left\| \frac{1}{n_t} X_t^\top Z_t - \frac{1}{n_s} \sum_{k=1}^K X_s^{(k)\top} \hat{Z}_s^{(k)} \right\|_\infty$$
   • Questo passaggio trasferisce efficacementamente gli effetti di confondimento dalle sorgenti al target, assicurando che il termine $(X_t^\top X_t)^\dagger X_t^\top (H_t \phi_t - \hat{Z}_t)$ approssimi il bias indotto dallo stimatore iniziale.
   • Stima dello Shift del Modello: Lo shift del modello $\eta_0$ è stimato mediante la regressione della risposta target aggiustata $(Y_t - \hat{Z}_t - X_t \hat{\beta}_{init})$ contro $X_t$ utilizzando uno stimatore di minimi quadrati penalizzato (es. LASSO).
   • Stima del Parametro Target: Il parametro target finale è stimato come $\hat{\beta}_t = \hat{\beta}_s + \hat{\eta}$.

2.3 Selezione della Sorgente

Per gestire scenari in cui gli effetti di confondimento variano tra le sorgenti, gli autori propongono una procedura di selezione della sorgente informativa basata su un punteggio di qualità appena proposto. Ciò consente al framework di filtrare le sorgenti non informative preservando le garanzie teoriche.

3. Risultati Teorici

Il documento stabilisce limiti di errore non asintotici e l'ottimalità minimax per gli stimatori ProTrans sotto condizioni moderate.

• Stima dello Shift del Modello ($\hat{\eta}$):

  • Lo stimatore raggiunge il tasso di convergenza oracle di $\sqrt{s_\eta \log p / n_t}$, eguagliando il tasso ottimale per modelli senza confonditori nascosti.
  • Fondamentalmente, questo tasso è raggiunto senza imporre assunzioni specifiche sulla vera struttura di confondimento (es. linearità) o richiedere variabili ausiliarie.
  • Al contrario, gli stimatori convenzionali di transfer learning ($\tilde{\eta}$) soffrono di limiti di errore dominati dal bias di confondimento, specificamente termini che coinvolgono $\sqrt{p \|\phi_t\|_2^2 / (n_t \lambda_q(\Psi)^2)}$, che possono dominare l'errore se la struttura di confondimento è mal condizionata.

• Stima del Parametro Target ($\hat{\beta}_t$):

  • L'errore di stima consiste in due componenti: l'errore privo di confondimento dalla stima dello shift del modello e l'errore di stima della sorgente.
  • Il bias di confondimento è ridotto dall'ordine $n_t^{-1/2}$ (nei metodi classici) all'ordine $n_s^{-1/2}$ perché gli effetti di confondimento sono mitigati utilizzando la grande dimensione del campione della sorgente.
  • Lo stimatore ProTrans raggiunge il limite inferiore minimax per la stima del parametro target sotto condizioni moderate.

• Robustezza:

  • Il framework è robusto alle sorgenti non informative grazie alla strategia di selezione proposta.
  • Le garanzie teoriche valgono anche quando la struttura di confondimento $f(\cdot)$ è non lineare e ignota, a patto che gli effetti di confondimento siano simili tra sorgente e target (o che almeno una sorgente sia simile).

4. Contributi Chiave e Significato

Gli autori riassumono i contributi di ProTrans come segue:

1. Primo Approccio di Transfer Learning per il Deconfounding: ProTrans è il primo tentativo di sfruttare informazioni aggiuntive della sorgente specificamente per mitigare gli effetti di confondimento. A differenza dei metodi di deconfounding esistenti, non richiede assunzioni restrittive sulle strutture di confondimento nascoste o la disponibilità di variabili ausiliarie (variabili strumentali o proxy).
2. Correzione del Transfer Learning Convenzionale: Il documento dimostra che l'applicazione diretta del transfer learning convenzionale a modelli confusi fallisce nell'eliminare il bias indotto dal confondimento. ProTrans completa la letteratura sul transfer learning trasferendo esplicitamente la struttura di confondimento tramite residui profilati.
3. Stima dell'Effetto del Trattamento: Come sottoprodotto, il framework offre un approccio innovativo per stimare gli effetti del trattamento dove il gruppo di trattamento funge da target e il gruppo di controllo da sorgente. In questo scenario, lo shift del modello fornisce direttamente la stima dell'effetto del trattamento senza necessità di variabili strumentali.
4. Ottimalità Teorica: Il documento prova che ProTrans raggiunge tassi minimax ottimali sia per lo shift del modello che per la stima del parametro target, superando significativamente i metodi classici di transfer learning in presenza di confondimento forte o complesso.

5. Validazione Empirica

L'efficacia di ProTrans è validata attraverso sia esperimenti simulati che applicazioni su dati reali. Questi esperimenti confermano che ProTrans mitiga efficacemente gli effetti di confondimento latente e supporta i risultati teorici riguardanti i tassi di convergenza e la robustezza alle sorgenti non informative.