Sintesi Tecnica: Apprendimento Adattivo ed Efficiente con Dati con Mancanza a Blocchi e Semi-Supervisionati

1. Definizione del Problema

Il documento affronta le sfide della fusione dei dati in presenza di tre complicazioni simultanee:

1. Mancanza a Blocchi (Blockwise Missingness - BM): Le covariate sono mancanti in blocchi tra diverse fonti di dati perché le variabili vengono raccolte o definite in modo differente. Ciò risulta in pattern di mancanza non monotoni in cui sottoinsiemi specifici di covariate sono osservati in alcune fonti ma mancanti in altre.
2. Contesto Semi-Supervisionato (SS): La variabile di esito $Y$ è costosa da ottenere (ad esempio, richiede una revisione clinica manuale), lasciando la maggior parte dei campioni nella popolazione target non etichettati, mentre è disponibile un ampio pool di dati non etichettati con covariate completamente osservate.
3. Spostamenti Distribuzionali (Distributional Shifts): Le fonti di dati spesso presentano eterogeneità dovute a diversi standard di misurazione o criteri di reclutamento. Le assunzioni standard come la Mancanza Completamente Casuale (MCAR) sono spesso irrealistiche; invece, la mancanza può dipendere dalle variabili osservate, e le distribuzioni tra le fonti possono differire.

L'obiettivo è stimare in modo robusto ed efficiente i parametri di un Modello Lineare Generalizzato (GLM) per una popolazione target (Unlabeled Complete, UC) fondendo:

• LC (Labeled Complete): Campione piccolo con covariate e esiti completamente osservati.
• LM (Labeled Missing): Molteplici fonti con esiti ma con covariate mancanti a blocchi.
• UC (Unlabeled Complete): Campione ampio con covariate completamente osservate ma senza esiti.

Una sfida critica è il disallineamento delle fonti (source misalignment): se la distribuzione condizionale degli esiti date le covariate differisce tra una fonte etichettata e la popolazione target (violando la trasportabilità), la fusione ingenua introduce bias.

2. Metodologia: DEFUSE

Gli autori propongono DEFUSE (Data-adaptive Estimation approach for data FUsion in the SEmi-supervised setting), che opera sotto un'assunzione di Allineamento Condizionale sotto la Mancanza (Conditional Alignment under Missingness - CAM).

2.1 Assunzione Centrale (CAM)

Il metodo assume che, condizionatamente a un sottoinsieme prestabilito di variabili $Z_r$ (che può includere esiti e covariate osservate), le distribuzioni dei dati delle fonti etichettate con mancanze ($LM_r$) e della popolazione target ($UC$) siano allineate:
$$P_{LM_r}(Y, X | Z_r) = P_{UC}(Y, X | Z_r)$$
Questo rilassa la rigorosa assunzione MCAR, permettendo alla mancanza di dipendere dai dati osservati, a patto che l'allineamento condizionale sia rispettato.

2.2 Procedura di Stima in Due Fasi

Fase 1: Stima Preliminare (Operatore DML)
Un estimatore preliminare $\hat{\gamma}$ viene derivato utilizzando solo i campioni LC e UC. Per gestire gli spostamenti distribuzionali tra LC e UC senza fare affidamento su una instabile stima del rapporto di densità, gli autori impiegano un operatore di Machine Learning Doppia/Debiased (DML):
$$M_{LC}(D) = h_{LC}(X)(D - E_{LC}[D|X]) + E_{UC}(E_{LC}[D|X])$$
dove $h_{LC}(X)$ è il rapporto di densità. Questo operatore corregge il bias mantenendo la consistenza $n^{1/2}$ anche se i modelli di disturbo (rapporti di densità e medie condizionali) convergono a ritmi più lenti ($o_P(n^{-1/4})$).

Fase 2: Approccio con Variabile di Controllo Adattiva ai Dati
Per incorporare i campioni $LM_r$ e ridurre la varianza, DEFUSE utilizza una strategia di variabile di controllo (control variate). L'estimatore è aumentato come:
$$\hat{\beta}(\phi) = c^\top \hat{\gamma} + \sum_{r=1}^R \left( \hat{E}_{LM_r}[\hat{M}_{LM_r}(\phi_r)] - \hat{E}_{LC}[\hat{M}_r(\phi_r)] \right)$$

• Operatori: $\hat{M}_r$ e $\hat{M}_{LM_r}$ sono costruiti secondo i principi DML per correggere gli spostamenti distribuzionali tra le fonti.
• Funzioni di Controllo ($\phi_r$): Queste sono funzioni adattive ai dati delle variabili osservate in $LM_r$. Il metodo cerca di minimizzare la varianza asintotica empirica $Q(\phi)$ rispetto a $\phi$.
• Strategia di Raffinamento: Inveve di ottimizzare direttamente complesse funzioni non parametriche, DEFUSE raffina un predittore "ancora" (ad esempio, un modello AI che predice la funzione di punteggio) utilizzando una funzione di riponderazione $w_r(W_r; \delta_r)$. Ciò conduce a un problema di programmazione quadratica a dimensione finita, rendendo il metodo computazionalmente trattabile. Gli autori propongono tre esempi per $w_r$: coefficienti costanti, funzioni lineari e Regressione Ridge con Kernel (KRR).

2.3 Screening per Fonti Disallineate

Riconoscendo che alcune fonti possono violare l'assunzione CAM, gli autori sviluppano una procedura di screening per escluderle prima della fusione.

• Metrica: Propongono una misura di Discrepanza del Quadrato Medio (Mean Squared Discrepancy - MSD), $\bar{\Delta}_r^2$, che quantifica la deviazione di una fonte dall'allineamento con il target.
• Debiasing: Per evitare il bias derivante dalla stima delle medie condizionali, utilizzano un estimatore debiased basato sulla massimizzazione su uno spazio di funzioni $G$.
• Selezione: Le fonti con $\hat{\Delta}_r$ superiore a una soglia vengono escluse. Teoricamente, questa misura MSD si dimostra più precisa e sensibile al disallineamento rispetto alle analisi di sensibilità basate sulla differenza delle medie.

3. Contributi Chiave

1. Framework Innovativo: DEFUSE è il primo metodo che gestisce sistematicamente la triade di mancanza a blocchi, apprendimento semi-supervisionato e spostamenti distribuzionali sotto un'assunzione di allineamento condizionale.
2. Efficienza Adattiva ai Dati: Il metodo introduce un nuovo approccio di variabile di controllo adattiva ai dati. Raggiunge l'efficienza intrinseca (ottimale entro una classe specificata di funzioni di controllo) e può raggiungere il limite di efficienza semiparametrica se la classe delle funzioni di controllo è sufficientemente ricca (ad esempio, tramite KRR).
3. Robustezza al Disallineamento: La procedura di screening proposta identifica ed esclude efficacemente le fonti disallineate, prevenendo la propagazione del bias, un limite comune in molti metodi di fusione che assumono una perfetta trasportabilità.
4. Fattibilità Computazionale: Riducendo l'ottimizzazione delle funzioni di controllo alla programmazione quadratica, il metodo può integrare feature ausiliarie ad alta dimensionalità e modelli di machine learning "black-box" pur rimanendo computazionalmente efficiente.
5. Garanzie Teoriche: Il documento stabilisce la normalità asintotica, la consistenza e i limiti di efficienza semiparametrica per l'estimatore proposto sotto regolarità.

4. Risultati

Studi di Simulazione

• Efficienza: DEFUSE supera costantemente i metodi esistenti (inclusi l'Imputazione Multipla, la fusione basata su GMM e il reweighting del campione) in termini di Efficienza Relativa (RE). In vari scenari (lineari/non lineari, esiti binari/continui), DEFUSE con riponderazione KRR (Esempio 3) ha ottenuto un'efficienza fino al 25-80% superiore rispetto ai benchmark.
• Robustezza: Sotto spostamenti distribuzionali e non linearità, DEFUSE ha mantenuto bassi rapporti bias-errore standard, mentre i competitor (come SC-PW e MBI) hanno mostrato un aumento del bias.
• Performance dello Screening: In contesti con fonti disallineate, il metodo di screening basato su MSD ha ottenuto punteggi F1 e sensibilità quasi perfetti nell'identificare le fonti disallineate, superando significativamente le strategie basate sulla differenza delle medie.

Applicazioni nel Mondo Reale

• Rischio di Alzheimer (Dati NACC): Applicato per costruire un modello prognostico utilizzando dati da molteplici centri. Il metodo di screening ha escluso 3 centri su 8 a causa del disallineamento. DEFUSE con riponderazione KRR ha mostrato un'efficienza relativa di 2,76x per la covariata alcol rispetto all'estimatore preliminare.
• Rischio di Malattie Cardiovascolari (Dati MIMIC-III): Applicato per modellare il rischio di malattie cardiache con biomarcatori mancanti a blocchi. DEFUSE ha dimostrato guadagni di efficienza sostanziali (fino a 3,65x per l'età e 5,72x per il diabete in molteplici scenari di BM) rispetto agli estimatori preliminari e ai metodi di fusione esistenti.

5. Significato e Rivendicazioni

Il documento sostiene che DEFUSE offra una soluzione pratica e potente per i problemi moderni di fusione dei dati dove le strutture dei dati sono complesse ed eterogenee.

• Ottimalità Teorica: Colma il divario tra l'efficienza semiparametrica teorica e l'implementazione pratica, fornendo un meccanismo per avvicinarsi ai limiti di efficienza anche quando i classici stimatori in forma chiusa non sono disponibili.
• Protezione della Validità: Affrontando esplicitamente il disallineamento delle fonti attraverso una procedura di screening sensibile, il metodo protegge dal bias che affligge la fusione di dataset non allineati.
• Flessibilità: Il framework è abbastanza flessibile da incorporare feature ausiliarie ad alta dimensionalità (ad esempio, provenienti da cartelle cliniche elettroniche) e potenti modelli di machine learning senza sacrificare la trattabilità computazionale.

Gli autori osservano che, sebbene il metodo richieda attualmente un campione etichettato completo (LC), il lavoro futuro potrebbe generalizzare l'approccio a contesti in cui sono disponibili solo dati non etichettati e parzialmente etichettati, a condizione che l'unione delle covariate osservate copra i predittori target.