Fused Multinomial Logistic Regression Utilizing Summary-Level External Machine-learning Information

1. Il Problema

Nelle applicazioni moderne, è comune disporre di due fonti di dati complementari ma eterogenee:

1. Studio Primario: Un dataset di alta qualità con dati a livello individuale, progettato con cura per l'inferenza statistica, ma con dimensioni campionarie limitate ($n$).
2. Fonte Esterna: Un dataset con dimensioni campionarie molto più grandi ($N \gg n$), che fornisce solo statistiche riassuntive o previsioni di modelli di machine learning (ML) non parametrici (es. "scatole nere" come XGBoost, Random Forest, Reti Neurali), senza accesso ai dati individuali grezzi.

Le sfide principali nell'integrazione di queste fonti sono:

• Shift delle Covariate (Covariate Shift): La distribuzione delle variabili esplicative nella fonte esterna differisce da quella dello studio primario.
• Shift del Concetto (Concept Shift): Il meccanismo generatore dell'outcome (le probabilità condizionate) può variare tra le fonti (es. diverse proporzioni di classi).
• Dati Incompleti o Coarsened: La fonte esterna potrebbe avere un sottoinsieme di covariate ($Z \subset X$) o etichette di outcome aggregati/coarsened (es. classi fuse).
• Mancanza di Robustezza: I metodi parametrici tradizionali faticano a gestire le previsioni non parametriche delle "scatole nere" senza assumere modelli di densità specifici.

L'obiettivo è migliorare l'efficienza statistica dell'inferenza nello studio primario (in particolare per la regressione logistica multinomiale) sfruttando le previsioni della fonte esterna, mantenendo l'interpretabilità del modello primario.

2. Metodologia

Gli autori propongono un quadro generale basato sulla Verosimiglianza Empirica (Empirical Likelihood - EL) per fondere i dati.

Modello Primario

Lo studio primario segue una regressione logistica multinomiale per $K$ classi:
$$P(Y = k | X, S = 1) = \frac{\exp(X^\top \theta_k)}{1 + \sum_{j=1}^{K-1} \exp(X^\top \theta_j)}$$
L'obiettivo è stimare il vettore dei parametri $\theta$.

Integrazione della Fonte Esterna

La fonte esterna fornisce una previsione ML $\hat{q}(Z)$ per le probabilità delle classi (o gruppi di classi). Poiché i dati individuali esterni non sono disponibili, non si può massimizzare una verosimiglianza congiunta. Invece, si utilizzano le previsioni come vincoli di momento.

Assunzioni Chiave:

1. Struttura dei Parametri (Assunzione 2): Si assume che i parametri dello studio primario ($\theta$) e della fonte esterna ($\phi$) condividano un sottoinsieme di parametri $\psi$ (trasferibili) e abbiano parametri liberi specifici ($\vartheta, \phi_{free}$). Questo permette di collegare le fonti senza assumere che siano identiche.
   • Esempio: In caso di shift delle proporzioni, si assume che i coefficienti di pendenza siano condivisi, mentre gli intercetti differiscano.
2. Condizione di Missing at Random (Assunzione 3): Se la fonte esterna ha meno covariate ($Z \subset X$), si assume che le covariate mancanti siano "mancanti a caso" condizionatamente a $Z$. Questo permette di evitare la stima esplicita del rapporto di densità $f_1(X)/f_0(X)$, che è spesso difficile e instabile.

Stima Fusa (Fused Estimator)

Si massimizza una pseudo-verosimiglianza logaritmica penalizzata che combina:

1. La verosimiglianza dello studio primario $\ell_n(\theta)$.
2. Vincoli di momento basati sulla differenza tra le probabilità predette dal modello primario e le previsioni ML esterne $\hat{q}(Z)$, ponderate da funzioni base $h(Z)$.

La funzione obiettivo (Lagrangiana) è:
$$\ell_n(\theta) + \frac{1}{n}\sum \log \delta_i - \sum \lambda_{l,h} \sum \delta_i g_{l,h}(X_i)$$
Dove $g_{l,h}$ rappresenta i momenti di errore tra il modello parametrico e la previsione non parametrica.

Stabilità Numerica: Per evitare instabilità quando i moltiplicatori di Lagrange divergono, viene introdotta una penalizzazione $L_2$ sui moltiplicatori.

3. Contributi Chiave

1. Quadro Generale di Fusione: Un framework empirico-likelihood che integra previsioni ML non parametriche (scatole nere) in modelli parametrici interpretabili (logistica multinomiale) senza richiedere dati individuali esterni.
2. Gestione dell'Eterogeneità:
   • Gestione dello shift delle covariate senza stimare rapporti di densità, sfruttando la robustezza dei metodi ML non parametrici.
   • Gestione dello shift del concetto attraverso una struttura parametrica ibrida (parametri condivisi vs. liberi).
   • Capacità di gestire covariate parziali e outcome coarsened (aggregati).
3. Proprietà Asintotiche: Dimostrazione di consistenza e normalità asintotica dell'estimatore fuso (FMLE).
4. Condizioni per il Guadagno di Efficienza: Derivazione di condizioni necessarie e sufficienti affinché l'uso di informazioni esterne porti a un guadagno di efficienza rigoroso rispetto alla sola verosimiglianza primaria. In particolare, il numero di funzioni di base $H$ deve essere sufficientemente grande rispetto alla dimensionalità dei parametri liberi esterni.

4. Risultati

Studi di Simulazione

• Configurazione: Confronto tra l'MLE standard (solo dati primari) e l'FMLE (dati primari + previsioni ML esterne) in scenari con $n=500$ e $N=10.000$.
• Robustezza: L'FMLE mantiene prestazioni eccellenti anche in presenza di shift di media, varianza o entrambi nelle covariate esterne.
• Efficienza:
  • Riduzione della deviazione standard (SD) dei coefficienti stimati fino al 25% nel caso di covariate complete e 15% con covariate mancanti.
  • Il guadagno è specifico per i contrasti di classe che sono ben rappresentati nella fonte esterna (es. se la fonte esterna aggrega le classi 1 e 2, l'informazione aiuta a stimare meglio il contrasto tra la classe 3 e le altre).
  • Le probabilità di copertura degli intervalli di confidenza rimangono vicine al livello nominale (95%), sebbene con una leggera sottocopertura in alcuni casi a causa dell'incertezza non modellata della previsione ML esterna.

Applicazione Reale (NHANES)

• Dati: Classificazione della pressione sanguigna (Normale, Pre-ipertensione, Ipertensione) utilizzando dati del NHANES.
  • Primario: 9.186 unità con dati demografici e di laboratorio completi.
  • Esterno: 12.425 unità con solo dati demografici e pressione (nessun dato di laboratorio).
• Risultati:
  • L'FMLE ha prodotto stime con intervalli di confidenza significativamente più stretti rispetto all'MLE per le variabili demografiche condivise (età, BMI, ecc.).
  • Quando il rapporto $n/N$ è stato simulato come più piccolo (600 vs 12.425), il vantaggio dell'FMLE è diventato ancora più marcato, dimostrando l'utilità del metodo quando il campione primario è scarso.

5. Significato e Implicazioni

Questo lavoro è significativo perché colma il divario tra l'analisi statistica tradizionale (interpretabile, parametrica) e l'era del Big Data e del Machine Learning (potente, non parametrico, spesso opaco).

• Efficienza senza Sacrificio di Interpretazione: Permette di sfruttare la potenza predittiva di modelli ML addestrati su grandi dataset esterni per migliorare la precisione delle stime in studi clinici o sociali più piccoli, mantenendo la capacità di interpretare i coefficienti di regressione (odds ratio).
• Flessibilità Pratica: Offre una soluzione pratica per problemi reali dove i dati esterni sono spesso incompleti (mancanza di alcune variabili) o aggregati, e dove le popolazioni non sono perfettamente allineate.
• Nuovo Paradigma di Data Fusion: Sposta l'attenzione dalla fusione di dati grezzi alla fusione di "informazioni" (previsioni/condizioni di momento), rendendo possibile l'integrazione di fonti che altrimenti sarebbero inutilizzabili per l'inferenza causale o parametrica.

In sintesi, il metodo proposto offre un approccio rigoroso e robusto per "fondere" l'intelligenza dei modelli ML con la trasparenza dei modelli statistici classici, superando le barriere dell'eterogeneità dei dati.