Differentially Private One-Shot Federated Inference for Linear Mixed Models via Lossless Likelihood Reconstruction

1. Il Problema

L'analisi statistica collaborativa di dati medici multi-sito (federata) deve bilanciare l'efficienza statistica con la protezione della privacy dei pazienti.

• Limiti dell'Apprendimento Federato (FL) One-Shot: I metodi FL "one-shot" (dove i siti inviano statistiche riassuntive una sola volta) sono efficienti dal punto di vista comunicativo. Tuttavia, la condivisione di statistiche riassuntive, in particolare le matrici dei prodotti crociati (es. la matrice Gram $X^\top X$), può rivelare informazioni sensibili a livello individuale quando i siti hanno un numero ridotto di pazienti e covariate discrete.
• Rischio di Ricostruzione: Il paper dimostra che, in contesti con piccoli campioni e covariate binarie, è possibile ricostruire univocamente i dati individuali originali risolvendo un problema di programmazione intera 0-1 basato sulla matrice Gram. Ad esempio, con soli 3 pazienti e 3 covariate binarie, la matrice Gram condivisa può rivelare esattamente quali pazienti hanno certe caratteristiche (es. sesso, esito del test).
• Gap Esistente: Le attuali metodologie per i Modelli a Effetti Misti Lineari (LMM) permettono una ricostruzione "senza perdite" (lossless) della verosimiglianza (likelihood) dai dati riassuntivi, ma non offrono garanzie formali di privacy. Al contrario, i metodi di privacy esistenti spesso richiedono comunicazioni iterative o grandi campioni per sito, rendendoli poco pratici per studi clinici con siti piccoli.

2. Metodologia Proposta

Gli autori propongono un framework di inferenza federata one-shot e differenzialmente privata (DP) per i LMM con covarianza a intercetta casuale (random-intercept).

A. Ricostruzione della Verosimiglianza Senza Perdite

Il metodo si basa sul fatto che, per i LMM con intercetta casuale, la verosimiglianza aggregata può essere ricostruita esattamente utilizzando solo statistiche sufficienti a livello di sito:

• Ogni sito $k$ calcola due matrici: $S_k$ (contenente $y_k^\top y_k, y_k^\top X_k, X_k^\top X_k$) e $T_k$ (contenente termini legati alla somma delle osservazioni, necessari per la struttura a blocchi della covarianza).
• Queste statistiche permettono di ricostruire la funzione di verosimiglianza massima (ML) e la verosimiglianza massima ristretta (REML) esatta, senza bisogno dei dati grezzi (IPD).

B. Meccanismo di Privacy Differenziale (DP)

Per mitigare il rischio di ricostruzione dei dati individuali, il metodo applica un meccanismo di rumore gaussiano alle statistiche riassuntive prima della condivisione:

• Sensibilità Globale: Viene calcolata la sensibilità globale ($\Delta_F$) delle statistiche $S_k$ e $T_k$ rispetto alla norma di Frobenius, assumendo che i dati individuali siano limitati.
• Meccanismo Gaussiano: Ogni sito aggiunge rumore gaussiano $U \sim N(0, \sigma_{DP}^2 I)$ alle proprie statistiche, ottenendo $\tilde{S}_k$ e $\tilde{T}_k$. Il livello di rumore è calibrato per garantire $(\epsilon, \delta)$-differenzialmente privata.
• Simmetrizzazione: Viene applicata una post-elaborazione per garantire che le matrici rumorose rimangano simmetriche, senza compromettere la garanzia DP.

C. Stima e Varianza Robusta

• Stimatore: Viene definito uno stimatore ML perturbato ($\hat{\beta}_{DP}$) massimizzando la funzione di verosimiglianza costruita sulle statistiche rumorose.
• Varianza Robusta (Cluster-Robust): Poiché la struttura di covarianza potrebbe essere specificata in modo errato (misspecification), gli autori sviluppano un estimatore della varianza "sandwich" (cluster-robust, tipo CR0) che può essere calcolato esclusivamente dalle statistiche perturbate. Questo garantisce una quantificazione valida dell'incertezza anche se il modello di covarianza non è perfetto.

3. Contributi Chiave

1. Framework Ibrido: È il primo approccio che combina la ricostruzione esatta della verosimiglianza per i LMM (one-shot) con garanzie formali di privacy differenziale.
2. Teoria Asintotica Multi-Sito: Viene stabilita la consistenza e la normalità asintotica dello stimatore in un regime asintotico dove il numero di siti ($K$) tende all'infinito, mentre la dimensione del campione per sito ($n_k$) può rimanere limitata (o piccola). Questo è cruciale per studi clinici reali.
3. Caratterizzazione del Costo della Privacy: Viene derivata una formula analitica per il costo statistico della privacy. L'errore aggiuntivo ($L_2$) scala come $O(\sigma_{DP}^2 / K)$. Ciò significa che l'impatto del rumore privacy diminuisce all'aumentare del numero di siti partecipanti.
4. Varianza Robusta Computabile: Dimostrano che gli stimatori di varianza robusti (sandwich) possono essere derivati direttamente dalle statistiche perturbate, permettendo inferenze valide anche in caso di misspecificazione del modello.

4. Risultati Principali

Simulazioni

• Protezione dalla Ricostruzione: Gli studi di simulazione mostrano che l'aggiunta di rumore DP riduce drasticamente il tasso di successo nella ricostruzione dei dati individuali dalla matrice Gram. Anche impostazioni di privacy moderate ($\epsilon_0 \le 8$) portano a probabilità di ricostruzione quasi nulle, specialmente per piccoli campioni.
• Accuratezza dell'Inferenza:
  • L'errore di stima e il costo della privacy diminuiscono all'aumentare del numero di siti ($K$) e del budget di privacy ($\epsilon$).
  • Con un numero sufficiente di siti (es. $K \ge 100$), l'efficienza statistica rimane competitiva rispetto ai dati aggregati centrali (IPD), anche con privacy rigorosa.
  • Avvertenza: Con un numero limitato di siti (es. $K=20$) e privacy molto forte, si osserva un'instabilità nelle stime degli errori standard (inflazione eccessiva), rendendo l'inferenza difficile.
• Robustezza: Il metodo mantiene la validità dell'inferenza anche in caso di misspecificazione del modello (es. dati generati con pendenza casuale ma modello stimato solo con intercetta casuale), grazie all'uso della varianza robusta.

Applicazione Reale

• Utilizzando dati reali sui test COVID-19 di 88 cliniche (Children's Hospital of Pennsylvania), il metodo è stato applicato per stimare gli effetti di sesso, età e modalità di test.
• Anche con impostazioni di privacy stringenti ($\epsilon_0 = 4$), il costo in termini di errore di stima ($L_2$) è stato inferiore a 0.05 e il fattore di inflazione degli errori standard non ha superato 1.5.
• Questo dimostra che è possibile ottenere garanzie di privacy significative con una perdita di efficienza statistica modesta in contesti reali multi-sito.

5. Significato e Implicazioni

Questo lavoro risolve una tensione fondamentale nell'analisi federata dei dati sanitari: la necessità di proteggere la privacy in siti con pochi pazienti senza sacrificare la validità statistica.

• Impatto Pratico: Fornisce un protocollo praticabile per studi clinici multi-centro dove la condivisione di dati grezzi è vietata e le comunicazioni iterative sono logisticamente onerose.
• Validità Statistica: Sposta il paradigma asintotico dal "grande campione per sito" al "grande numero di siti", rendendo i metodi validi per studi con molte cliniche piccole.
• Sicurezza: Dimostra che la privacy differenziale non è solo un concetto teorico ma può essere implementata in modo efficace per prevenire la re-identificazione in scenari di dati discreti e piccoli, mantenendo al contempo l'utilità dei dati per la ricerca medica.

In sintesi, il paper offre una soluzione matematicamente rigorosa e praticamente applicabile per l'inferenza federata sicura sui modelli misti lineari, colmando il divario tra efficienza computazionale, privacy rigorosa e validità inferenziale.