Federated Causal Discovery Across Heterogeneous Datasets under Latent Confounding

Il paper introduce fedCI e fedCI-IOD, un framework federato che permette di scoprire relazioni causali in dataset eterogenei e distribuiti sotto vincoli di confondimento latente, preservando la privacy e migliorando la potenza statistica senza centralizzare i dati.

L'essenziale

Immagina di essere un detective che deve risolvere un mistero: chi ha causato cosa? In medicina, economia o scienze sociali, capire le relazioni di causa-effetto è fondamentale. Ma c'è un grosso problema: i dati sono sparsi in tutto il mondo, custoditi in ospedali, banche e laboratori diversi, e per legge (o per privacy) non possono essere messi tutti insieme in un unico grande archivio.

È come se avessi 100 pezzi di un puzzle sparsi in 100 case diverse, e non ti è permesso portare i pezzi fuori dalle case per unirli. Come fai a vedere l'immagine completa?

Ecco la storia di fedCI e fedCI-IOD, la soluzione proposta dagli autori di questo articolo.

1. Il Problema: Il Puzzle Spezzato e il Muro della Privacy

Immagina che ogni ospedale (o "sito") abbia un pezzo del puzzle.

• Il problema dei pezzi mancanti: L'ospedale A ha i dati su "Fumo" e "Cancro", ma non sa nulla del "Peso". L'ospedale B sa del "Peso" ma non del "Fumo". Se provi a unire i pezzi, non combaciano perché le variabili (le domande fatte) sono diverse.
• Il problema dei "Fattori Nascosti": A volte, c'è un "cattivo" invisibile (un confondente latente) che influenza sia il Fumo che il Cancro, ma nessuno lo sta misurando. Questo inganna i detective, facendogli credere che il fumo causi il cancro quando in realtà è colpa di quel fattore nascosto.
• Il problema della Privacy: Non puoi inviare i dati dei pazienti al centro. Devono rimanere al sicuro nelle loro case.

I metodi vecchi (come l'analisi meta-statistica) guardano solo i "riassunti" di ogni ospedale. È come chiedere a ogni detective di dirti solo "ho trovato un indizio" senza mostrarti il pezzo di puzzle. Spesso, questo non è abbastanza per vedere l'immagine intera.

2. La Soluzione: Il "Cantiere Federato" (fedCI)

Gli autori hanno inventato un nuovo modo di lavorare, chiamato fedCI. Immagina un cantiere di costruzione dove gli operai (i dati) non si spostano, ma i progetti viaggiano.

• Il Metodo: Invece di portare i dati al centro, il server centrale invia un "progetto di calcolo" (un modello matematico chiamato Generalized Linear Model) a ogni ospedale.
• L'Intelligenza: Ogni ospedale applica il progetto ai propri dati locali. Calcola una piccola parte del risultato (come un pezzo di un'equazione) e lo invia al centro.
• Il Trucco della Privacy: Per evitare che il centro possa indovinare i dati originali, gli ospedali usano una tecnica di "mascheramento" (come aggiungere un po' di rumore casuale che si annulla a vicenda). È come se ogni ospite a una festa scrivesse un segreto su un foglio, lo mettesse in una scatola con un foglio bianco, e poi tutti i fogli bianchi venissero mescolati. Alla fine, il centro vede solo il risultato finale, ma non sa quale segreto apparteneva a quale ospite.

Questo permette di avere la potenza statistica di tutti i dati messi insieme, senza che nessuno veda i dati degli altri.

3. Il Super-Detective: fedCI-IOD

Una volta che abbiamo il modo di testare le relazioni in modo sicuro, gli autori hanno aggiornato un vecchio algoritmo chiamato IOD (Integrazione di Dataset Sovrapposti).

Pensa all'algoritmo IOD come a un capo detective che riceve i rapporti da tutti gli ospedali.

• Prima: Il capo detective riceveva solo riassunti confusi e spesso sbagliava, specialmente se i pezzi del puzzle erano diversi tra loro.
• Ora (fedCI-IOD): Il capo detective usa i nuovi rapporti "federati" (fedCI). Riesce a vedere connessioni che prima erano invisibili.
  • Se l'ospedale A vede che A e B sono collegati, e l'ospedale B vede che B e C sono collegati, il sistema capisce che A e C potrebbero essere collegati, anche se nessun ospedale ha mai visto A e C insieme!
  • Riesce anche a smascherare i "fattori nascosti" (i confondenti latenti) che ingannavano i metodi precedenti.

4. Il Risultato: Un'Immagine Chiara

Grazie a questo sistema:

1. Privacy: I dati restano al sicuro.
2. Precisione: Si ottiene un'immagine causale (chi causa cosa) quasi perfetta, come se tutti i dati fossero stati messi insieme in un unico database gigante.
3. Flessibilità: Funziona anche se gli ospedali hanno dati diversi (alcuni hanno numeri, altri sì/no, altri categorie) e anche se hanno variabili diverse.

In Sintesi

Immagina di dover ricostruire un'auto rotta.

• Metodo vecchio: Chiedi a ogni meccanico di dirti a voce cosa ha visto. Spesso non capisci bene il quadro generale.
• Metodo federato (fedCI-IOD): Ogni meccanico lavora sulla sua parte dell'auto nella sua officina. Invia solo le misure matematiche delle sue riparazioni a un computer centrale che le assembla. Il computer centrale ti dice esattamente come è fatta l'auto intera, senza che nessun meccanico debba uscire dalla sua officina o mostrare i suoi strumenti agli altri.

Gli autori hanno anche creato un sito web e un'applicazione (come un "cantiere virtuale") dove chiunque può usare questo metodo, rendendo la scoperta delle cause accessibile a tutti, proteggendo al contempo i segreti di ognuno.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Federated Causal Discovery Across Heterogeneous Datasets under Latent Confounding", presentata in italiano.

1. Il Problema

La scoperta causale (causal discovery) attraverso più dataset è fondamentale in settori come la sanità e l'economia, ma è attualmente limitata da due ostacoli principali:

• Privacy e Regolamentazione: Le normative sulla protezione dei dati impediscono la centralizzazione dei dati sensibili in un unico repository.
• Eterogeneità dei Dati: I dataset distribuiti spesso presentano:
  • Insiemi di variabili non identici: Alcuni siti osservano variabili che altri non hanno (partizionamento verticale).
  • Tipi di dati misti: Coesistenza di variabili continue, ordinali, binarie e categoriali.
  • Effetti specifici del sito: Differenze sistematiche tra i centri di raccolta dati.
  • Confondimento latente: La presenza di variabili non osservate che influenzano le relazioni causali.

I metodi esistenti di Federated Learning per la causalità falliscono nel gestire simultaneamente queste complessità, spesso richiedendo insiemi di variabili identici o assumendo l'assenza di confondimento latente (causal sufficiency). Inoltre, manca un'implementazione software pubblica e pronta per l'uso che integri protocolli di comunicazione robusti.

2. Metodologia Proposta

Gli autori introducono fedCI-IOD, un framework end-to-end che combina due componenti principali:

A. fedCI (Federated Conditional Independence Test)

È il primo framework di test di indipendenza condizionale (CI) federato progettato per dati eterogenei.

• Base Statistica: Utilizza Test del Rapporto di Verosimiglianza (LRT) basati su Modelli Lineari Generalizzati (GLM). I GLM permettono di gestire tipi di dati misti (Gaussiani, Binomiali, Ordinali, Multinomiali) mantenendo robustezza statistica.
• Ottimizzazione Federata: I parametri dei GLM sono stimati tramite un procedimento federato di Iteratively Reweighted Least Squares (IRLS).
  • Invece di condividere i dati grezzi, i client calcolano statistiche locali (matrice di informazione di Fisher e vettore di punteggio) che vengono aggregate dal server.
  • Privacy: Viene utilizzata una mascheratura additiva a coppie (pairwise additive masking) per nascondere i contributi individuali dei client durante l'aggiornamento dei parametri, prevenendo attacchi di inversione del modello senza ricorrere alla privacy differenziale (che potrebbe degradare l'accuratezza su piccoli dataset).
  • Gestione delle Variabili: Se un client non possiede tutte le variabili necessarie per un test specifico, invia contributi nulli mascherati, mantenendo intatto il flusso di privacy e la validità del test globale.
• Unificazione dei p-value: Per gestire l'asimmetria nei test bidirezionali su dati misti, il framework combina i p-value utilizzando il metodo proposto da Tsagris et al.

B. fedCI-IOD (Integrazione con l'algoritmo IOD)

Il framework integra il metodo fedCI nell'algoritmo Integration of Overlapping Datasets (IOD).

• IOD Originale: Un algoritmo basato su vincoli (constraint-based) che inferisce grafi parzialmente orientati (PAGs) da dataset con sovrapposizione parziale di variabili, gestendo il confondimento latente. Originariamente richiedeva l'accesso centralizzato ai dati per combinare i risultati dei test CI tramite il metodo di Fisher.
• Adattamento Federato: Gli autori hanno sostituito la fase di combinazione dei test CI con fedCI. Invece di aggregare p-value locali (che perde potenza statistica), fedCI stima modelli globali su tutti i dati distribuiti, preservando la privacy.
• Ottimizzazione Computazionale: È stata introdotta una modifica all'algoritmo IOD che utilizza le relazioni di (non)ascendenza derivanti da tutte le "triple con ordine" (non solo i collider) nei grafi locali per costruire il PAG globale. Questo riduce drasticamente il numero di grafi candidati da validare, migliorando l'efficienza.

3. Contributi Chiave

1. fedCI: Il primo framework di test CI federato che gestisce insiemi di variabili non identici, dati misti ed effetti specifici del sito, con un'implementazione Python pubblica.
2. Implementazione Privacy-Preserving di IOD: Un pacchetto R che permette la scoperta causale collaborativa, supportando sia l'analisi meta-statistica (p-value) che l'integrazione federata completa (fedCI).
3. Piattaforma Web Containerizzata: Una applicazione web client-server (dockerizzata) che rende la scoperta causale federata accessibile e pronta per l'uso reale, permettendo a più enti di collaborare senza condividere dati grezzi.

4. Risultati Sperimentali

Gli autori hanno valutato il framework su 10.800 simulazioni con 5 nodi, variando dimensioni del campione, numero di partizioni (siti) e tipi di dati.

• Potenza Statistica: fedCI raggiunge prestazioni quasi identiche all'analisi centralizzata su dati aggregati (pooled), dimostrando di non perdere informazione significativa. Al contrario, il metodo di meta-analisi (Fisher) mostra un calo significativo di accuratezza all'aumentare del numero di partizioni, a causa della scarsa potenza statistica nei singoli siti.
• Accuratezza Causale: Quando integrato in IOD, fedCI-IOD produce grafi (PAGs) con una distanza strutturale (SHD) molto inferiore rispetto all'IOD con meta-analisi, avvicinandosi al risultato dell'oracolo (dati centralizzati).
• Robustezza: Il metodo federato riesce a identificare correttamente le dipendenze che i metodi locali o la meta-analisi falliscono nel rilevare a causa di "unfaithfulness" empirica nei piccoli campioni locali.
• Efficienza: Le modifiche all'algoritmo IOD (uso delle triple con ordine) riducono il numero di grafi candidati da validare fino a oltre 1000 casi in simulazioni, migliorando notevolmente i tempi di calcolo.

5. Significato e Impatto

Questo lavoro colma un divario metodologico e pratico significativo:

• Superamento delle limitazioni attuali: È l'unico metodo che gestisce simultaneamente confondimento latente, dati eterogenei (misti e non sovrapposti) e vincoli di privacy rigorosi.
• Accessibilità: Fornisce per la prima volta un software open-source e un'interfaccia web utilizzabile da ricercatori e professionisti per la scoperta causale federata, un campo finora dominato da teorie non implementate o prototipi non pronti per la produzione.
• Applicabilità Reale: La capacità di ottenere risultati statisticamente potenti senza centralizzare i dati rende possibile studi causali su larga scala in ambiti sensibili come la medicina multi-centro, rispettando le normative GDPR e simili.

In sintesi, il paper presenta una soluzione completa e rigorosa per l'apprendimento della struttura causale in ambienti distribuiti ed eterogenei, combinando garanzie teoriche di completezza con implementazioni pratiche di alto livello.