Fed-CausalDiff: Decoupled Synchronization for Federated Do-Simulation and Policy Evaluation

Riepilogo Tecnico: Fed-CausalDiff

Definizione del Problema

In settori quali l'assistenza sanitaria multicentrica, la pubblicità algoritmica e la gestione del rischio finanziario, i sistemi decisionali generano enormi log sequenziali tramite interazioni "contesto-azione-feedback". Tuttavia, le rigide normative sulla privacy (ad es. GDPR) e le barriere alla proprietà dei dati impediscono la centralizzazione di questi dataset, rendendo necessario l'apprendimento federato (Federated Learning - FL) per la modellazione collaborativa.

Gli attuali approcci FL affrontano due limitazioni primarie riguardo l'inferenza interventistica:

1. Bias Osservazionale: I metodi FL standard (ad es. FedGAN, TimeGAN) si concentrano sul fitting delle distribuzioni osservazionali storiche. Mancano di una modellazione esplicita della semantica do, il che li rende soggetti a un bias sistematico quando valutano nuove policy o esiti controfattuali, particolarmente in sequenze a lungo termine con confondimento variabile nel tempo.
2. Mancanza di Simulatori: Sebbene esistano metodi di inferenza causale sequenziale (ad es. stimatori Doubly Robust) per la valutazione delle policy, essi tipicamente mancano di un simulatore campionabile capace di generare traiettorie controfattuali complete sotto specifiche policy. I metodi causali federati esistenti spesso affrontano l'identificazione dei meccanismi ma trascurano la simulazione di policy campionabile.

Metodologia: Fed-CausalDiff

Gli autori propongono Fed-CausalDiff, un framework di diffusione causale federata progettato per la do-simulazione e la valutazione delle policy. Il framework si basa su Modelli Causali Strutturali (SCM) e utilizza la diffusione latente condizionata.

Architettura Centrale e Sincronizzazione Disaccoppiata

L'innovazione centrale è la decomposizione strutturale dell'evoluzione dello stato latente ($K_t$) in due sottospazi:

• Sottospazio Causale Invariante ($K^{(c)}_t$): Cattura le leggi causali condivise tra tutti i client.
• Sottospazio di Confondimento Specifico del Sito ($K^{(s)}_t$): Cattura l'eterogeneità locale e i fattori di disturbo specifici di ogni client.

Questa decomposizione abilita la Sincronizzazione Disaccoppiata (Decoupled Synchronization - DSS):

• Aggregazione Globale: Il server aggrega solo i parametri ($\Theta_c$) associati alla dinamica dello score causale e al decoder dell'esito.
• Ritenzione Locale: I parametri ($\Theta^i_s$) associati agli score di confondimento rimangono locali a ciascun client, prevenendo la media di confonditori eterogenei che degraderebbe le prestazioni in scenari non-IID.

Pipeline di Addestramento a Tre Stadi

Il modello viene addestrato tramite un processo in tre fasi, con l'applicazione della DSS ad ogni round di comunicazione:

1. Inferenza Latente e Disentanglement: Un encoder ricorrente mappa le traiettorie osservate nello spazio latente partizionato $K = [K^{(c)}, K^{(s)}]$. Un obiettivo di disentanglement (utilizzando Gradient Reversal Layers) assicura che $K^{(c)}$ non codifichi artefatti specifici del sito, mentre $K^{(s)}$ li cattura.
2. Dinamica dello Score Condizionato: L'evoluzione dello stato è modellata come un processo di denoising condizionato. La funzione di score è decomposta in un termine causale globale ($S_{causal}$) e un termine di confondimento locale ($S_{confound}$). Ciò consente rollout stocastici stabili sotto interventi.
3. Decoder Causale e Aggregazione: Un decoder traduce gli stati latenti in esiti osservabili. Solo i parametri causali condivisi vengono sincronizzati, mentre i parametri di confondimento locale vengono aggiornati localmente.

Obiettivi di Ottimizzazione

L'obiettivo di addestramento locale bilancia la fedeltà generativa con la coerenza causale:

• Fedeltà Generativa: Include la Perdita di Ricostruzione ($L_{recon}$) e la Perdita di Denoising della Diffusione ($L_{diff}$) per minimizzare gli errori di predizione del rumore.
• Regolarizzazione Causale: Include l'Allineamento Interventistico ($L_{align}$) per minimizzare la distanza MMD tra le distribuzioni fattuali e interventistiche, la perdita di Disentanglement ($L_{dis}$) e la Coerenza Controfattuale ($L_{cf}$).

Contributi Chiave

1. Do-Simulazione Federata: Introduce il primo framework che combina l'apprendimento federato con la diffusione condizionata basata su score per generare sequenze interventistiche, andando oltre il puro fitting osservazionale.
2. Sincronizzazione Disaccoppiata (DSS): Propone una nuova strategia di sincronizzazione che aggrega solo i meccanismi causali condivisi mantenendo i confonditori locali, gestendo efficacemente l'eterogeneità dei client senza compromettere l'identificazione causale.
3. Valutazione Robusta delle Policy: Fornisce un simulatore campionabile per la valutazione offline delle policy (OPE), consentendo la stima degli Effetti del Trattamento Medio (ATE) e dei valori delle policy in scenari controfattuali in modo preservante la privacy.

Risultati Sperimentali

Il framework è stato valutato su quattro dataset: DKT-Synth (semi-sintetico con ground truth), Statics2011, Diabetes-130 e OpenBandit. I baseline includevano RCGAN, TimeGAN, CRN e FedCM.

• Fedeltà Interventistica (DKT-Synth): Fed-CausalDiff ha ottenuto gli errori più bassi in tutti i metriche: PEHE (0.057), ATE (0.045) e Valore della Policy (0.049). Gli studi di ablazione hanno confermato che la rimozione della DSS o della perdita di disentanglement degradava significativamente le prestazioni, validando la necessità dell'architettura proposta.
• Valore della Policy Offline: Su Diabetes e DKT-Synth, Fed-CausalDiff ha fornito stime medie Doubly Robust (DR) più elevate rispetto ai baseline, indicando una superiore capacità di catturare impatti causali a lungo termine. Su OpenBandit, sebbene CRN abbia mostrato valori DR grezzi più elevati, Fed-CausalDiff ha mantenuto prestazioni moderate con maggiore stabilità.
• Utilità a Valle (Downstream Utility): Il modello ha mantenuto prestazioni competitive TSTR (Train on Synthetic, Test on Real), dimostrando che l'imposizione di vincoli interventistici non comprometteva significativamente la fedeltà fattuale.
• Efficienza del Sistema: Fed-CausalDiff ha dimostrato una convergenza più rapida e una maggiore stabilità nell'accuratezza interventistica rispetto a TimeGAN (che mostrava alta varianza) e RCGAN. Tuttavia, il trade-off comunicazione-prestazioni era dipendente dal dataset; pur essendo efficiente su DKT-Synth e Diabetes, non ha dominato strettamente i baseline più leggeri su OpenBandit e Statics2011 in termini di ottimalità di Pareto.

Significato e Rivendicazioni

Il documento afferma che Fed-CausalDiff riesce a colmare il divario tra l'apprendimento federato e l'inferenza causale abilitando la costruzione di "modelli del mondo sequenziali intervenibili". Il suo significato primario risiede in:

• Superamento dei Limiti Osservazionali: Va oltre il fitting delle correlazioni storiche per modellare esplicitamente la semantica do, permettendo un'inferenza controfattuale affidabile in contesti decentralizzati.
• Gestione dell'Eterogeneità: Il meccanismo DSS affronta la sfida dell'eterogeneità dei client nella modellazione causale, un punto di fallimento comune per gli approcci federati standard.
• Trade-off Bilanciato: Il framework offre un rapporto favorevole tra costi di comunicazione e fedeltà dell'inferenza, fornendo una base robusta per la valutazione delle policy senza richiedere lo scambio di dati grezzi.

Gli autori segnalano limitazioni riguardanti la mancanza di controfatti con ground-truth nei dataset del mondo reale (facendo affidamento su stimatori offline) e l'attuale simulazione di FL su una singola macchina senza tenere conto di fattori di sistema complessi come la privacy differenziale o i dropout dei client. Il lavoro futuro proposto mira ad affrontare la quantificazione dell'incertezza e l'apprendimento federato personalizzato.