Sintesi Tecnica: ProMoE-FL

Definizione del Problema

Il paper affronta la sfida dell'Apprendimento Federato (FL) Multimodale con Modalità Mancanti in contesti sanitari. Negli ambienti clinici reali, i dati sono frammentati tra le istituzioni a causa delle normative sulla privacy e della disponibilità variabile delle apparecchiature. Di conseguenza, i client partecipanti possiedono spesso set incompleti di modalità (ad esempio, alcuni hanno solo radiografie, altri solo referti testuali, e altri entrambi).

Gli approcci esistenti a questo problema presentano limitazioni significative:

• Metodi centralizzati (ad esempio, basati su prompt, generativi o sul dropout) sono impraticabili per il FL a causa dei rigorosi vincoli di privacy e dei requisiti di efficienza della comunicazione.
• Dipendenza da Dati Pubblici: Metodi come CAR-MFL richiedono dataset multimodali pubblici aggiuntivi per compensare i dati mancanti dei client, il che è spesso irrealistico in ambito sanitario a causa della privacy e dei gap di dominio.
• Imputazione Naive: Approcci come lo zero-filling distorcono lo spazio delle caratteristiche congiunte e introducono bias nei modelli verso le modalità osservate più frequentemente.
• Limitazioni della Sintesi delle Caratteristiche: I metodi come FeatImp sintetizzano le caratteristiche esclusivamente dalle modalità osservate senza modellare le informazioni complementari, mentre i metodi basati su prototipi come PmcmFL assegnano rappresentazioni identiche a tutti i campioni all'interno di una classe, fallendo nel catturare la variabilità intra-classe cruciale per i dati medici.

Metodologia: ProMoE-FL

Gli autori propongono ProMoE-FL (Prototype-conditioned Mixture-of-Experts per l'Apprendimento Federato), un framework progettato per una sintesi robusta delle caratteristiche con modalità mancanti senza fare affidamento su dati pubblici esterni.

1. Global Prototype Bank Consapevole del Client (Client-Aware)

Per affrontare l'eterogeneità dei client e gli shift di distribuzione, il framework costruisce un global prototype bank che cattura i priori modali clinicamente significativi attraverso le istituzioni.

• Costruzione dei Prototipi: Ogni client mantiene prototipi specifici per modalità ($P^k_m$) apprendibili per ogni classe. Questi vengono aggiornati localmente tramite una perdita di allineamento dei prototipi ($L_{proto}$) che allinea le rappresentazioni delle caratteristiche proiettate con i centroidi di classe.
• Aggregazione Globale: A differenza della semplice media, il server accumula i prototipi dei client per formare un bank globale ($P^{global}_m$). Questo bank funge da "prior consapevole del client" nello spazio latente, guidando la sintesi delle caratteristiche per tenere conto della variabilità distributiva tra i client.

2. Mixture of Experts (MoE) Condizionata dai Prototipi

Per i client con modalità mancanti, un Prototype-Conditioned Decoder (PCD) sintetizza le caratteristiche mancanti.

• Architettura: Il PCD è implementato come un decoder Transformer. Prende le caratteristiche latenti della modalità disponibile come query e presta attenzione al global prototype bank della modalità target (mancante) per recuperare il contesto necessario.
• Mixture of Experts: Per gestire le relazioni complesse e non lineari tra coppie di modalità eterogenee, il sistema impiega una Mixture of Experts ($\Phi_{MoE}$). Questa consiste in molteplici PCD indipendenti ($\phi_e$).
• Routing Direzionale: Un Modality-Aware Router ($R$) calcola una distribuzione di gating condizionata dal contesto dell'istanza e dagli indici di modalità (sorgente $i$, target $j$). Questo instrada dinamicamente i dati verso la combinazione ottimale di esperti, permettendo alla rete di selezionare adattivamente la migliore strategia di sintesi per specifici scenari di modalità mancante.

3. Protocollo di Addestramento Federato

• Addestramento Locale: I client ottimizzano un obiettivo combinato di perdita del task ($L_{task}$) e perdita di allineamento dei prototipi ($L_{proto}$).
• Ricostruzione Simmetrica: I client multimodali addestrano la rete di sintesi utilizzando un obiettivo di ricostruzione simmetrica, imparando a ricostruire le caratteristiche mancanti da quelle disponibili e viceversa.
• Comunicazione: I client trasmettono i parametri del modello aggiornati, le teste di proiezione e i prototipi locali. Il server aggrega questi tramite FedAvg. L'overhead di comunicazione è trascurabile (~0,3% dei parametri totali).

Contributi Chiave

1. Proposta di Framework: Introduzione di ProMoE-FL, un framework di generazione di caratteristiche condizionato dai prototipi che consente la sintesi di modalità mancanti nell'apprendimento federato multimodale senza dati pubblici esterni.
2. Architettura Innovativa: L'integrazione dell'attenzione ai prototipi consapevole del client per gestire l'eterogeneità tra i client e un'architettura Mixture-of-Experts (MoE) per la sintesi direzionale all'interno di una parametrizzazione condivisa, prevenendo la crescita combinatoria dei parametri.
3. Validazione della Robustezza: Esperimenti estesi che dimostrano una migliore robustezza in scenari eterogenei (non-IID) che rispecchiano i reali silos di dati clinici, supportati da analisi sia quantitative che qualitative.

Risultati Sperimentali

Il metodo è stato valutato su quattro dataset pubblici di radiografie del torace: MIMIC-CXR, NIH Open-I, PadChest e CheXpert.

• Performance: ProMoE-FL ha superato costantemente i baseline allo stato dell'arte (Zero-filling, Uniform-filling, FeatImp, PmcmFL e CAR-MFL) sia in contesti omogenei che eterogenei.
  • In contesti omogenei, ha ottenuto la migliore performance in 6 configurazioni su 9.
  • In contesti eterogenei (che rappresentano scenari federati realistici), ha superato costantemente tutti i baseline in ogni configurazione. Notevolmente, ha mostrato guadagni significativi rispetto a PmcmFL, che ha sofferto di degradazione a causa della sua dipendenza da singoli prototipi per classe.
• Confronto con Dati Pubblici: Anche confrontato con CAR-MFL (che utilizza dati pubblici), ProMoE-FL ha ottenuto prestazioni competitive, dimostrando che il suo meccanismo interno di prototipi compensa efficacemente la mancanza di dati esterni.
• Analisi Qualitativa:
  • t-SNE/UMAP: ProMoE-FL ha dimostrato un'integrazione più stretta tra le caratteristiche sintetizzate e quelle reali (ground-truth) con un allineamento più preciso dei centroidi di classe rispetto a FeatImp.
  • Patologie Rare: Il metodo ha mantenuto una chiara separazione tra i centroidi di classe per le patologie rare (es. Cardiomegalia, Frattura, Lesione Polmonare), mentre FeatImp ha mostrato un collasso del modo dove diverse patologie convergevano.
  • Utilizzo degli Esperti: Le distribuzioni di gating hanno mostrato un utilizzo bilanciato degli esperti (centrato vicino a 0,5), indicando una collaborazione stabile tra più esperti piuttosto che un collasso verso un singolo esperto.
• Eterogeneità Linguistica: Lo studio ha notato l'inclusione di referti radiologici in spagnolo (PadChest) insieme a dataset in inglese, segnando una prima nel considerare l'eterogeneità del dominio linguistico in questo specifico contesto di FL.

Significato e Rivendicazioni

Il paper sostiene che ProMoE-FL fornisca un approccio pratico per affrontare l'eterogeneità dei dati nel reale apprendimento federato sanitario. Passando da una semplice imputazione delle caratteristiche alla sintesi adattiva condizionata dai prototipi, il framework:

• Preserva le strutture diagnostiche, incluse le patologie rare, garantendo che i dati sintetizzati mantengano i segnali discriminativi necessari per una diagnosi affidabile.
• Opera efficacemente senza l'irrealistica assunzione di disponibilità di dataset multimodali pubblici.
• Naviga con successo le sfide dei dati non-IID e della variazione della disponibilità di modalità tra i centri medici, offrendo una soluzione robusta per l'IA sanitaria multimodale che preserva la privacy.