Technische Samenvatting: ProMoE-FL

Probleemstelling

Het artikel behandelt de uitdaging van Multimodale Federatieve Leren (FL) met ontbrekende modaliteiten in een medische context. In echte klinische omgevingen is data gefragmenteerd over instellingen vanwege privacyregels en variërende beschikbaarheid van apparatuur. Gevolgelijk beschikken deelnemende cliënten vaak over incomplete sets modaliteiten (bijv. sommigen hebben alleen röntgenfoto's, anderen alleen tekstuele rapporten, en sommigen beide).

Bestaande benaderingen voor dit probleem kampen met aanzienlijke beperkingen:

• Gecentraliseerde methoden (bijv. op prompts gebaseerd, generatief of op dropout gebaseerd) zijn onpraktisch voor FL vanwege strikte privacybeperkingen en eisen aan communicatie-efficiëntie.
• Afhankelijkheid van publieke data: Methoden zoals CAR-MFL vereisen aanvullende publieke multimodale datasets om het ontbrekende data van cliënten te compenseren, wat in de gezondheidszorg vaak onrealistisch is vanwege privacybeperkingen en domeinkloven.
• Naïeve Imputatie: Benaderingen zoals zero-filling vervormen de gezamenlijke feature-ruimte en bevoordelen modellen die naar veelvoorkomende modaliteiten neigen.
• Beperkingen in Feature Synthese: Methoden zoals FeatImp synthetiseren features uitsluitend op basis van de geobserveerde modaliteiten zonder complementaire informatie te modelleren, terwijl prototype-gebaseerde methoden zoals PmcmFL identieke representaties toekennen aan alle samples binnen een klasse, waardoor de intra-klasse variabiliteit die cruciaal is voor medische data, niet wordt gevangen.

Methodologie: ProMoE-FL

De auteurs stellen ProMoE-FL voor (Prototype-conditioned Mixture-of-Experts voor Federated Learning), een framework dat is ontworpen voor robuuste synthese van ontbrekende modaliteits-features zonder afhankelijk te zijn van externe publieke data.

1. Client-bewuste Globale Prototype Bank

Om client-heterogeniteit en distributieverschuivingen aan te pakken, construeert het framework een globale prototype bank die klinisch betekenisvolle modaliteits-priors vastlegt over instellingen heen.

• Prototype Constructie: Elke client onderhoudt leerbare, modaliteit-specifieke prototypes ($P^k_m$) voor elke klasse. Deze worden lokaal bijgewerkt via een prototype alignment loss ($L_{proto}$) die geprojecteerde feature-representaties uitlijnt met klasse-centra.
• Globale Aggregatie: In tegenstelling tot eenvoudige middeling, accumuleert de server client-prototypes om een globale bank ($P^{global}_m$) te vormen. Deze bank dient als een "client-bewuste prior" in de latente ruimte, die de feature-synthese stuurt om rekening te houden met de distributionele variabiliteit tussen cliënten.

2. Prototype-Conditioned Mixture of Experts (MoE)

Voor cliënten met ontbrekende modaliteiten synthetiseert een Prototype-Conditioned Decoder (PCD) de ontbrekende features.

• Architectuur: De PCD is geïmplementeerd als een Transformer-decoder. Het neemt de latente features van de beschikbare modaliteit als query en let op de globale prototype bank van de doel-modaliteit (de ontbrekende modaliteit) om de noodzakelijke context op te halen.
• Mixture of Experts: Om complexe, niet-lineaire relaties tussen heterogene modaliteit-paren te verwerken, gebruikt het systeem een Mixture of Experts ($\Phi_{MoE}$). Dit bestaat uit meerdere onafhankelijke PCD's ($\phi_e$).
• Richting-bewuste Routing: Een Modality-Aware Router ($R$) berekent een gating-distributie geconditioneerd op de instantie-context en modaliteitsindices (bron $i$, doel $j$). Dit routeert de data dynamisch naar de optimale combinatie van experts, waardoor het netwerk adaptief de beste synthese-strategie kan selecteren voor specifieke scenario's met ontbrekende modaliteiten.

3. Federatief Trainingsprotocol

• Lokale Training: Cliënten optimaliseren een gecombineerde doelstelling van task loss ($L_{task}$) en prototype alignment loss ($L_{proto}$).
• Symmetrische Reconstructie: Multimodale cliënten trainen het synthese-netwerk met een symmetrische reconstructie-doelstelling, waarbij ze leren om ontbrekende features te reconstrueren vanuit de beschikbare features en vice versa.
• Communicatie: Cliënten verzenden bijgewerkte modelparameters, projectiekoppen en lokale prototypes. De server aggregeert deze via FedAvg. De communicatie-overhead is verwaarloosbaar (~0,3% van de totale parameters).

Belangrijkste Bijdragen

1. Framework Voorstel: Introductie van ProMoE-FL, een prototype-geconditioneerd feature generatie framework dat synthese van ontbrekende modaliteiten mogelijk maakt in federatief multimodale leren zonder externe publieke data.
2. Nieuwe Architectuur: De integratie van client-bewuste prototype attention om cross-client heterogeniteit aan te pakken en een Mixture-of-Experts (MoE) architectuur voor richting-bewuste synthese binnen een gedeelde parametrisatie, wat combinatorische groei van parameters voorkomt.
3. Validatie van Robuustheid: Uitgebreide experimenten die verbeterde robuustheid aantonen in heterogene (non-IID) settings die de realiteit van klinische datasilo's weerspiegelen, ondersteund door zowel kwantitatieve als kwalitatieve analyses.

Experimentele Resultaten

De methode werd geëvalueerd op vier publieke borstkas röntgenfoto datasets: MIMIC-CXR, NIH Open-I, PadChest en CheXpert.

• Prestaties: ProMoE-FL presteerde consequent beter dan state-of-the-art baselines (Zero-filling, Uniform-filling, FeatImp, PmcmFL en CAR-MFL) in zowel homogene als heterogene settings.
  • In homogene settings behaalde het de beste prestaties in 6 van de 9 configuraties.
  • In heterogene settings (die realistische federatieve scenario's vertegenwoordigen), presteerde het consequent beter dan alle baselines in elke configuratie. Opvallend genoeg liet het significante winsten zien ten opzichte van PmcmFL, dat leed onder degradatie door de afhankelijkheid van enkelvoudige klasse-gewijze prototypes.
• Vergelijking met Publieke Data: Zelfs in vergelijking met CAR-MFL (dat publieke data gebruikt), behaalde ProMoE-FL concurrerende prestaties, wat aantoont dat zijn interne prototype-mechanisme effectief het gebrek aan externe data compenseert.
• Kwalitatieve Analyse:
  • t-SNE/UMAP: ProMoE-FL vertoonde een hechtere integratie tussen gesynthetiseerde en grondwaarheid (ground-truth) features met een preciezere klasse-centroid uitlijning vergeleken met FeatImp.
  • Zeldzame Pathologieën: De methode behield een duidelijke scheiding tussen klasse-centroids voor zeldzame pathologieën (bijv. vergrote cardiomediastinum, fractuur, longlaesie), terwijl FeatImp mode collapse vertoonde waarbij verschillende pathologieën convergeerden.
  • Expert Utilisatie: De gating-distributies toonden een gebalanceerde expert-utilisatie (gecentreerd nabij 0,5), wat wijst op stabiele multi-expert samenwerking in plaats van een instorting naar een enkele expert.
• Linguïstische Heterogeniteit: De studie merkte de inclusie van Spaanse radiologieverslagen (PadChest) naast Engelse datasets op, wat een eerste is in het overwegen van linguïstische domeinheterogeniteit in deze specifieke FL-context.

Betekenis en Claims

Het artikel claimt dat ProMoE-FL een praktische aanpak biedt voor het aanpakken van data-heterogeniteit in real-world klinische federatieve leerprocessen. Door verder te gaan dan eenvoudige feature imputatie naar adaptieve prototype-geconditioneerde synthese, biedt het framework:

• Behoud van diagnostische structuren, inclusief zeldzame pathologieën, waardoor wordt gewaarborgd dat gesynthetiseerde data de discriminatieve signalen behoudt die nodig zijn voor een betrouwbare diagnose.
• Effectieve werking zonder de onrealistische aanname van beschikbare publieke multimodale datasets.
• Succesvolle navigatie door de uitdagingen van non-IID data en variërende beschikbaarheid van modaliteiten tussen medische centra, wat een robuuste oplossing biedt voor privacy-bewuste multimodale gezondheidszorg-AI.