Résumé Technique : ProMoE-FL

Énoncé du Problème

L'article traite du défi de l'apprentissage fédéré (FL) multimodal avec des modalités manquantes dans les contextes de soins de santé. Dans les environnements cliniques réels, les données sont fragmentées entre les institutions en raison des réglementations sur la confidentialité et de la disponibilité variable des équipements. Par conséquent, les clients participants possèdent souvent des ensembles incomplets de modalités (par exemple, certains n'ont que des radiographies, d'autres uniquement des rapports textuels, et certains possèdent les deux).

Les approches existantes pour ce problème présentent des limitations significatives :

• Les méthodes centralisées (par exemple, basées sur les prompts, génératives ou sur le dropout) sont peu pratiques pour le FL en raison des contraintes strictes de confidentialité et des exigences d'efficacité de communication.
• Dépendance aux données publiques : Les méthodes comme CAR-MFL nécessitent des ensembles de données multimodales publiques supplémentaires pour compenser les données manquantes des clients, ce qui est souvent irréaliste dans le domaine de la santé en raison des contraintes de confidentialité et des écarts de domaine.
• Imputation naïve : Les approches de remplissage par zéro (zero-filling) déforment l'espace de caractéristiques conjoint et biaisent les modèles vers les modalités les plus fréquemment observées.
• Limitations de la synthèse de caractéristiques : Les méthodes comme FeatImp synthétisent les caractéristiques uniquement à partir des modalités observées sans modéliser les informations complémentaires, tandis que les méthodes basées sur les prototypes comme PmcmFL assignent des représentations identiques à tous les échantillons au sein d'une classe, échouant ainsi à capturer la variabilité intra-classe cruciale pour les données médicales.

Méthodologie : ProMoE-FL

Les auteurs proposent ProMoE-FL (Prototype-conditioned Mixture-of-Experts for Federated Learning), un cadre conçu pour une synthèse de caractéristiques robuste avec des modalités manquantes sans dépendre de données publiques externes.

1. Banque de Prototypes Globaux Sensible au Client

Pour traiter l'hétérogénéité des clients et les décalages de distribution, le cadre construit une banque de prototypes globaux qui capture les priors de modalités cliniquement significatifs à travers les institutions.

• Construction des prototypes : Chaque client maintient des prototypes spécifiques à chaque modalité ($P^k_m$) apprenables pour chaque classe. Ceux-ci sont mis à jour localement via une perte d'alignement de prototype ($L_{proto}$) qui aligne les représentations de caractéristiques projetées avec les centroïdes de classe.
• Agrégation globale : Contra-irement à une simple moyenne, le serveur accumule les prototypes des clients pour former une banque globale ($P^{global}_m$). Cette banque sert de « prior sensible au client » dans l'espace latent, guidant la synthèse des caractéristiques pour tenir compte de la variabilité de distribution entre les clients.

2. Mélange d'Experts Conditionné par les Prototypes (MoE)

Pour les clients ayant des modalités manquantes, un Décodeur Conditionné par les Prototypes (PCD) synthétise les caractéristiques manquantes.

• Architecture : Le PCD est implémenté comme un décodeur Transformer. Il prend les caractéristiques latentes de la modalité disponible comme requête (query) et porte attention à la banque de prototypes globaux de la modalité cible (manquante) pour récupérer le contexte nécessaire.
• Mélange d'experts : Pour gérer les relations complexes et non linéaires entre des paires de modalités hétérogènes, le système emploie un Mélange d'Experts ($\Phi_{MoE}$). Celui-ci se compose de plusieurs PCD indépendants ($\phi_e$).
• Routage orienté par la direction : Un Routeur Sensible à la Modalité ($R$) calcule une distribution de porte (gating) conditionnée par le contexte de l'instance et les indices de modalité (source $i$, cible $j$). Il route dynamiquement les données vers la combinaison optimale d'experts, permettant au réseau de sélectionner de manière adaptative la meilleure stratégie de synthèse pour des scénarios spécifiques de modalités manquantes.

3. Protocole d'Entraînement Fédéré

• Entraînement Local : Les clients optimisent un objectif combiné de perte de tâche ($L_{task}$) et de perte d'alignement de prototype ($L_{proto}$).
• Reconstruction Symétrique : Les clients multimodaux entraînent le réseau de synthèse en utilisant un objectif de reconstruction symétrique, apprenant à reconstruire les caractéristiques manquantes à partir des disponibles et vice versa.
• Communication : Les clients transmettent les paramètres du modèle mis à jour, les têtes de projection et les prototypes locaux. Le serveur les agrège via FedAvg. La surcharge de communication est négligeable (~0,3 % des paramètres totaux).

Principales Contributions

1. Proposition de Cadre : Introduction de ProMoE-FL, un cadre de génération de caractéristiques conditionné par les prototypes qui permet la synthèse de modalités manquantes dans l'apprentissage fédéré multimodal sans données publiques externes.
2. Architecture Novatrice : L'intégration de l'attention de prototype sensible au client pour gérer l'hétérogénéité inter-clients et une architecture de Mélange d'Experts (MoE) pour une synthèse orientée par la direction au sein d'une paramétrisation partagée, évitant ainsi la croissance combinatoire des paramètres.
3. Validation de la Robustesse : Expérimentations approfondies démontrant une robustesse améliorée dans des contextes hétérogènes (non-IID) qui reflètent les silos de données cliniques réels, soutenues par des analyses quantitatives et qualitatives.

Résultats Expérimentaux

La méthode a été évaluée sur quatre ensembles de données de radiographies thoraciques publiques : MIMIC-CXR, NIH Open-I, PadChest et CheXpert.

• Performance : ProMoE-FL a systématiquement surpassé les autres méthodes de pointe (Zero-filling, Uniform-filling, FeatImp, PmcmFL et CAR-MFL) dans les configurations homogènes et hétérogènes.
  • En configuration homogène, il a obtenu la meilleure performance dans 6 configurations sur 9.
  • En configuration hétérogène (représentant des scénarios fédérés réalistes), il a systématiquement surpassé toutes les méthodes de base dans chaque configuration. Notamment, il a montré des gains significatifs par rapport à PmcmFL, qui a souffert de dégradation en raison de sa dépendance à des prototypes uniques par classe.
• Comparaison avec les données publiques : Même comparé à CAR-MFL (qui utilise des données publiques), ProMoE-FL a obtenu des performances compétitives, démontrant que son mécanisme de prototype interne compense efficacement l'absence de données externes.
• Analyse Qualitative :
  • t-SNE/UMAP : ProMoE-FL a démontré une intégration plus serrée entre les caractéristiques synthétisées et les caractéristiques réelles (ground-truth) avec un alignement plus précis des centroïdes de classe par rapport à FeatImp.
  • Pathologies Rares : La méthode a maintenu une séparation claire entre les centroïdes de classe pour les pathologies rares (ex: cardiomégalie, fracture, lésion pulmonaire), alors que FeatImp présentait un effondrement de mode où différentes pathologies convergeaient.
  • Utilisation des Experts : Les distributions de porte ont montré une utilisation équilibrée des experts (centrée autour de 0,5), indiquant une collaboration multi-experts stable plutôt qu'un effondrement vers un seul expert.
• Hétérogénéité Linguistique : L'étude a noté l'inclusion de rapports de radiologie en espagnol (PadChest) aux côtés de jeux de données en anglais, marquant une première dans la prise en compte de l'hétérogénéité de domaine linguistique dans ce contexte spécifique de FL.

Signification et Revendications

L'article affirme que ProMoE-FL offre une approche pratique pour traiter l'hétérogénéité des données dans le cadre de l'apprentissage fédéré multimodal clinique réel. En allant au-delà de la simple imputation de caractéristiques vers une synthèse adaptative conditionnée par les prototypes, le cadre :

• Préserve les structures diagnostiques, y compris les pathologies rares, garantissant que les données synthétisées conservent les signaux discriminants nécessaires à un diagnostic fiable.
• Opère efficacement sans l'hypothèse irréaliste de la disponibilité de jeux de données multimodaux publics.
• Navigue avec succès les défis des données non-IID et de la disponibilité variable des modalités entre les centres médicaux, offrant une solution robuste pour l'IA de santé multimodale respectueuse de la vie privée.