⚡ electrical engineering

FedProIn: Mitigating Client Drift for Learnable Prototypes in Federated Medical Imaging

$\text{FedProIn est un cadre d'apprentissage fédéré basé sur des prototypes qui atténue la dérive des clients dans l'imagerie médicale en employant des pertes de divergence de caractéristiques et de prototypes ainsi qu'une stratégie d'agrégation d'influence normalisée, atteignant une performance supérieure aux bases de référence existantes sur des ensembles de données hétérogènes.}$

Auteurs originaux : Harsh Kumar, Tarun Kumar Garg, Vaanathi Sundaresan

Publié 2026-07-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Harsh Kumar, Tarun Kumar Garg, Vaanathi Sundaresan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un groupe de médecins provenant d'hôpitaux différents essayant d'enseigner à une seule IA comment reconnaître des maladies de la peau ou des cellules sanguines. Ils ne peuvent pas partager les photos réelles de leurs patients en raison des lois sur la confidentialité (comme l'HIPAA). Au lieu de cela, ils utilisent une méthode appelée Apprentissage Fédéré (Federated Learning).

Considérez cela comme un groupe de chefs essayant de perfectionner une seule « Recette Maîtresse ». Chaque chef cuisine dans sa propre cuisine avec ses propres ingrédients locaux. Ils envoient leurs instructions sur la façon d'améliorer la recette à un chef central, qui combine leurs idées pour créer une meilleure « Recette Maîtresse » pour tout le monde.

Le Problème : La « Dérive des Clients » (Client Drift)

Dans le monde réel, chaque hôpital est différent. L'un peut utiliser un type de caméra spécifique, un autre peut voir principalement des patients âgés, et un troisième peut voir principalement des enfants. C'est ce qu'on appelle l'hétérogénéité statistique.

Parce que ces différences existent, les chefs locaux (les clients) commencent à s'éloigner de la Recette Maîtresse.

Dérive des caractéristiques (Feature Drift) : Un chef commence à décrire une « tache rouge » comme étant « cramoisie éclatante », tandis qu'un autre l'appelle « rouge écarlate profond ». Ils regardent la même chose mais la décrivent de manières totalement différentes.
Dérive des prototypes (Prototype Drift) : Les chefs commencent à mémoriser leurs propres particularités locales. Si un chef ne voit que des maladies rares, il pourrait trop se focaliser sur celles-ci, ignorant les maladies courantes.

Lorsque le chef central essaie de mélanger ces instructions contradictoires, la recette finale devient confuse, instable et moins précise. C'est ce que l'article appelle la « Dérive des Clients ».

La Solution : FedProIn

Les auteurs proposent un nouveau système appelé FedProIn (Federated Learning with Prototype aggregation with Influence). Au lieu de simplement moyenner les instructions des chefs, ils utilisent une approche plus intelligente avec trois astuces :

1. Apprendre des « Archétypes » (Prototypes Apprenables)

Au lieu de simplement moyenner les données, le système crée des Prototypes Apprenables.

L'analogie : Imagine au lieu de simplement dire « tache rouge », le système crée un ensemble de « Cartes d'Archétypes » idéalisées pour chaque maladie. Il n'y a pas seulement une carte pour le « Mélanome » ; il y en a plusieurs représentant différents types de mélanomes.
Ces cartes ne sont pas statiques ; elles sont « apprenables », ce qui signifie que l'IA peut activement ajuster ces cartes pour qu'elles soient la représentation parfaite d'une maladie, plutôt que de simplement prendre une moyenne floue de toutes les photos qu'elle a vues.

2. Le système de « Double Vérification » (Atténuation de la Dérive)

Pour empêcher les chefs de s'éloigner les uns des autres, FedProIn utilise deux « fonctions de perte » spécifiques (qui sont simplement des scores de pénalité pour les erreurs) :

Perte de Divergence de Caractéristiques (Le contrôle de la « Traduction ») : Cela force les chefs locaux à décrire les choses d'une manière qui correspond au « dictionnaire » global. Si un chef local décrit une tache comme étant « cramoisie », le système le pousse doucement à s'aligner sur la définition globale de « rouge » afin que tout le monde parle la même langue.
Perte de Contraste de Prototype (Le contrôle de la « Mémoire ») : Cela garantit que les « Cartes d'Archétypes » des chefs locaux ne deviennent pas trop bizarres ou biaisées par leur propre cuisine. Cela rapproche leurs cartes des « Cartes Maîtresses » globales et les éloigne de leurs propres versions précédentes, potentiellement biaisées.

3. Le « Vote Intelligent » (Agrégation d'Influence Normalisée)

C'est la partie la plus unique. Dans les systèmes standards, chaque chef reçoit un vote basé sur le nombre de photos qu'il possède. Mais que se passe-t-il si un chef a 1 000 photos d'une maladie courante mais zéro photo d'une maladie rare ? Son vote pourrait étouffer celui du chef qui possède réellement les photos de la maladie rare.

FedProIn introduit l'Agrégation d'Influence Normalisée (NIA).

L'analogie : Au lieu de compter les têtes, le système compte qui a réellement utilisé les Cartes d'Archétypes.
Si une « Carte de Maladie Rare » spécifique a été utilisée fréquemment par un chef particulier pour classer ses patients, ce chef obtient un vote fort pour cette carte spécifique.
Si un chef possède une carte qu'il n'a jamais réellement utilisée (peut-être parce qu'il n'a pas eu de patients avec cette condition), son vote pour cette carte est réduit au silence. Cela empêche le « bruit » d'étouffer les informations importantes et rares.

Les Résultats

Les auteurs ont testé ce système sur deux jeux de données médicaux réels :

HAM10000 : Images de lésions cutanées.
Matek-19 : Images de cellules sanguines.

Ils ont simulé un scénario où les données étaient désordonnées et inégales (Non-IID), ce qui est la réalité du terrain.

Le résultat : FedProIn a surpassé toutes les autres méthodes. Il était plus efficace pour maintenir l'exactitude de la « Recette Maîtresse » même lorsque les cuisines locales étaient très différentes.
Les chiffres : Sur le jeu de données cutanées, il a atteint une précision de 81,1 % dans ce scénario complexe et réel (comparé aux scores plus faibles des autres méthodes). Sur le jeu de données de cellules sanguines, il a atteint 95,8 %.

Résumé

En bref, FedProIn est une façon plus intelligente pour les modèles d'IA d'apprendre ensemble sans partager de données privées. Il empêche de devenir confus par les différences locales en :

Créant des « Cartes d'Archétypes » flexibles pour les maladies.
Forçant tout le monde à parler le même « langage de caractéristiques ».
Donant une voix plus forte aux chefs qui connaissent réellement les maladies rares, plutôt qu'à ceux qui ont simplement le plus de photos.

L'article conclut que cette méthode rend le modèle d'IA global beaucoup plus robuste et précis dans la réalité désordonnée et diversifiée de l'imagerie médicale.

Résumé technique : FedProIn – Atténuer la dérive des clients pour les prototypes apprenables en imagerie médicale fédérée

Énoncé du problème

L'apprentissage fédéré (FL) en imagerie médicale est considérablement entravé par l'hétérogénéité statistique découlant des variations dans les protocoles de scanner, les méthodes d'acquisition et la diversité des populations de patients à travers différents centres médicaux. Cette distribution de données non-IID (non-indépendante et identiquement distribuée) induit une dérive des clients (client drift), où les modèles locaux divergent du modèle global lors de l'optimisation. Plus précisément, des instances identiques sont projetées vers des régions distinctes de l'espace de caractéristiques par différents clients, et les représentations locales deviennent biaisées vers des caractéristiques spécifiques aux clients.

Les approches existantes présentent des limites :

La régularisation par contraintes (ex. : FedProx, MOON) peine à aligner les représentations sémantiques dans des espaces de haute dimension.
Les méthodes classiques basées sur des prototypes supposent souvent un prototype global unique par classe (via des vecteurs de caractéristiques moyens), ce qui est inadéquat pour les données médicales hétérogènes.
Les méthodes à prototypes multiples introduisent souvent une complexité computationnelle élevée ou reposent sur des représentations unimodales qui ne parviennent pas à optimiser efficacement les frontières de décision.

Méthodologie : FedProIn

Les auteurs proposent FedProIn (Federated Learning with Prototype aggregation with Influence), un cadre qui utilise des Prototypes Apprenables (LPs) comme paramètres optimisables du modèle plutôt que comme des vecteurs de moyenne statiques. Le modèle global se compose d'un encodeur de caractéristiques $f_\theta$ et d'un ensemble de prototypes $P \in \mathbb{R}^{C \times M \times d}$ , où $M$ est le nombre de prototypes par classe.

1. Décomposition de la dérive des clients

FedProIn traite explicitement la dérive des clients en la décomposant en deux composantes et en appliquant des pertes de régularisation spécifiques :

Dérive des caractéristiques (Feature Drift) : Traitée via une Perte de Divergence de Caractéristiques (FDL). Les clients maintiennent une copie figée de l'extracteur de caractéristiques global ( $\theta^{t-1}$ ). L'encodeur local est régularisé pour minimiser l'erreur quadratique moyenne entre les plongements de caractéristiques locaux et les caractéristiques globales de référence, assurant ainsi un alignement sémantique.
Dérive des prototypes (Prototype Drift) : Traitée via une Perte de Contraste de Prototypes (PCL). Cette perte attire les prototypes locaux mis à jour vers les prototypes globaux actuels tout en les éloignant de leurs états locaux précédents. Cela empêche les prototypes de devenir excessivement biaisés par les changements de données locales.

L'objectif local total combine la perte de classification primaire ( $\ell_{Task}$ ) avec ces termes de régularisation :
$\ell_{Total} = \ell_{Task} + \lambda_{FDL}\ell_{FDL} + \lambda_{PCL}\ell_{PCL}$

Pour gérer le déséquilibre des classes dans les jeux de données médicaux à longue traîne, la méthode emploie un échantillonnage équilibré par classe et une augmentation adaptative pour garantir que les sous-types de maladies rares soient adéquatement représentés lors des mises à jour des prototypes.

2. Agrégation d'Influence Normalisée (NIA)

L'agrégation standard (ex. : FedAvg) est insuffisante pour les prototypes multiples car elle pondère les mises à jour uniquement par la taille de l'ensemble de données, ignorant l'utilisation des prototypes. Cela peut amplifier le bruit provenant de prototypes sous-utilisés ou supprimer les représentations spécialisées pour les cas rares.

FedProIn introduit l'Agrégation d'Influence Normalisée (NIA) :

Matrice d'Influence ( $I_i$ ) : Pendant l'entraînement local, chaque client suit un score d'influence pour chaque prototype, comptant combien de fois un prototype spécifique a servi de plus proche voisin pour les échantillons locaux.
Agrégation : Les prototypes globaux sont agrégés en les pondérant proportionnellement à leurs scores d'utilisation ( $I_{k,c}^i$ ) plutôt qu'en fonction de la taille du jeu de données du client. Cela réduit le poids des mises à jour bruitées des prototypes inutilisés et préserve les prototypes spécialisés pertinents pour des sous-ensembles de clients spécifiques.

Principales contributions

Formulation de Prototypes Apprenables : Adoption des prototypes en tant que paramètres optimisables (conjointement avec l'extracteur de caractéristiques) plutôt que comme des vecteurs de moyenne statiques afin de maximiser les marges de séparation des classes.
Stratégie de Double Régularisation : Atténuation explicite de la dérive des clients en la décomposant en dérives de caractéristiques et de prototypes, traitées respectivement par FDL et PCL.
Agrégation d'Influence Normalisée (NIA) : Un nouveau mécanisme d'agrégation qui pondère de manière adaptative les prototypes des clients en fonction de leur utilité locale, répondant aux problèmes d'hétérogénéité d'utilisation et de faible activation dans les contextes de multi-prototypes.
Validation Empirique : Évaluation complète sur des jeux de données d'imagerie médicale publics démontrant une robustesse face à l'hétérogénéité statistique.

Résultats expérimentaux

Le cadre a été évalué sur deux jeux de données d'imagerie médicale à longue traîne : HAM10000 (images dermatoscopiques) et Matek-19 (images de cellules sanguales périphériques). Les expériences ont été menées sous des configurations IID et Non-IID (Dirichlet $\alpha=0.5$ ) avec $K=10$ clients.

Points forts des performances :

HAM10000 : FedProIn a atteint 83,5 % de précision (IID) et 81,1 % de précision (Non-IID), surpassant toutes les lignes de base, y compris FedAvg, FedProx, MOON et d'autres méthodes basées sur les prototypes (FedProto, FedTGP, FedPLVM).
Matek-19 : FedProIn a atteint 96,2 % de précision (IID) et 95,8 % de précision (Non-IID).
Robustesse : Sous des conditions Non-IID, les méthodes de prototypes existantes ont subi des chutes de performance significatives (par exemple, une perte de précision de 6 à 7 % sur HAM10000), tandis que FedProIn a limité les pertes relatives à seulement 2,4 % et 0,4 % sur HAM10000 et Matek-19, respectivement.
Étude d'ablation : Les résultats ont confirmé que FDL et PCL sont tous deux nécessaires pour une performance optimale. La suppression de FDL a provoqué la chute de performance la plus brutale, indiquant que la dérive des caractéristiques est le mode de défaillance dominant. Le modèle complet surpasse nettement les variantes à composante unique et le cas dégénéré (équivalent à FedAvg).

Signification et affirmations

L'article affirme que FedProIn atténue efficacement la dérive des clients en imagerie médicale fédérée en exploitant des prototypes apprenables et une agrégation sensible à l'influence. Les auteurs soutiennent que leur approche :

Atteint une généralisation supérieure par rapport aux bases de comparaison de FL existantes et aux méthodes personnalisées, particulièrement dans les environnements hautement hétérogènes (Non-IID).
Répond avec succès aux limites des hypothèses de prototype unique et de l'agrégation non pondérée dans les contextes de multi-prototypes.
Fournit une solution robuste pour l'imagerie médicale où l'hétérogénéité des données et le déséquilibre des classes sont prévalents.

Les auteurs notent que les travaux futurs exploreront l'adaptation de FedProIn pour le FL personnalisé (en supprimant la dépendance au modèle global) et l'extension du cadre aux contextes de FL hétérogènes avec des architectures de modèles diverses. Le code est mis à disposition pour soutenir la reproductibilité.