🤖 machine learning

Closing the Alignment-Maturity Gap in Federated Prototype Learning

Cet article introduit FedSAP, un cadre d'apprentissage fédéré qui traite l'écart d'alignement-maturité des méthodes basées sur les prototypes en combinant un curriculum d'alignement déterministe avec une perte de séparation de proxy pilotée par la géométrie afin de stabiliser l'apprentissage de représentations et d'améliorer significativement les performances dans des conditions de données hétérogènes sans ajouter de surcharge de communication.

Auteurs originaux : Mario Casado-Diez, Alejandro Dopico-Castro, Verónica Bolón-Canedo, Bertha Guijarro-Berdiñas

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mario Casado-Diez, Alejandro Dopico-Castro, Verónica Bolón-Canedo, Bertha Guijarro-Berdiñas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un groupe d'étudiants (les « clients ») essayant d'apprendre à reconnaître différents animaux, mais ils sont tous dans des salles de classe séparées et ne peuvent pas partager leurs cahiers ni voir le travail des autres. Ils ne peuvent envoyer qu'une seule petite note de synthèse au professeur (le « serveur » de temps en temps. C'est le monde de l'Apprentissage Fédéré (Federated Learning).

Le problème est que chaque étudiant possède un ensemble de photos très différent. Un étudiant n'a que des photos de chats et de chiens ; un autre n'a que des oiseaux et des poissons. S'ils essaient d'apprendre ensemble trop rapidement, ils s'embrouillent.

Le Problème : La « Précipitation du Jugement »

Dans les méthodes précédentes, le professeur essayait immédiatement de forcer tous les étudiants à se mettre d'accord sur ce qu'est un « chat », et ce, dès le premier jour de classe.

L'article appelle cela l'« Écart d'Alignement-Maturité ». Voici l'analogie :

L'Étudiant Immature : Au début de l'année, la compréhension qu'a un étudiant d'un chat est confuse et vague. Il pourrait penser qu'un chat est simplement « une chose poilue ».
La Synthèse Bruyante : Lorsque cet étudiant envoie son idée confuse au professeur, le professeur la combine avec les idées confuses d'autres étudiants pour créer une « Définition Globale du Chat ».
La Cocotte-Minute : Le professeur crie alors immédiatement : « Vous devez changer votre dessin pour qu'il corresponde à cette Définition Globale du Chat ! »
Le Résultat : Comme le dessin de l'étudiant était déjà fragile, cette correction soudaine et forcée ne l'aide pas à apprendre. Au lieu de cela, elle brouille son cerveau, lui faisant oublier comment dessiner un chat complètement. Il finit avec un dessin confus et informe qui ne ressemble à rien.

L'article soutient que forcer les étudiants à s'aligner sur le groupe avant qu'ils n'aient appris les bases est contre-productif. Cela crée une « pression de gradient » trop forte et trop précoce, qui détruit le processus d'apprentissage local.

La Solution : FedSAP (Le Professeur Patient)

Les auteurs proposent un nouveau cadre appelé FedSAP. Voyez cela comme un professeur qui utilise un « Curriculum Patient » et une « Carte Intelligente » plutôt que de simplement donner des ordres en criant.

1. Le Programme de « Mise en Jambes » (Alignement Progressif)

Au lieu de forcer l'accord dès le premier jour, FedSAP agit comme un entraîneur patient :

Premiers Tours : Pendant les premières semaines, le professeur dit aux étudiants : « Concentrez-vous simplement sur l'apprentissage de vos propres animaux. Ne vous souciez pas encore de correspondre au groupe. » Cela permet aux étudiants de construire une compréhension solide et claire des chats, des chiens, etc., par eux-mêmes.
Introduction Graduelle : Lentement, au fil du temps, le professeur commence à leur demander de comparer leurs dessins avec ceux du groupe.
Alignement Complet : Une fois que les étudiants sont confiants dans leurs propres compétences, le professeur dit : « D'accord, maintenant, mettons-nous tous d'accord sur la norme. »
Pourquoi ça marche : Au moment où la pression pour « s'aligner » arrive, les dessins des étudiants sont déjà bons. L'accord du groupe aide à les affiner, plutôt qu'à les détruire.

2. La « Carte Intelligente » (Séparation par Proxy Géométrique)

Habituellement, pour éviter que différents animaux (chats vs chiens) ne se mélangent, il faut un ensemble spécial de « cartes de référence » (paramètres apprenables) qui prennent de la place supplémentaire et nécessitent plus de communication.

FedSAP est astucieux : il dit : « Nous n'avons pas besoin de nouvelles cartes ! »

Le professeur envoie déjà aux étudiants la « Définition Globale du Chat » (le prototype).
FedSAP utilise ces définitions existantes comme « cartes de référence ».
Il crée une règle sur une « carte mentale » (une hypersphère) : « Si vous dessinez un chat, déplacez votre dessin vers la Définition du Chat. Si vous dessinez un chien, poussez votre dessin loin de la Définition du Chat. »
Le Bénéfice : Cela permet de garder les différents groupes d'animaux bien séparés sur la carte sans nécessiter de communication supplémentaire ou de nouveaux outils complexes. Il utilise simplement les outils dont ils disposent déjà.

Le Bonus : Apprendre Sans Étiquettes

L'article montre également que cette méthode fonctionne bien même lorsque certains étudiants possèdent des photos sans noms (données non étiquetées).

Une fois que les étudiants ont appris les bases (pendant la phase de « mise en jambes »), ils peuvent regarder une nouvelle photo sans étiquette et deviner : « Cela ressemble le plus à la Définition du Chat. »
Parce que le professeur a attendu que les étudiants soient prêts avant d'introduire les règles du groupe, ces suppositions sont beaucoup plus précises. Le système peut alors utiliser ces suppositions pour apprendre encore plus, sans avoir besoin qu'un humain étiquette chaque image.

L'Essentiel

L'article a testé cette méthode sur trois « salles de classe » (jeux de données) présentant des niveaux de confusion (hétérogénéité) variables.

Le Résultat : FedSAP a systématiquement surpassé les anciennes méthodes.
Le Gain : Il a amélioré la précision de près de 4 points de pourcentage.
La Grande Victoire : L'amélioration a été la plus importante lorsque les salles de classe étaient les plus différentes les unes des autres (conditions non-IID sévères).

En résumé, FedSAP corrige le problème de la « précipitation vers le consensus » en apprenant d'abord aux étudiants à compter sur eux-mêmes, puis en les guidant doucement pour qu'ils marchent ensemble. Cela crée une carte mentale du monde plus propre et mieux organisée sans avoir besoin d'envoyer plus de données en retour.

Résumé Technique : Combler l'écart d'alignement-maturité dans l'apprentissage de prototypes fédérés

Énoncé du problème
L'apprentissage fédéré (FL) est confronté à un défi fondamental : l'apprentissage de représentations visuelles discriminantes à partir de données distribuées et hétérogènes. Bien que les méthodes basées sur les prototypes (par exemple, FedProto, FedNH) traitent l'hétérogénéité statistique en partageant des représentations au niveau des classes (prototypes) plutôt que les poids complets du modèle, elles introduisent une instabilité critique appelée écart d'alignement-maturité (alignment-maturity gap).

Dans l'apprentissage fédéré basé sur les prototypes existant, les prototypes globaux sont agrégés à partir des plongements (embeddings) locaux des clients et utilisés comme ancres sémantiques dès la première ronde d'entraînement. Cependant, lors des premières étapes de l'entraînement, les extracteurs de caractéristiques locaux n'ont pas encore appris de structures discriminantes, ce qui produit des représentations locales bruitées et non raffinées. Par conséquent, les prototypes globaux agrégés sont peu fiables. Lorsqu'un poids d'alignement statique est appliqué immédiatement, la grande distance euclidienne entre les plongements locaux immatures et ces prototypes globaux bruités génère des gradients d'alignement massifs. Ces gradients dominent le signal de l'entropie croisée, supprimant l'émergence de la structure discriminante locale et déstabilisant l'optimisation, particulièrement sous des conditions non-IID sévères.

Méthodologie : FedSAP
Les auteurs proposent FedSAP (Federated Scheduled and Adaptive Prototypes), un cadre conçu pour stabiliser l'apprentissage de représentations fédérées en découplant le moment de l'alignement global de la force de la séparation inter-classes. FedSAP fonctionne sans modifier le protocole de communication sous-jacent ni introduire de paramètres apprenables supplémentaires. Il repose sur deux mécanismes complémentaires :

Curriculum d'alignement déterministe :
Au lieu d'appliquer une pression d'alignement complète dès le début, FedSAP utilise un programme de chauffe linéaire (linear warm-up schedule) pour le poids d'alignement des prototypes ( $\lambda_t$ ).
- Mécanisme : Le poids augmente linéairement de 0 à une valeur maximale $M$ sur un nombre fixe de rondes ( $t_w$ ).
- Effet : Cela retarde l'introduction de la pression d'alignement globale, permettant aux représentations locales de se consolider et de former des structures discriminantes avant d'être attirées vers un consensus global. Le programme est déterministe, ne nécessitant aucun signal auxiliaire ou surcoût de communication par ronde.
Perte de séparation par proxy pilotée par la géométrie :
Pour imposer une structure inter-classes sans ajouter de paramètres, FedSAP réutilise la banque de prototypes globaux existante comme une « banque de proxys » partagée.
- Mécanisme : Les plongements locaux et les prototypes globaux sont projetés sur une hypersphère unité. Une fonction de coût de type cosine-softmax est appliquée, attirant les représentations vers leur prototype de classe cible tout en les repoussant des prototypes de classes non cibles.
- Effet : Cela impose des clusters de classes compacts et bien séparés sur l'hypersphère. En utilisant les prototypes distribués par le serveur comme proxys, la méthode évite la complexité et les coûts de communication associés à la maintenance de paramètres de proxy apprenables distincts (comme on le voit dans des méthodes telles que ProxyNCA ou ProxyAnchor).

Extension à l'apprentissage semi-supervisé
L'article démontre que FedSAP s'étend naturellement aux contextes d'apprentissage fédéré semi-supervisé (SSFL). En établissant un espace de plongement stable lors d'une phase supervisée initiale, le cadre permet un étiquetage pseudo-automatique fiable des données non étiquetées lors d'une phase ultérieure. Les échantillons non étiquetés reçoivent des pseudo-étiquettes basées sur la distance du plus proche voisin par rapport à la banque de prototypes globaux, avec des seuils de confiance calibrés automatiquement à partir de la phase supervisée pour atténuer le biais de confirmation.

Contributions clés

Identification de l'écart : Les auteurs identifient et motivent explicitement l'« écart d'alignement-maturité », où l'alignement global prématuré sur des représentations immatures supprime l'apprentissage local.
Cadre FedSAP : La proposition d'un cadre qui résout cet écart grâce à un curriculum d'alignement progressif et une perte de séparation par proxy pilotée par la géométrie appliquée à la banque de prototypes existante.
Performance et généralité : La validation empirique montre que FedSAP atteint des plongements bien séparés avec le même coût de communication que FedProto, avec des gains de performance significatifs. Le cadre montre qu'il s'étend naturellement aux contextes semi-supervisés, soulignant la généralité de l'alignement programmé en tant que principe de conception.

Résultats expérimentaux
FedSAP a été évalué sur trois benchmarks (FEMNIST, CIFAR-10, CIFAR-100) sous différents degrés d'hétérogénéité statistique.

Performance : Le cadre a obtenu des gains allant jusqu'à 4 points de pourcentage par rapport aux bases de référence basées sur les prototypes (FedProto, FedMPS) et à la base de référence d'agrégation de paramètres (FedAvg).
Hétérogénéité : Les améliorations ont été les plus marquées dans les conditions non-IID sévères, là où l'instabilité des prototypes des premières rondes est la plus grave.
Ablation : Les résultats confirment que le programme d'alignement progressif et la perte de séparation par proxy sont critiques pour stabiliser l'espace de plongement sans augmenter le coût de communication.

Signification et affirmations
L'article affirme que FedSAP répond à une limitation spécifique, jusqu'alors non traitée, de l'apprentissage fédéré basé sur les prototypes : le décalage temporel entre la fiabilité des ancres globales et la maturité des représentations locales. En traitant l'apprentissage de prototypes fédérés fondamentalement comme un problème d'apprentissage de représentations, FedSAP produit une trajectoire d'apprentissage qui est stable dans les premières rondes et de plus en plus discriminante dans les rondes ultérieures. Les auteurs positionnent le principe d'« alignement programmé » non pas simplement comme une stratégie de réglage pour un protocole spécifique, mais comme un principe de conception général applicable à la fois aux environnements fédérés entièrement supervisés et semi-supervisés.