🤖 machine learning

FedTopo: Relation-Level Topology Sharing for Model-Heterogeneous Federated Learning

FedTopo répond au défi des espaces de représentation non alignés dans l'apprentissage fédéré hétérogène en encodant la connaissance globale sous la forme d'une topologie de classe au niveau relationnel plutôt que sous forme de caractéristiques absolues, permettant ainsi un transfert de connaissances fiable et des améliorations de performance cohérentes à travers diverses architectures de clients sans surcoût d'inférence.

Auteurs originaux : Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

Publié 2026-07-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où le smartphone, la montre connectée et le robot domestique de chacun pourraient apprendre ensemble pour devenir plus intelligents, mais sans jamais partager vos photos ou messages privés. C'est le rêve de l'Apprentissage Fédéré (Federated Learning). Au lieu de rassembler toutes vos données dans une seule base de données géante et vulnérable, l'apprentissage se déroule directement sur votre appareil. Les appareils envoient simplement de minuscules « mises à jour » sur ce qu'ils ont appris à un serveur central, qui les mélange pour créer un cerveau global plus intelligent.

Cependant, il y a un hic : tout le monde n'a pas le même matériel. Certains appareils sont des super-ordinateurs puissants, tandis que d'autres sont de minuscules puces économes en énergie. Dans l'ancien temps de l'apprentissage automatique, tout le monde devait utiliser exactement la même « architecture cérébrale » pour apprendre ensemble. Si votre téléphone avait un cerveau différent de celui de votre voisin, ils ne pouvaient pas comprendre leurs mises à jour respectives. C'est comme essayer de traduire un livre écrit en anglais vers une langue qui utilise des lettres et des règles de grammaire complètement différentes ; le sens se perd dans la traduction. Cet article s'attaque à la réalité désordonnée de ces appareils disparates tentant de collaborer.

Le Problème : Essayer de faire la moyenne de pommes et d'oranges

Les auteurs de cet article, FedTopo, ont remarqué que les méthodes existantes pour aider ces appareils disparates à apprendre ensemble essayaient de faire entrer un carré dans un trou rond. La plupart des méthodes actuelles tentent de partager des « prototypes ». Imaginez que chaque appareil prenne un instantané de ce à quoi ressemble un « chat » dans son propre espace de caractéristiques et envoie cet instantané au serveur. Le serveur essaie ensuite de faire la moyenne de tous ces instantanés pour trouver le « chat parfait ».

Mais voici le problème : parce que chaque appareil a une architecture différente (un « cerveau » différent), le mot « chat » peut ressembler à une tache floue sur un téléphone et à une forme géométrique nette sur un autre. Lorsque vous essayez de faire la moyenne d'une tache floue et d'une forme nette, vous n'obtenez pas un meilleur chat ; vous obtenez un fouillis déroutant qui induit tout le monde en erreur. L'article soutient que tenter d'aligner ces coordonnées absolues (la position exacte d'un « chat » dans un espace mathématique) est une bataille perdue d'avance lorsque les appareils sont si différents.

La Solution : Partager la Carte, pas les Coordonnées

Au lieu d'essayer de se mettre d'accord sur l'endroit où se trouve un « chat » dans l'univers, FedTopo suggère que nous partagions simplement comment les choses sont liées entre elles. Pensez-y de cette façon :

Imaginez que vous et un ami essayiez tous deux de naviguer dans une ville, mais que vous avez des cartes différentes. Votre carte dit que la bibliothèque est « au nord du parc », tandis que l'ami de votre carte dit qu'elle est « en haut de la colline ». Vous ne pouvez pas facilement fusionner vos cartes car « Nord » et « En haut » signifient des choses différentes pour chacun de vous.

Cependant, vous pouvez vous mettre d'accord sur les relations. Vous pouvez tous deux convenir que « La bibliothèque est plus proche du parc qu'elle ne l'est de l'aéroport ». C'est une relation, pas une coordonnée.

FedTopo fonctionne en demandant à chaque appareil de construire une « carte de relations » (une topologie) de ses classes. Il ne dit pas : « La classe A est à la coordonnée (5, 10) ». Il dit plutôt : « La classe A est très similaire à la classe B, mais très différente de la classe C ». Il calcule à quel point un « chat » est similaire à un « chien » par rapport à un « camion » au sein de son propre cerveau local.

Comment ça marche : Le Messager Fiable

Le processus ressemble un peu à un groupe de détectives résolvant un mystère avec des carnets de notes différents :

Travail de Détective Local : Chaque appareil examine ses propres données et détermine comment ses classes sont liées. « Hé, mes "chats" et mes "chiens" se ressemblent un peu, mais mes "chats" et mes "camions" sont totalement différents. » Il envoie cette carte de relations au serveur.
Le Filtre de Confiance : Le serveur sait que certains appareils peuvent avoir très peu d'images de « camions », donc leur opinion sur la relation entre les « camions » et les « chats » peut être incertaine. FedTopo utilise un « score de fiabilité » spécial pour pondérer les messages. Si un appareil possède beaucoup de données, sa carte de relations compte davantage. S'il possède très peu de données, le serveur ignore ses suppositions fragiles.
La Carte Globale : Le serveur combine ces cartes de relations pondérées en une seule « Carte de Relations Globale » ultra-fiable.
La Leçon : Cette carte globale est renvoyée aux appareils. Désormais, lorsqu'un appareil apprend, il ne se contente pas de regarder l'image qu'il tient ; il regarde la carte globale pour voir quelles autres classes sont « confusées par similitude ». Il s'entraîne ensuite plus intensément sur ces paires spécifiques confuses pour affiner ses compétences.

Ce qu'ils ont trouvé

Les auteurs ont testé cette idée sur trois ensembles de données différents (CIFAR-10, CIFAR-100 et Tiny-ImageNet) en utilisant huit types d'architectures de réseaux neuronaux complètement différents (allant de simples CNN à des ResNets complexes). Ils ont simulé un monde chaotique où les données étaient réparties de manière inégale (certains appareils n'avaient que des chats, d'autres uniquement des camions).

Les résultats sont clairs : FedTopo surpasse systématiquement toutes les autres méthodes.

Sur l'ensemble de données CIFAR-10, il a atteint une précision de 87,38 % dans le cadre standard inégal, battant la méthode suivante par une marge solide.
Dans le cadre encore plus difficile dit « pathologique » (où les appareils avaient très peu de classes), il a atteint 86,26 %, menant à nouveau la course.
Il a fonctionné tout aussi bien sur les ensembles de données plus larges et plus difficiles comme CIFAR-100 et Tiny-ImageNet.

Crucialement, l'article démontre que cette méthode est incroyablement efficace. Elle ne nécessite pas l'envoi de fichiers de modèles énormes de l'un à l'autre. Elle n'envoie que de minuscules tables de relations (seulement 110 paramètres à télécharger et 200 à envoyer pour un problème de 10 classes). De plus, elle n'ajoute aucun coût supplémentaire lors de l'utilisation de l'appareil (inférence), car la carte de relations n'est utilisée que pendant la phase d'entraînement pour aider l'appareil à apprendre plus vite.

L'essentiel

FedTopo prouve que lorsque les appareils sont trop différents pour s'entendre sur les « coordonnées » exactes de la connaissance, ils peuvent tout de même apprendre ensemble en s'entendant sur les « relations » entre les idées. En se concentrant sur la façon dont les classes se rapportent les unes aux autres plutôt que sur leur position dans un vide mathématique, et en filtrant les suppositions peu fiables, cette méthode permet à un groupe diversifié d'appareils de construire une intelligence collective plus intelligente et plus robuste sans avoir besoin de centraliser leurs données privées. C'est une manière plus intelligente d'apprendre ensemble, même quand tout le monde parle une langue légèrement différente.

Résumé Technique : FedTopo

Énoncé du Problème

L'apprentissage fédéré (FL - Federated Learning) permet un entraînement collaboratif à travers des silos de données décentralisés sans centraliser les données brutes. Cependant, le FL standard suppose des architectures de clients identiques, ce qui est souvent irréaliste en raison des variations de ressources computationnelles et des contraintes de déploiement. L'apprentissage fédéré hétérogène en modèles traite ce problème en permettant aux clients d'utiliser différentes architectures de backbone.

Le défi central de l'apprentissage fédéré hétérogène en modèles est le transfert de connaissances globales à travers des espaces de représentation non alignés. Les paradigmes existants partagent les connaissances via :

Partage partiel de paramètres : Nécessite des espaces de paramètres alignés et des architectures compatibles.
Distillation de connaissances : Nécessite un espace de sortie partagé ou des données publiques auxiliaires pour aligner les prédictions.
Partage de prototypes : Échange des prototypes par classe (coordonnées de caractéristiques).

Ces trois paradigmes encodent la connaissance dans un espace absolu (poids, logits ou coordonnées de caractéristiques) qui doit être aligné entre les clients. Sous des backbones hétérogènes, une même dimension de caractéristique peut encoder des facteurs sémantiques différents selon les clients. Par conséquent, la moyenne directe des prototypes ou des paramètres conduit à une connaissance globale peu fiable et induit l'entraînement local en erreur.

Méthodologie : FedTopo

Les auteurs proposent FedTopo (Federated Topology-guided Learning), un cadre qui déplace le partage de la position des coordonnées absolues vers le partage de la topologie de relation entre les classes. Au lieu de demander « où se situe une classe dans l'espace de caractéristiques ? », FedTopo demande « comment les classes sont-elles liées entre elles au sein de l'espace local d'un client ? ».

Le cadre opère en trois étapes :

1. Construction de la topologie au niveau des relations (Côté Client)

Chaque client $k$ entraîne son modèle hétérogène local sur ses données privées.

Extraction de prototypes : Le client calcule les prototypes de classe $p_{k,c}$ (représentations moyennes des caractéristiques) pour les classes présentes dans son jeu de données local.
Construction de la matrice de relation : Au lieu de télécharger les prototypes, le client calcule une matrice de relation locale $R_k \in [0, 1]^{C \times C}$ . L'entrée $R_k(c, c')$ représente la similitude cosinus entre les prototypes des classes $c$ et $c'$ , redimensionnée sur $[0, 1]$ .
Statistiques : Le client enregistre les nombres d'échantillons par classe $n_k$ pour quantifier le support statistique de ces relations.
Téléchargement : Seules la matrice de relation $R_k$ et les statistiques $n_k$ sont téléchargées. Les prototypes bruts et les coordonnées de caractéristiques restent locaux.

2. Agrégation de la topologie globale sensible à la fiabilité (Côté Serveur)

Le serveur agrège les relations locales en une topologie globale $R_g$ et une matrice de fiabilité $S_g$ .

Masquage : Un masque binaire $M_k$ exclut les paires de classes non observées sur un client spécifique.
Pondération par la fiabilité : Un poids $w_k(c, c')$ est calculé sur la base de la moyenne harmonique des nombres d'échantillons pour les deux classes. Les relations supportées par peu d'échantillons sont pondérées à la baisse.
Agrégation : La relation globale $\tilde{R}_g$ est une moyenne pondérée par la fiabilité des relations locales valides.
Matrice de fiabilité : $S_g$ suit la quantité relative de preuves supportant chaque paire de relations globales.
Lissage : Une moyenne mobile exponentielle (EMA) est appliquée à $R_g$ pour réduire les fluctuations d'un tour à l'autre.
Diffusion : Le serveur diffuse $(R_g, S_g)$ aux clients.

3. Entraînement local guidé par la topologie (Côté Client)

Les clients utilisent la topologie globale pour affiner leurs frontières de décision locales sans aligner les espaces de caractéristiques.

Sélection de l'orientation : Pour un échantillon d'entraînement avec une vérité terrain $y$ , le client sélectionne les $q$ classes négatives les plus similaires topologiquement à $y$ (basé sur $R_g$ ) et les plus fiablement supportées (basé sur $S_g$ ).
Modulation des logits : Les logits de ces classes négatives sélectionnées sont augmentés par un facteur $\gamma$ .
Fonction de perte : La perte locale combine la perte d'entropie croisée standard avec un terme auxiliaire qui pénalise le modèle s'il échoue à distinguer la vérité terrain de ces classes négatives « difficiles ».
Inférence : La topologie globale est utilisée uniquement pendant l'entraînement. Lors de l'inférence, les clients utilisent leurs modèles locaux originaux, ce qui n'entraîne aucun surcoût d'inférence.

Contributions Clés

Partage de connaissances au niveau des relations : FedTopo est le premier cadre qui partage la connaissance globale sous forme de topologie de relation entre classes plutôt que de paramètres, de logits ou de coordonnées de prototypes. Cela assouplit l'hypothèse d'alignement inter-clients à une hypothèse de cohérence intra-client.
Agrégation sensible à la fiabilité : La méthode introduit un mécanisme pour pondérer à la baisse les relations peu fiables causées par des données éparses ou un faible support, garantissant que la topologie globale est robuste aux distributions de données non-IID.
Entraînement guidé par la topologie : Un objectif d'entraînement novateur qui exploite la topologie globale pour accentuer les classes négatives confuses, améliorant la discrimination locale sans nécessiter d'alignement d'espace de caractéristiques.
Efficacité : Le cadre atteint des performances de pointe avec des coûts de communication faibles (proportionnels à $O(C^2)$ plutôt qu'à $O(C \times d)$ ) et aucun surcoût d'inférence.

Résultats Expérimentaux

Les auteurs ont évalué FedTopo sur CIFAR-10, CIFAR-100 et Tiny-ImageNet sous des configurations Dirichlet et pathologiques non-IID, en utilisant huit backbones hétérogènes (allant de CNN à ResNet-152).

Performance : FedTopo surpasse systématiquement les bases de comparaison à travers les trois paradigmes de partage de connaissances (paramètres, distillation et partage de prototypes).
- Sur CIFAR-10 (Dirichlet $\alpha=0.1$ ), FedTopo a atteint 87,38 % de précision, dépassant la meilleure base (FedSCE à 86,18 %) de 1,2 point.
- Sur CIFAR-100 (Pathologique), il a atteint 59,30 %, surpassant la meilleure base (FedMRL à 57,45 %) de 1,85 points.
Robustesse : L'écart de performance s'est creusé à mesure que l'hétérogénéité des modèles et le biais des données augmentaient, démontant que la topologie de relation est plus transférable que les coordonnées absolues.
Études d'ablation : Le retrait de n'importe quel composant (pondération de fiabilité, sélection Top-q, masquage sensible aux données manquantes ou EMA) a dégradé les performances, confirmant la nécessité de la conception complète.
Coût : FedTopo n'a nécessité que 110 paramètres à télécharger et 200 à envoyer par tour sur CIFAR-10, ce qui est nettement inférieur aux méthodes basées sur les prototypes (5 120 paramètres). Il a ajouté des FLOPs d'entraînement négligeables et zéro FLop d'inférence.

Signification et Revendications

L'article affirme que FedTopo fournit une solution plus robuste pour le FL hétérogène en modèles en changeant fondamentalement la nature de la connaissance partagée. En passant d'un alignement de coordonnées absolues (qui échoue sous des backbones hétérogènes) à une cohérence de relation relative (qui est préservée à travers différents espaces de caractéristiques), la méthode permet une collaboration efficace sans nécessiter d'architectures partagées, de données auxiliaires ou d'alignement de caractéristiques.

Les auteurs soulignent que cette approche :

Évite le problème des « prototypes globaux peu fiables » inhérent au partage de prototypes.
Opère efficacement dans des contextes sans données (aucune donnée publique auxiliaire requise).
Délivre un transfert positif même dans des contextes hautement personnalisés où les modèles locaux sont déjà performants.
Maintient de faibles surcoûts de communication et de calcul, ce qui le rend pratique pour les appareils de bord aux ressources limitées.

Le travail conclut que la topologie de niveau relation est un vecteur supérieur pour la connaissance globale dans le FL hétérogène, offrant un équilibre de transférabilité, de robustesse et d'efficacité que les paradigmes existants n'ont pas. Des travaux futurs sont suggérés pour étendre cela aux scénarios multimodaux et à l'ensemble ouvert (open-set).