FedDAG: Clustered Federated Learning via Global Data and Gradient Integration for Heterogeneous Environments

FedDAG est un cadre d'apprentissage fédéré clusterisé qui améliore les performances dans les environnements hétérogènes en intégrant à la fois les données et les gradients pour une mesure de similarité plus complète, tout en permettant le transfert de caractéristiques entre clusters grâce à une architecture à double encodeur.

L'essentiel

Imaginez que vous organisez un grand concours de cuisine à travers le monde, mais avec une règle stricte : aucun participant ne peut quitter sa maison ni montrer ses ingrédients. Chaque cuisinier (le "client") doit apprendre à cuisiner un plat délicieux en utilisant uniquement ses propres ingrédients, tout en échangeant des conseils avec les autres sans jamais révéler ce qu'il a dans son frigo. C'est le principe du Federated Learning (Apprentissage Fédéré).

Le problème ? Les ingrédients de chacun sont très différents. Certains ont beaucoup de tomates, d'autres beaucoup de champignons, et certains ont des recettes totalement différentes pour le même plat. Si on essaie de créer un seul "chef global" pour tout le monde, le résultat sera médiocre car il ne pourra pas satisfaire tout le monde.

C'est ici qu'intervient FEDDAG, une nouvelle méthode intelligente pour organiser ce concours. Voici comment elle fonctionne, expliquée simplement :

1. Le Problème : Comment regrouper les bons amis ?

Avant FEDDAG, les organisateurs essayaient de regrouper les cuisiniers de deux façons, mais c'était imparfait :

• Méthode A (Les ingrédients) : On regardait juste la liste des ingrédients. Problème : Deux cuisiniers peuvent avoir les mêmes ingrédients mais des styles de cuisine opposés (l'un fait de la pizza, l'autre du risotto).
• Méthode B (Les gestes) : On regardait comment ils bougeaient leurs mains (leurs "gradients"). Problème : Parfois, les gestes ressemblent par hasard, mais les ingrédients sont totalement différents.

De plus, une fois regroupés, les cuisiniers d'un groupe ne pouvaient pas apprendre des autres groupes. C'était comme si les experts en pizza ne pouvaient jamais apprendre des experts en sushi, même si un peu de technique de sushi pourrait améliorer leur pizza.

2. La Solution FEDDAG : Le Détective à Double Vue

FEDDAG est comme un détective très astucieux qui utilise deux lunettes pour voir la réalité :

1. La lunette des Ingrédients (Données) : Il regarde ce que les gens ont dans leur frigo.
2. La lunette des Gestes (Gradients) : Il regarde comment ils s'entraînent.

Au lieu de choisir l'une ou l'autre, FEDDAG mélange les deux. Il donne un poids à chaque vue selon la situation. Si les ingrédients sont très différents mais que les gestes sont similaires, il ajuste la balance. Cela lui permet de former des groupes (clusters) beaucoup plus précis, où les cuisiniers se ressemblent vraiment, tant par leurs ingrédients que par leur style.

3. L'Innovation Magique : Le "Double Chef" (Dual-Encoder)

C'est la partie la plus brillante. Dans les anciennes méthodes, un groupe de cuisiniers avait un seul chef. Avec FEDDAG, chaque groupe a deux chefs :

• Le Chef Principal : Il est spécialisé dans les ingrédients locaux de son groupe. Il sait faire la meilleure pizza italienne pour les Italiens.
• Le Chef Secondaire (Le Voyageur) : Celui-ci est spécial. Il va apprendre des techniques des autres groupes (par exemple, des Japonais) pour enrichir les connaissances du groupe principal, sans que le groupe principal ait à changer ses ingrédients.

L'analogie du "Chef Voyageur" :
Imaginez que votre groupe de cuisiniers italiens envoie un apprenti (le Chef Secondaire) chez les Japonais. L'apprenti apprend la technique de découpe précise des sushis. Il revient ensuite dans son groupe italien et dit : "Hé, si on découpe nos tomates un peu plus finement comme ils le font pour le sashimi, notre sauce sera encore plus fine !".
Résultat : Votre groupe garde son identité italienne (Chef Principal), mais il devient meilleur grâce à une touche de savoir extérieur (Chef Secondaire).

4. L'Organisation Autonome

FEDDAG est aussi très autonome. Il n'a pas besoin que quelqu'un lui dise : "Il y a exactement 5 groupes de cuisiniers".
Il utilise une sorte de boussole intelligente pour décider seul du nombre idéal de groupes. S'il y a trop de petits groupes inutiles, il les fusionne. S'il y a un gros groupe trop mélangé, il le divise. Il s'adapte dynamiquement à la situation, comme un chef d'orchestre qui ajuste les pupitres en temps réel pour que la musique soit parfaite.

En Résumé

FEDDAG est une méthode révolutionnaire pour apprendre ensemble sans partager ses données :

• Il regroupe intelligemment les gens en regardant à la fois ce qu'ils ont et comment ils agissent.
• Il permet aux groupes de s'entraider sans perdre leur identité, grâce à un système de "deux chefs".
• Il s'adapte tout seul au nombre de groupes nécessaires.

C'est comme si, au lieu de forcer tout le monde à manger la même soupe, on créait des tables de famille où chacun cuisine son plat préféré, mais où les voisins partagent leurs astuces secrètes pour rendre le repas encore plus délicieux, le tout sans jamais se montrer les uns les autres.

Résumé technique

1. Problématique

L'apprentissage fédéré (FL) permet d'entraîner des modèles collaborativement sans partager les données brutes. Cependant, sa performance se dégrade considérablement dans des environnements hétérogènes où les données des clients sont non-IID (non indépendamment et identiquement distribuées). Les types d'hétérogénéité incluent :

• Déséquilibre des étiquettes (Label Skew) : Distribution différente des classes entre les clients.
• Déséquilibre des caractéristiques (Feature Skew) : Variations dans la représentation des données (ex: styles d'écriture différents).
• Décalage de concept (Concept Shift) : Même étiquette associée à des données fondamentalement différentes selon le client.
• Décalage de quantité (Quantity Shift) : Clients avec des volumes de données très différents.

Les approches existantes de FL Clusterisé tentent de regrouper les clients similaires pour entraîner des modèles par cluster. Cependant, elles souffrent de limitations majeures :

1. Méthodes de similarité incomplètes : Elles reposent soit uniquement sur les données, soit uniquement sur les gradients, ce qui conduit à une évaluation imparfaite de la similarité, surtout en présence de décalage de concept.
2. Partage de connaissances restreint : Les modèles ne partagent des connaissances qu'au sein d'un même cluster, empêchant l'apprentissage de représentations latentes utiles provenant d'autres clusters.
3. Manque d'adaptabilité : Le nombre de clusters est souvent prédéfini ou ne s'adapte pas dynamiquement aux nouveaux clients ou aux changements de distribution.

2. Méthodologie : FEDDAG

FEDDAG (Clustered Federated Learning via global DatA and Gradient integration) propose un cadre innovant pour surmonter ces limites.

A. Métrique de Similarité Hybride et Pondérée

FEDDAG fusionne les informations de données et de gradients pour une matrice de similarité plus robuste :

• Similarité basée sur les gradients : Les clients effectuent un entraînement local léger (2 rounds) pour converger partiellement, puis envoient des gradients k-creusés (k-sparse) au serveur pour réduire la communication.
• Similarité basée sur les données (Class-Wise) : Contrairement aux méthodes précédentes qui comparent des sous-espaces de données entiers, FEDDAG effectue des comparaisons par classe. Il utilise la décomposition en valeurs singulières tronquée (SVD) pour extraire des vecteurs principaux par classe.
• Pondération et Fusion :
  • Une pondération est appliquée aux similarités par classe pour gérer le décalage de quantité (clients avec peu de données pour une classe donnée).
  • Un vecteur de poids appris (via une perte d'entropie) fusionne dynamiquement la matrice de similarité des données et celle des gradients, permettant au système de décider quelle source d'information est la plus fiable pour chaque client.

B. Clustering Adaptatif

Le serveur utilise un clustering hiérarchique agglomératif avec un seuil de fusion variable ($\alpha$).

• Métrique Fédérée-Aware : Une nouvelle fonction de perte évalue la qualité du clustering en pénalisant à la fois les clusters lâches (perte de compacité) et le sur-fragmentation (clusters trop petits avec peu de clients).
• Détermination Automatique : Le système sélectionne automatiquement le nombre optimal de clusters sans paramètre prédéfini.

C. Architecture à Double Encodeur et Partage de Représentation Globale (GRS)

Pour permettre le transfert de connaissances entre clusters tout en préservant la spécialisation locale, FEDDAG introduit une architecture à deux encodeurs pour chaque modèle de cluster :

1. Encodeur Principal : Optimisé sur les données locales du cluster (spécialisation).
2. Encodeur Secondaire : Raffiné en utilisant les gradients provenant de clusters complémentaires.

• Graphique de Complémentarité (CC-Graph) : Un graphe dirigé est construit pour identifier quels clusters manquent de certaines classes (demande) et quels clusters en possèdent en abondance (offre). Ce graphe guide l'entraînement de l'encodeur secondaire sur les données des clusters sources, permettant un partage de caractéristiques ciblé et non bruyant.

3. Contributions Clés

1. Algorithme FEDDAG : Un algorithme de FL clusterisé qui combine données et gradients via une métrique de similarité pondérée par classe, gérant simultanément les quatre types d'hétérogénéité (étiquettes, caractéristiques, concept, quantité).
2. Partage de Représentation Inter-Cluster : Une architecture à double encodeur qui permet le transfert de caractéristiques complémentaires entre clusters sans diluer la spécialisation locale.
3. Clustering Adaptatif : Une métrique d'évaluation nouvelle qui détermine automatiquement le nombre optimal de clusters et évite le sur-fragmentation.
4. Évaluation Complexe : Validation sur des benchmarks diversifiés (CIFAR-10, FMNIST, SVHN, CIFAR-100, Google Landmarks) couvrant des scénarios de décalage de concept et de distribution complexes.

4. Résultats Expérimentaux

Les expériences montrent que FEDDAG surpasse systématiquement les méthodes de l'état de l'art (FedAvg, IFCA, PACFL, FedSoft, FedRC, etc.) :

• Précision : Sur CIFAR-10 avec un déséquilibre d'étiquettes de 20% et un décalage de quantité, FEDDAG atteint 94.53% (contre 90.45% pour PACFL et 89.68% pour IFCA). Sur FMNIST, il atteint 96.82%.
• Robustesse au Décalage de Concept : FEDDAG démontre une supériorité marquée dans les scénarios de décalage de concept (Data Distribution II), où les méthodes basées uniquement sur les gradients ou les étiquettes échouent souvent.
• Efficacité du Partage Inter-Cluster : L'ablation montre que la version complète (avec double encodeur et partage) surpasse la version à encodeur unique, confirmant que les gains proviennent d'un enrichissement réel des caractéristiques et non d'une simple augmentation de la taille du modèle.
• Évolutivité : Sur le jeu de données Google Landmarks (1000 clients), FEDDAG obtient 58.23% de précision, surpassant tous les autres baselines.
• Généralisation aux Nouveaux Clients : Le mécanisme d'intégration des nouveaux clients permet une adaptation rapide sans réinitialisation complète du système.

5. Signification et Impact

FEDDAG représente une avancée significative dans le domaine de l'apprentissage fédéré hétérogène.

• Holisme : C'est, à la connaissance des auteurs, la première méthode à traiter simultanément tous les types de biais de données (skew) dans un cadre clusterisé.
• Efficacité : En évitant l'évaluation de multiples modèles globaux à chaque round (contrairement à IFCA/CFL) et en utilisant des gradients compressés, FEDDAG réduit la surcharge de communication et de calcul.
• Adaptabilité : La capacité à déterminer dynamiquement le nombre de clusters et à intégrer de nouveaux clients rend le système viable pour des déploiements réels et évolutifs.
• Qualité des Représentations : L'approche de partage de représentations via le CC-Graph offre une solution élégante au compromis entre personnalisation locale et généralisation globale, évitant le "bruit" des clusters non pertinents.

En résumé, FEDDAG propose un cadre robuste et adaptatif pour l'apprentissage fédéré dans des environnements réels complexes, dépassant les limitations des approches clusterisées traditionnelles grâce à une intégration intelligente des données, des gradients et des mécanismes de partage de connaissances inter-clusters.