🤖 machine learning

Class-Grouped Normalized Momentum and Faster Hyperparameter Exploration to Tackle Class Imbalance in Federated Learning

Ce document présente FedCGNM, un nouvel optimiseur côté client qui utilise un moment normalisé par groupe de classes pour remédier au déséquilibre des gradients dans l'apprentissage fédéré, ainsi que FedHOO, un algorithme de bandit à X bras efficace pour optimiser les taux de rééchantillonnage, tous deux démontrant des performances supérieures sur les ensembles de données à longue traîne par rapport aux bases de référence existantes.

Auteurs originaux : Haemin Park, Diego Klabjan, Martin W. Braun, Xiuqi Li, Balakrishnan Ananthanarayanan

Publié 2026-07-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haemin Park, Diego Klabjan, Martin W. Braun, Xiuqi Li, Balakrishnan Ananthanarayanan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un groupe d'élèves (appelés « clients ») à reconnaître différents types d'objets, mais il y a un gros problème : certains objets sont très courants (comme les « chiens »), tandis que d'autres sont extrêmement rares (comme les « chihuahuas à trois pattes »). Dans le monde de l'apprentissage automatique, c'est ce qu'on appelle un déséquilibre de classes (class imbalance).

Dans une salle de classe normale, l'enseignant peut voir le travail de tous les élèves en même temps et ajuster le plan de cours. Mais dans l'Apprentissage Fédéré (Federated Learning), les élèves sont dans des pièces différentes et l'enseignant (le « serveur ») ne peut pas voir leurs données privées ni leurs erreurs spécifiques. Il ne reçoit que le résumé de ce que chaque élève a appris. Comme les objets rares apparaissent très rarement dans la pièce de chaque élève, l'enseignant finit par les ignorer, et les élèves deviennent très mauvais pour les reconnaître.

Cet article propose deux nouveaux outils pour corriger cela : le FedCGNM (une façon plus intelligente pour les élèves d'apprendre) et le FedHOO (une façon plus intelligente pour l'enseignant d'assigner les devoirs).

1. Le problème des méthodes actuelles

Habituellement, lorsqu'un élève voit un objet rare, il reçoit un signal très faible et bruyant sur la façon de corriger son erreur. Si l'enseignant essaie de corriger cela en criant simplement « Faites attention aux objets rares ! » (une technique appelée repondération ou reweighting), cela se retourne souvent contre lui. Le signal est si bruyant que l'élève s'embrouille et commence à faire des suppositions sauvages.

Une autre méthode tente de traiter chaque type d'objet de manière égale en donnant le même volume à la « leçon » de chaque objet. Mais si vous avez 100 types d'objets et que vous criez 100 leçons différentes au même volume, le bruit s'accumule et l'élève est toujours submergé.

2. La solution : FedCGNM (La stratégie du « Capitaine de Groupe »)

Les auteurs proposent une nouvelle façon pour les élèves de traiter leurs leçons, appelée FedCGNM.

Le regroupement des classes : Au lieu de traiter chaque type d'objet comme une leçon séparée, les élèves regroupent les objets similaires. Imaginez trier 100 types d'animaux en seulement deux groupes : « Animaux Communs » (chiens, chats) et « Animaux Rares » (chihuahuas à trois pattes, tigres albinos).
Le « Capitaine de l'Élan » : Pour chaque groupe, l'élève conserve un « élan » (momentum) de capitaine. Pensez à l'élan comme à un chariot de courses lourd. Si vous le poussez un peu, il continue de rouler. Si l'élève voit un animal rare, le « Capitaine des Animaux Rares » ne réagit pas seulement à cet exemple précis ; il se souvient de la tendance de tous les animaux rares vus jusqu'à présent. Cela lisse le bruit.
L'égalisation du volume : Le système force le « Capitaine Commun » et le « Capitaine Rare » à parler exactement au même volume (longueur unitaire). Cela garantit que les animaux rares reçoivent autant d'attention que les communs, sans que le bruit des animaux rares n'étouffe le signal.
Le résultat : L'élève apprend à mieux reconnaître les objets rares sans être confondu par le bruit.

3. La solution : FedHOO (Le chercheur de « Devoirs Intelligents »)

Même avec une meilleure méthode d'apprentissage, l'enseignant doit savoir combien d'entraînement supplémentaire il doit donner aux élèves. Les élèves doivent-ils regarder les animaux rares 10 % du temps ou 50 % du temps ? Trouver le chiffre parfait, c'est comme chercher une aiguille dans une botte de foin, surtout quand vous avez beaucoup d'élèves avec des besoins différents.

Habituellement, les enseignants devraient tester toutes les combinaisons possibles de devoirs, ce qui prend un temps infini.

FedHOO est un raccourci ingénieux :

L'astuce du Parallèle : L'enseignant demande à chaque élève de faire deux devoirs différents en même temps (un avec un taux de pratique faible, un avec un taux de pratique élevé).
Le mélange magique : Comme les élèves travaillent en parallèle, l'enseignant peut mathématiquement « mélanger et assortir » les résultats de ces deux devoirs pour déterminer comment chaque combinaison possible de taux de devoirs aurait fonctionné.
Le bénéfice : Au lieu d'avoir besoin de 100 cycles de tests pour trouver le taux de devoir parfait, l'enseignant peut le trouver en seulement quelques cycles. C'est particulièrement utile lorsqu'il y a peu d'élèves (une « petite échelle » de fédération), comme dans une usine spécifique ou une petite entreprise.

4. Est-ce que cela fonctionne ?

Les auteurs ont testé cette méthode sur quatre jeux de données publics (comme des images de voitures et de vêtements) et un jeu de données industriel réel (détection de défauts sur des puces informatiques).

Le test des défauts de puces : Dans une véritable usine, seulement 1,7 % des puces présentent des défauts. Les méthodes standards peinaient à trouver ces défauts. La nouvelle méthode (FedCGNM) les trouve bien mieux. Lorsqu'ils ont ajouté le chercheur de devoirs intelligent (FedHOO), les résultats se sont encore améliorés.
Les benchmarks : Sur les tests standards, leur méthode bat systématiquement les autres méthodes de pointe, améliorant parfois la précision de près de 30 %.

Résumé

Voyez cet article comme une nouvelle façon de gérer une salle de classe où certains sujets sont très rares.

FedCGNM dit aux élèves d'arrêter de s'inquiéter de chaque fait rare individuellement et de plutôt les regrouper en équipes « rares » et « communes », en utilisant une mémoire stable et fluide pour apprendre de ces faits.
FedHOO aide l'enseignant à déterminer rapidement de quelle quantité d'entraînement supplémentaire les élèves ont besoin pour ces faits rares, sans perdre de temps à deviner.

Ensemble, ils rendent le processus d'apprentissage plus rapide, plus stable et bien meilleur pour repérer les choses rares qui sont habituellement ignorées.

Résumé Technique : FedCGNM et FedHOO pour le déséquilibre de classes en Apprentissage Fédéré

Énoncé du Problème
Le déséquilibre des classes demeure un défi critique dans l'apprentissage fédéré (FL), particulièrement lorsque la distribution globale des étiquettes est à longue traîne. Dans de tels scénarios, les classes minoritaires souffrent d'une faible performance prédictive en raison de leur sous-représentation dans les données d'entraînement. Les techniques centralisées standard, telles que la repondération des pertes, l'échantillonnage avancé ou l'augmentation générative, sont difficiles à déployer en FL. Les contraintes de confidentialité empêchent l'échange de données, et les générateurs synthétiques échouent souvent à produire des échantillons réalistes pour les régimes de parcimonie ou les tâches spécifiques à un domaine (par exemple, la détection de défauts de semi-conducteurs). De plus, les approches existantes au niveau de l'optimisation, comme la Normalisation par Classe (PCN), font face à des limitations dans les contextnements multi-classes : elles sont sensibles au bruit directionnel provenant des classes minoritaires et introduisent des décalages d'échelle lors de la sommation de nombreux vecteurs unitaires, ce qui déstabilise la convergence à mesure que le nombre de classes augmente.

Méthodologie
L'article propose une approche à deux volets pour traiter ces problèmes : un optimiseur côté client nommé FedCGNM (Federated Class-Grouped Normalized Momentum) et un régleur d'hyperparamètres auxiliaire nommé FedHOO.

FedCGNM (Optimiseur) :
- Groupement de Classes : Au lieu de normaliser les gradients pour chaque classe individuelle ( $C$ ), FedCGNM partitionne les classes en un petit nombre de groupes ( $H \ll C$ , typiquement majorité vs minorité). La règle de groupement est dérivée de la minimisation de la variance intra-groupe des proportions de classes, une stratégie démontrée comme étant un proxy fiable pour une recherche exhaustive par seuil.
- Momentum Normalisé par Groupe : Pour chaque groupe, l'algorithme maintient un vecteur de momentum. Pendant l'entraînement local, des gradients stochastiques sont calculés par groupe, et le momentum est mis à jour. Crucialement, le vecteur de momentum de chaque groupe est normalisé en longueur unité (avec une constante de stabilisation $\delta$ ) avant la sommation.
- Direction de Mise à Jour : La direction de mise à jour finale est la somme de ces momentums de groupe normalisés. Cette conception égalise la magnitude du gradient entre les groupes majoritaires et minoritaires tout en atténuant le bruit directionnel inhérent aux gradients des classes rares. En opérant sur un petit nombre de groupes plutôt que sur des classes individuelles, elle évite le décalage d'échelle et l'instabilité associés à la PCN.
- Alignement des Clients : En forçant chaque mise à jour de groupe à avoir une norme unité, les directions de mise à jour agrégées entre les clients hétérogènes deviennent plus alignées, traitant une cause primaire de dégradation des performances en FL.
FedHOO (Régleur d'Hyperparamètres) :
- Contexte : La sélection de taux de rééchantillonnage appropriés est non triviale en FL en raison de l'espace de recherche combinatoire entre les clients et du risque de déstabiliser l'optimisation avec des calendriers fluctuants.
- Mécanisme : FedHOO est un algorithme basé sur un bandit à $X$ bras (XAB) conçu pour les fédérations de petite taille (où $K$ est petit). Il exploite la nature linéaire de l'agrégation FL. À chaque tour de communication, le serveur ordonne à chaque client de s'entraîner avec deux taux de rééchantillonnage candidats.
- Efficacité : En combinant linéairement les mises à jour clients retournées, le serveur peut inférer la performance de validation de toutes les $2^K$ combinaisons possibles de taux locaux sans nécessiter $2^K$ tours d'entraînement séparés. Cela permet une identification rapide des taux d'échantillonnage efficaces tôt dans l'entraînement tout en préservant la confidentialité (les clients ne retournent que des métriques de validation scalaires).

Analyse Théorique
L'article fournit une analyse de convergence pour FedCGNM qui prend explicitement en compte les taux de rééchantillonnage variant dans le temps. Sous des hypothèses standard de lissage, de gradients bornés et d'impartialité, les auteurs prouvent que FedCGNM atteint un taux de point stationnaire standard de $O(T^{-1/2})$ . L'analyse souligne que pour que la convergence se tienne, la variation cumulative des taux d'échantillonnage à travers les tours ( $V_T$ ) doit satisfaire des conditions spécifiques, impliquant qu'un rééchantillonnage agressif mais instable peut entraver la convergence.

Contributions Clés

Optimiseur FedCGNM : Le premier optimiseur côté client qui groupe les classes et applique un momentum à norme unité par groupe. Il équilibre l'influence de la majorité/minorité, réduit le bruit et atténue le décalage d'échelle.
Groupement Sensible à la Variance : Une stratégie principielle et légère qui cadre le partitionnement des classes comme la minimisation de la variance intra-groupe, produisant des divisions optimales comparables à une recherche exhaustive.
Analyse de Convergence : Un cadre théorique novateur combinant le FL, la normalisation de groupe et les taux d'échantillonnage dynamiques, démontrant l'impact des calendriers de taux sur la convergence.
FedHOO : Le premier algorithme d'optimisation pour déterminer les taux de rééchantillonnage locaux combinatoires en FL en utilisant un cadre de bandit à $X$ bras qui exploite le parallélisme fédéré pour une exploration efficace.

Résultats Expérimentaux
Les méthodes ont été évaluées sur quatre benchmarks à longue traîne publics (CIFAR-10-LT, CIFAR-100-LT, Adult Income, UNSW-NB15) et un jeu de données propriétaire de défauts de puces semi-conductrices (CDD).

Performance : FedCGNM a systématiquement surpassé les bases de référence (incluant FedAvg, FedProx, CLIMB, FedGraB et les variantes PCN) dans tous les réglages. Dans les régimes de petits clients ( $K=5$ ), la combinaison de FedCGNM avec FedHOO a produit les meilleurs résultats, avec des améliorations allant jusqu'à 29 % par rapport à FedAvg avec rééchantillonnage.
Application Industrielle : Sur le jeu de données CDD (taux de défaut de 1,7 %), la méthode proposée a obtenu une amélioration de 16 % par rapport à la meilleure base de référence, démontrant son efficacité dans des contextes industriels réels et sensibles à la confidentialité.
Robustesse : L'approche a montré une résilience dans les régimes de grands clients avec participation partielle et sous divers degrés d'hétérogénéité des données (Non-IID).
Ablation : Les expériences ont confirmé que deux groupes ( $H=2$ ) offrent le meilleur compromis biais-variance et que des facteurs de momentum modérés ( $\beta \approx 0,5$ ) produisent des performances optimales.

Signification et Revendications
L'article affirme que FedCGNM et FedHOO forment un cadre pratique pour atténuer le déséquilibre de classes global dans des environnements d'apprentissage fédéré respectant la vie privée, sans dépendre de l'échange de données ou de la génération synthétique. La signification réside dans le fait de traiter le déséquilibre des classes au niveau de l'optimisation, ce qui est plus généralisable que les astuces au niveau des données restreintes par la confidentialité ou les caractéristiques du jeu de données. Les auteurs soulignent que leur approche est particulièrement efficace dans les fédérations à petite échelle (courantes dans les déploiements industriels) où le réglage conjoint des hyperparamètres est réalisable et critique, tandis que la stratégie de groupement assure la stabilité et l'alignement dans les scénarios multi-classes où les techniques de normalisation précédentes échouent. Ce travail fait progresser le domaine en fournissant à la fois un optimiseur robuste et une méthode efficace et théoriquement fondée pour régler les stratégies de rééchantillonnage en présence de déséquilibre de classes.

1. Le problème des méthodes actuelles

2. La solution : FedCGNM (La stratégie du « Capitaine de Groupe »)

3. La solution : FedHOO (Le chercheur de « Devoirs Intelligents »)

4. Est-ce que cela fonctionne ?

Résumé

Articles similaires