🤖 machine learning

Multi-Level Analyzation of Imbalance to Resolve Non-IID-Ness in Federated Learning

Ce document propose FedBB, un cadre d'apprentissage fédéré qui traite le déséquilibre des données aux niveaux inter-cas, inter-classe et inter-client grâce à une fonction de perte de type « Positive Negative Balanced » et une stratégie de repondération équilibrée des clients (Client Balanced Reweighting), surpassant ainsi les algorithmes existants en termes de précision et d'efficacité tout en préservant la confidentialité.

Auteurs originaux : Haengbok Chung, Jae Sung Lee

Publié 2026-06-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haengbok Chung, Jae Sung Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un groupe de médecins provenant de différents hôpitaux essayant de construire une IA unique et ultra-intelligente pour diagnostiquer des maladies. Ils veulent le faire sans partager leurs véritables dossiers de patients (pour protéger la vie privée), en entraînant leurs propres modèles d'IA locaux et en renvoyant simplement les « leçons apprises » vers un serveur central pour les combiner. C'est cela, l'Apprentissage Fédéré (Federated Learning).

Cependant, il y a un gros problème : les données sont désordonnées.

Certains hôpitaux voient principalement des patients en bonne santé, d'autres voient surtout des patients malades, et certains voient un mélange étrange de maladies rares. Dans l'article, les auteurs appellent cela le « Non-IID » (données qui ne sont pas identiques ou uniformément distribuées). À cause de ce désordre, l'IA combinée finale finit souvent par être confuse et performe mal.

Les auteurs de cet article, Haengbok Chung et Jae Sung Lee, disent : « Nous devons observer ce désordre sous trois angles différents. » Ils appellent leur solution FedBB (Federated Learning with Positive-Negative Balanced loss and Client Balanced Reweighting).

Voici comment ils décomposent cela en utilisant des analogies simples :

1. Les trois niveaux de désordre

Les auteurs ont réalisé que « l'déséquilibre » se produit de trois manières différentes, comme si l'on observait un tas de fruits à travers un microscope, une fenêtre et un drone :

Inter-Cas (La vue au microscope) :
- Le Problème : Imaginez une maladie spécifique, comme la « Pneumonie ». Pour chaque patient qui a la pneumonie, il peut y en avoir 100 qui ne l'ont pas. L'IA devient paresseuse et se contente de répondre « Pas de pneumonie » pour tout le monde parce qu'elle a raison 99 % du temps.
- La Solution : L'IA doit être forcée de porter une attention particulière aux cas « Oui » plus rares.
Inter-Classe (La vue par la fenêtre) :
- Le Problème : Maintenant, regardez l'ensemble du panier de fruits. Peut-être que vous avez 1 000 pommes, 100 oranges, mais seulement 5 bananes. L'IA devient une « Experte en Pommes » mais une piètre « Experte en Bananes » parce qu'elle n'a jamais vu assez de bananes.
- La Solution : On doit dire à l'IA : « Hé, ces 5 bananes sont super importantes ! Ne les ignore pas. »
Inter-Client (La vue par le drone) :
- Le Problème : Imaginez que l'Hôpital A a 10 000 patients, mais qu'ils sont tous des cas de « Pommes ». L'Hôpital B n'a que 100 patients, mais c'est un mélange parfait de Pommes, d'Oranges et de Bananes.
- L'Ancienne Méthode : Le serveur central dit généralement : « L'Hôpital A a plus de données, donc nous allons l'écouter 100 fois plus. »
- Le Résultat : L'IA finale devient une « Experte en Pommes » et oublie tout le reste.
- La Solution : Le serveur devrait en réalité écouter davantage l'Hôpital B, car son petit ensemble de données est plus équilibré et enseigne à l'IA une plus grande variété de leçons.

2. La solution : FedBB

Les auteurs ont construit un outil en deux parties pour résoudre ces problèmes :

Partie A : Le « Professeur Équitable » (PNB Loss)

Il s'agit d'une nouvelle façon de noter l'IA pendant son entraînement local.

Comment ça marche : Au lieu de simplement compter combien de fois l'IA a répondu juste, cette méthode agit comme un professeur strict qui accorde des points bonus pour la réussite des cas rares ou difficiles.
L'Analogie : Si un élève répond correctement à 100 questions faciles mais rate la seule question difficile, le professeur ne dit pas simplement « Bon travail ». Le professeur dit : « Tu as raté la question rare ! Cela compte pour le double de points. » Cela force l'IA à cesser d'ignorer les cas minoritaires (les maladies rares ou les quelques bananes).
Bonus : Cela fonctionne aussi bien pour le « Multi-classe » (choisir une catégorie) que pour le « Multi-label » (choisir plusieurs catégories à la fois, comme un patient ayant à la fois une pneumonie et une côte cassée).

Partie B : Le « Mélangeur Intelligent » (CBR)

Il s'agit d'une nouvelle façon pour le serveur central de combiner les modèles de tous les hôpitaux.

Comment ça marche : Au lieu de simplement compter le nombre de patients d'un hôpital, le serveur vérifie à quel point leurs données sont équilibrées.
L'Analogie : Imaginez mélanger des smoothies. Si vous avez un grand seau de smoothie à la fraise uniquement (Hôpital A) et une petite tasse de salade de fruits parfaite (Hôpital B), vous ne devriez pas simplement verser tout le seau dedans. Vous devriez donner une voix plus forte à la petite tasse de salade de fruits car elle représente un profil de saveur plus diversifié.
Le Résultat : Le modèle global final devient un « Généraliste » capable de bien diagnostiquer tout, et pas seulement les choses les plus communes.

3. Pourquoi cela importe (selon l'article)

Les auteurs ont testé cela sur deux types de données :

Radiographies médicales : De vraies radiographies thoraciques provenant de différents hôpitaux (jeux de données NIH et CheXpert).
Images naturelles : Des jeux de données de vision par ordinateur standards comme CIFAR (chats, chiens, voitures, etc.).

Les Résultats :

Meilleure Performance : FedBB a battu toutes les autres méthodes populaires (comme FedAvg, FedProx, MOON) en termes de précision. Il était particulièrement efficace pour gérer les données « désordonnées » où certaines maladies ou objets étaient très rares.
Efficacité : Il n'a pas nécessité de supercalculateur. Il a utilisé la même puissance de calcul que la méthode de base (FedAvg) mais a obtenu de bien meilleurs résultats.
Confidentialité : Il n'a besoin de connaître que peu de statistiques (comme « à quel point vos données sont équilibrées ? ») plutôt que de voir les fichiers réels des patients, ce qui préserve la confidentialité.

Résumé

L'article soutient que pour construire une IA véritablement intelligente de manière respectueuse de la vie privée, nous ne pouvons pas simplement jeter toutes les données ensemble. Nous devons :

Enseigner à l'IA locale à se soucier des cas rares (en utilisant la PNB Loss).
Écouter l'IA locale qui possède les données les plus diversifiées, même si elles sont plus petites (en utilisant la CBR).

En faisant cela, le « Cerveau Global » final devient plus juste, plus précis et prêt à affronter le monde réel, où les données sont rarement parfaites.

Résumé Technique : Analyse Multi-Niveaux du Déséquilibre pour Résoudre la Non-IID-ité dans l'Apprentissage Fédéré

1. Définition du Problème

L'apprentissage fédéré (Federated Learning - FL) permet l'entraînement collaboratif de modèles sur des clients distribués tout en préservant la confidentialité des données. Cependant, un obstacle critique à son efficacité est la nature non-identiquement distribuée (non-IID) des données, souvent causée par un sévère déséquilibre des classes. Les solutions existantes pour les données non-IID négligent souvent la nature nuancée du déséquilibre des classes, particulièrement dans les scénarios de classification multi-labels.

Les auteurs identifient que les approches conventionnelles du déséquilibre des classes sont insuffisantes car elles :

Se concentrent principalement sur la classification multi-classes, échouant ainsi à traiter la complexité des tâches multi-labels où il existe $2^n$ combinaisons de labels.
Négligent le déséquilibre inter-cas, où la disparité entre les cas positifs et négatifs au sein d'une seule catégorie provoque un surapprentissage (overfitting) du modèle sur la classe majoritaire (généralement le cas négatif).
S'appuient sur la taille du jeu de données pour l'agrégation, attribuant des poids plus élevés aux clients possédant des jeux de données plus volumineux. En FL, les grands jeux de données sont souvent fortement biaisés, ce qui conduit à un modèle global biaisé qui favorise les classes majoritaires rencontrées fréquemment par ces clients spécifiques.

2. Méthodologie : FedBB

Pour répondre à ces problèmes, les auteurs proposent FedBB (Federated Learning with Positive Negative Balanced loss and Client Balanced Reweighting). L'innovation centrale est une analyse multi-niveaux du déséquilibre divisée en trois échelles distinctes :

Déséquilibre inter-cas : La disparité entre le nombre de cas positifs et négatifs au sein d'une seule catégorie.
Déséquilibre inter-classe : La différence de distribution des données entre différentes catégories au sein d'un même client.
Déséquilibre inter-client : L'hétérogénéité de la distorsion (skewness) des données entre différents clients.

FedBB traite ces niveaux via deux composantes principales :

A. Fonction de Perte Positive Negative Balanced (PNB)

Conçue pour l'entraînement local, la fonction de perte PNB atténue les déséquilibres inter-cas et inter-classes.

Mécanisme : Contra à la Cross-Entropy standard ou à la perte Class-Balanced (CB), la perte PNB calcule explicitement des poids basés sur le nombre effectif de cas positifs et négatifs pour chaque catégorie.
Adaptation Multi-Label : Elle reconnaît que dans les tâches multi-labels, les échantillons présentant plusieurs conditions rares cooccurrentes (par exemple, plusieurs maladies sur une radiographie pulmonaire) sont statistiquement plus rares. PNB attribue des poids plus élevés à ces cas et catégories minoritaires pour éviter que le modèle ne soit dominé par les échantillons négatifs ou les classes majoritaires.
Formulation : La perte incorpore un lissage via un paramètre de température ( $\tau$ ) et un hyperparamètre ( $\beta$ ) pour calculer les nombres d'échantillons effectifs, évitant ainsi des pondérations extrêmes lorsque les données sont rares. Un facteur d'échelle ( $\mu$ ) est utilisé pour réguler l'amplitude globale de la perte.

B. Client Balanced Reweighting (CBR)

Conçu pour l'agrégation de modèles, le CBR ajuste le poids de la contribution de chaque client au modèle global.

Mécanisme : Au lieu de pondérer les clients uniquement par la taille de leur jeu de données (comme dans FedAvg), le CBR évalue la distorsion (skewness) de la distribution des données locales du client.
Calcul : Il calcule l'écart-type des comptes de classes par client pour déterminer l'équilibre des données. Les clients ayant des jeux de données moins distordus (plus équilibrés) se voient attribuer des poids plus élevés, car leurs modèles locaux sont jugés posséder de meilleures capacités de généralisation.
Pondération Hybride : Le poids d'agrégation final ( $W_k$ ) est une combinaison linéaire du poids basé sur l'équilibre ( $\omega^a_k$ ) et du poids basé sur la taille ( $\omega^b_k$ ), contrôlée par un hyperparamètre $\gamma$ . Cela garantit que les clients avec de grands jeux de données mais hautement distordus ne dominent pas le modèle global, tandis que les clients avec de petits jeux de données mais équilibrés ne sont pas ignorés.

3. Contributions Clés

Le papier revendique les contributions suivantes :

Analyse du déséquilibre multi-niveaux : Un cadre novateur qui décompose le déséquilibre des classes en FL en niveaux inter-cas, inter-classe et inter-client, arguant que traiter ces trois niveaux est nécessaire pour une performance robuste.
Perte PNB : Une fonction de perte qui traite simultanément les déséquilibres inter-cas et inter-classes, applicable tant pour la classification multi-label que multi-classe, en attribuant des poids plus élevés aux cas et classes minoritaires.
Agrégation CBR : Une stratégie d'agrégation de modèle qui donne la priorité aux clients ayant des distributions de données moins distordues, améliorant la généralisabilité du modèle global sans nécessiter l'accès aux données brutes locales (préservant ainsi la confidentialité).
Efficacité et Confidentialité : La méthode atteint des performances de pointe (SOTA) avec un surcoût computationnel minimal et repose uniquement sur des informations statistiques limitées (comptes de classes), évitant la fuite des distributions de données brutes.

4. Résultats Expérimentaux

Les auteurs ont évalué FedBB sur des jeux de données de radiographies médicales (NIH CXR14, CheXpert) et des jeux de données d'images naturelles (CIFAR-10/100, Tiny-ImageNet, et des variantes créées artificiellement de type Long-Tailed).

Performance : FedBB surpasse systématiquement les algorithmes existants (FedAvg, FedProx, MOON, FedNova, FedAlign, FedLC) sur tous les jeux de données et configurations de déséquilibre (contrôlés par le paramètre $\delta$ $δ$ ).
- Sur NIH CXR14, FedBB a atteint un AUC de 72,47 (à $\delta=0,1$ ), dépassant FedAvg (67,77) et FedProx (68,51).
- Sur LT-CIFAR-100, FedBB a atteint 45,13 % de précision, surpassant FedLC (41,08 %) et FedAlign (41,37 %).
Efficacité : Malgré la complexité ajoutée du calcul des facteurs de déséquilibre, FedBB maintient une efficacité de calcul comparable à FedAvg.
- Paramètres : 0,61 million (identique à FedAvg).
- MFLOPs : 87,3 millions (significativement inférieur aux 262,2 millions de MOON).
Études d'ablation : Les expériences ont confirmé que la perte PNB et le CBR contribuent indépendamment à l'amélioration des performances. La méthode a également démontré sa capacité à s'harmoniser avec d'autres algorithmes de FL (par exemple, combiner FedBB avec FedProx ou MOON) pour booster davantage la précision.

5. Signification et Revendications

Le papier positionne FedBB comme une référence (baseline) pour l'apprentissage fédéré générique et personnalisé. Sa signification réside dans :

Traitement de la cause racine : En traitant le déséquilibre des classes comme un problème multi-niveaux plutôt qu'une métrique unique, il résout la non-IID-ité spécifique qui dégrade la performance du FL.
Préservation de la confidentialité : Le recours à des statistiques agrégées (comptes de classes) plutôt qu'aux distributions de données brutes le rend adapté aux domaines sensibles comme la santé.
Polyvalence : L'approche est efficace tant pour les tâches multi-labels (imagerie médicale) que multi-classes (images naturelles), une polyvalence peu commune dans les méthodes de FL spécialisées dans le déséquilibre.

Les auteurs concluent que bien que FedBB nécessite un serveur centralisé et soit basé sur des paramètres (ce qui le rend théoriquement vulnérable à certaines attaques), il représente une étape importante vers la création de modèles globaux capables de classifier avec précision toutes les classes, même dans des environaux fédérés hautement asymétriques. Des travaux futurs sont suggérés pour explorer des méthodes sans serveur et non basées sur les paramètres afin de limiter davantage les risques de sécurité.