🤖 machine learning

Assessing the Impacts of Imperfect Datasets on Client Selections in Federated Learning

Cet article étudie comment les ensembles de données imparfaits (non-IID et bruités) et la sélection biaisée des clients affectent les performances de l'apprentissage fédéré, et propose une méthode de notation respectueuse de la vie privée pour évaluer efficacement les contributions des clients et atténuer ces problèmes.

Auteurs originaux : Yuan-Heng Tsai, Li-Hsing Yen, Yan-Wei Chen

Publié 2026-08-04

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuan-Heng Tsai, Li-Hsing Yen, Yan-Wei Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où votre smartphone, votre montre connectée et l'ordinateur de votre voisin veulent tous apprendre à reconnaître un chat, mais qu'ils ne peuvent pas partager leurs photos. Peut-être que les photos sont trop privées, ou peut-être que la connexion Internet est trop lente pour toutes les télécharger vers un immense ordinateur central. C'est le problème que l'apprentissage fédéré (Federated Learning) tente de résoudre. Au lieu de rassembler toutes les données en un seul endroit, l'« enseignant » (un serveur central) envoie un plan de leçon de base à tout le monde. Chaque étudiant (un appareil client) s'entraîne sur ses propres photos privées, comprend ce qu'il a appris, et renvoie simplement les notes de cours à l'enseignant. L'enseignant mélange toutes les notes pour créer un plan de leçon plus intelligent pour le tour suivant. C'est comme un groupe d'étude massif et mondial où chacun garde ses devoirs cachés, mais où tout le monde apprend ensemble.

Cependant, ce groupe d'étude rencontre quelques problèmes désordonnés. Premièrement, tout le monde n'a pas la même quantité de devoirs (certains ont 10 photos, d'autres en ont 10 000). Deuxièmement, certains étudiants n'ont que des photos de chats orange, tandis que d'autres n'ont que des chats noirs (c'est ce qu'on appelle le « déséquilibre des étiquettes » ou label skew). Troisièmement, certains étudiants ont accidentellement griffonné « chien » sur une photo de chat (données mal étiquetées). Si l'enseignant choisit des étudiants au hasard pour partager leurs notes, la classe risque d'apprendre des choses bizarres ou de rester bloquée. La grande question est la suivante : comment l'enseignant décide-t-il qui choisir pour aider la classe à mieux apprendre, sans jeter un coup d'œil aux devoirs privés de chacun ?

Cet article, intitulé « Assessing the Impacts of Imperfect Datasets on Client Selections in Federated Learning », explore précisément ce désordre. Les auteurs, des chercheurs de l'Université Nationale Yang Ming Chiao Tung, ont mené une série d'expériences pour voir comment différents types de « mauvaises » données affectent la vitesse d'apprentissage et la note finale du groupe. Ils ont découvert que la solution n'est pas universelle. Parfois, il faut être équitable et choisir tout le monde de la même manière ; d'autres fois, il faut être strict et éviter les étudiants avec des données désordonnées. Pour résoudre cela, ils ont inventé un système de « bulletin de notes » qui permet à l'enseignant d'évaluer l'utilité de chaque étudiant sans jamais voir ses photos privées.

La grande expérience du groupe d'étude

Les chercheurs ont mis en place une salle de classe virtuelle avec 100 clients (étudiants) et un serveur central (l'enseignant). Ils ont utilisé deux ensembles de données classiques pour leurs expériences : MNIST (chiffres écrits à la main) et CIFAR-10 (images d'animaux et d'objets). Dans leur simulation, ils ont testé ce qui se passait lorsqu'ils changeaient les règles du jeu.

Les scénarios de « mauvaises données »
Ils ont créé trois principaux types de problèmes pour voir comment la classe réagissait :

Déséquilibre de quantité (Quantity Skew) : Certains étudiants avaient de petits carnets, d'autres de vastes bibliothèques. Ils ont constaté que les plus gros carnets menaient généralement à de meilleures notes, mais si un carnet était trop petit, il ne pouvait pas beaucoup aider.
Déséquilibre des étiquettes (Label Skew) : Imaginez un étudiant qui n'a que des photos de « 3 » et un autre qui n'a que des « 7 ». Si la classe n'écoute que ces deux-là, elle n'apprendra pas à quoi ressemble un « 1 » ou un « 2 ». Les chercheurs ont testé tout, de « tout le monde a un mélange » à « tout le monde n'a qu'un nombre spécifique ». Ils ont découvert que lorsque les données étaient très déséquilibrées (comme un étudiant n'ayant que des « 3 »), la classe peinait à apprendre, surtout avec les images plus complexes de CIFAR-10.
Données mal étiquetées (Mislabeled Data) : C'était le véritable perturbateur. Ils ont simulé des étudiants qui avaient des photos de chats étiquetées comme « chiens ». Ils ont testé trois façons dont cela pouvait arriver : des erreurs aléatoires, des erreurs séquentielles (où « 1 » devient « 2 », « 2 » devient « 3 », etc.) et des erreurs cycliques. Les résultats étaient frappants : les données mal étiquetées étaient bien pires que les données déséquilibrées. En fait, lorsqu'ils ont simulé un niveau élevé d'erreurs séquentielles (où les étiquettes étaient décalées de 7 positions), le processus d'apprentissage a complètement échoué. La classe ne pouvait rien apprendre d'utile des étudiants qui étaient sûrs d'eux mais dans l'erreur.

Le dilemme de l'équité
Ensuite, ils ont demandé : « L'enseignant doit-il choisir les étudiants au hasard (Équitable) ou éviter ceux qui ont des données désordonnées (Inéquitable) ? »

Lorsque le problème était le déséquilibre des étiquettes (données déséquilibrées) : Être Équitable était le grand gagnant. Même si un étudiant n'avait que des photos de « 3 », le laisser participer aidait la classe à apprendre ce chiffre spécifique. Si l'enseignant l'excluait, la classe passait à côté. Les résultats ont montré que la sélection équitable améliorait la précision, bien que cela prenait parfois quelques tours de plus pour terminer.
Lorsque le problème était les données mal étiquetées : Être Équitable était un désastre. Inclure des étudiants avec de mauvaises étiquettes tirait toute la classe vers le bas. Dans ces cas, la stratégie « Inéquitable » (exclure les étudiants désordonnés) fonctionnait mieux. L'article suggère que lorsque les données sont corrompues, vous devez donner la priorité à la qualité plutôt qu'à l'équité.

Le nouveau système de « Bulletin de Notes »

Puisque l'enseignant ne peut pas jeter un œil dans les carnets privés des étudiants, comment sait-il qui est utile et qui est désordonné ? Les auteurs ont proposé un système de notation en trois parties qui s'exécute entièrement du côté du serveur :

Score de taille de données (Datasize Score) : C'est simple. Cela vérifie simplement la taille du carnet de l'étudiant. Un carnet plus grand reçoit un score plus élevé (normalisé entre 0 et 1).
Score de qualité (Quality Score) : C'est la partie ingénieuse. Après qu'un étudiant a renvoyé ses notes de cours, l'enseignant teste ces notes sur un « test pratique » secret dont l'enseignant connaît déjà les réponses. Si les notes de l'étudiant mènent à un score élevé lors du test pratique, il reçoit un score de Qualité élevé. S'il échoue au test, son score chute. Cela indique à l'enseignant : « Les données de cet étudiant sont utiles » ou « Les données de cet étudiant sont bruitées », sans jamais voir les photos réelles.
Score d'équité (Fairness Score) : C'est un « compteur de patience ». À chaque tour, le score de chaque étudiant augmente légèrement. Si un étudiant est choisi pour participer, son score revient à zéro. Cela garantit que les étudiants qui n'ont pas été choisis depuis un certain temps finissent par avoir une chance, empêant l'enseignant de n'écouter que les quelques élèves « intelligents ».

Le régulateur intelligent (The Smart Balancer)
La véritable magie réside dans la façon dont ils combinent ces scores. Le système examine la variance (la dispersion) des scores de Qualité.

Si les scores de Qualité sont tous similaires (faible variance), cela signifie que les données sont principalement propres. Le système s'appuie alors sur le Score d'équité, en veillant à ce que tout le monde ait son tour.
Si les scores de Qualité sont très dispersés (haute variance), cela signifie que certains étudiants ont des données terribles ou bruitées. Le système change immédiatement de mode, ignorant le Score d'équité et choisissant uniquement les étudiants ayant les Scores de Qualité les plus élevés.

Ce qu'ils ont trouvé (et ce qu'ils n'ont pas trouvé)

L'article conclut qu'il n'existe pas de méthode unique « idéale » pour choisir les étudiants. Cela dépend entièrement de la raison pour laquelle les données sont imparfaites.

Si les données sont simplement déséquilibrées (certains étudiants ont des étiquettes rares), l'article suggère que l'équité est cruciale. Exclure ces étudiants nuit au modèle.
Si les données sont corrompues (mal étiquetées), l'article suggère que l'équité doit être sacrifiée pour protéger le modèle contre les mauvaises informations.

Les auteurs précisent avec prudence que leur « Score de Qualité » est un excellent outil, mais qu'il possède un angle mort. Il peut vous dire qu'une donnée est « mauvaise », mais il ne peut pas vous dire pourquoi. Il ne sait pas si la donnée est mauvaise parce que l'étudiant n'a que des « 3 » (déséquilibre des étiquettes) ou parce qu'il a écrit « chien » sur une photo de chat (données mal étiquetées). À cause de cela, le système doit parfois deviner. Si la variance est élevée, le système suppose le pire (données mal étiquetées) et donne la priorité à la qualité, ce qui est un choix prudent. Cependant, les auteurs admettent que si la variance élevée est en réalité due au déséquilibre des étiquettes, cette approche conservatrice pourrait manquer certaines opportunités d'apprentissage bénéfiques.

En résumé, l'article ne prétend pas avoir résolu le problème pour toujours. Au lieu de cela, il fournit un guide expérimental mesuré montrant qu'un système adaptatif et intelligent — capable de basculer entre « être équitable » et « être strict » selon la situation — est la meilleure voie à suivre pour l'apprentissage fédéré. Ils suggèrent que les travaux futurs devraient se concentrer sur la construction d'un système capable de distinguer encore mieux les données « déséquilibrées » des données « corrompues », afin que l'enseignant puisse faire le choix parfait à chaque fois.

Résumé technique : Évaluation des impacts des jeux de données imparfaits sur la sélection des clients en apprentissage fédéré

Énoncé du problème

L'apprentissage fédéré (Federated Learning - FL) permet l'entraînement de modèles décentralisés tout en préservant la confidentialité des clients, mais il est confronté à des défis importants lorsque les clients possèdent des jeux de données imparfaits. Ces imperfections incluent des données non indépendantes et identiquement distribuées (non-IID) (se manifestant par un biais de quantité, un biais de labels et un biais de caractéristiques) ainsi que des données bruitées (échantillons mal étiquetés). De telles conditions peuvent dégrader la précision du modèle et augmenter la latence de convergence.

Bien que des stratégies de sélection de clients soient souvent employées pour atténuer ces problèmes en excluant les clients problématiques, un processus de sélection trop biaisé peut involontairement nuire à la performance de l'apprentissage. Plus précisément, il existe une tension non résolue entre la équité (garantir une participation équilibrée pour éviter la convergence vers des optima locaux) et la qualité (exclure les clients présentant de graves problèmes de données). De plus, la littérature existante manque d'une méthode complète et respectueuse de la vie privée pour prédire la contribution d'un client au modèle global sans accéder à la distribution de ses données locales.

Méthodologie

1. Analyse expérimentale des données imparfaites

Les auteurs ont mené des expériences approfondies utilisant les jeux de données MNIST et CIFAR-10 avec 100 clients et l'algorithme FedAvg pour quantifier les impacts de diverses imperfections de données :

Taille du jeu de données : A vérifié que des jeux de données plus larges sont corrélés à une meilleure précision et une convergence plus rapide.
Biais de labels (Label Skew) : A testé six scénarios allant de l'IID à des distributions à label unique extrêmes. Les résultats indiquent que si le biais de labels dégrade généralement la performance, la gravité varie selon la tâche (par exemple, MNIST a montré une résilience par rapport à CIFAR-10).
Échantillons mal étiquetés (Mislabeled Samples) : A évalué les erreurs d'étiquetage aléatoires, séquentielles et cycliques. L'étude a révélé que le mauvais étiquetage provoque une chute de performance plus prononcée que le biais de labels, le mauvais étiquetage séquentiel (où les labels sont décalés) provoquant un échec de l'apprentissage à des degrés élevés.
Équité vs Sélection injuste :
- Dans les environnements à biais de labels, la sélection « Équitable » (participation aléatoire et uniforme) a considérablement amélioré la précision par rapport à la sélection « Injuste » (exclusion des clients biaisés), bien qu'elle nécessite plus de cycles pour converger.
- Dans les environnements à mauvais étiquetage, la sélection « Injuste » (exclusion des clients avec des données mal étiquetées) a surpassé la sélection équitable, car les échantillons mal étiquetés ne fournissent aucune information d'apprentissage utile.

2. Mécanisme de notation proposé

Pour répondre au besoin d'une évaluation des clients respectueuse de la vie privée, l'article propose un système de notation composite qui évalue les clients sur la base de la taille des données, de la qualité et de l'historique de participation, sans accéder aux distributions de données locales.

Score de taille de données ( $d_i$ ) : Une métrique normalisée (0 à 1) basée sur la taille du jeu de données du client par rapport aux tailles minimale et maximale de l'ensemble des clients.
Score de qualité ( $q_i$ ) : Une évaluation côté serveur calculée à la fin de chaque cycle d'entraînement. Le serveur évalue le modèle téléchargé par le client sur un jeu de données de test global. Le score est normalisé en fonction de la précision de test du client par rapport aux précisions minimale et maximale observées parmi tous les clients. Cela capture l'impact conjoint du biais de labels et du mauvais étiquetage.
Score d'équité ( $f_i^t$ ) : Un score dynamique qui augmente d'une constante $\beta$ pour chaque cycle où un client n'est pas sélectionné et se réinitialise/diminue s'il est sélectionné. Cela garantit que les clients ayant de longues périodes d'inactivité sont prioritaires.

3. Mécanisme de sélection adaptatif

L'article introduit un mécanisme adaptatif pour équilibrer l'équité et la qualité en fonction de la variance des Scores de Qualité parmi les clients disponibles :

Faible Variance : Indique une qualité de données homogène (ni biais de labels sévère, ni mauvais étiquetage). Le mécanisme privilégie l'équité, en sélectionnant les clients ayant des Scores d'Équité élevés.
Forte Variance : Indique une hétérogénéité significative (probablement un mauvais étiquetage ou un biais de labels sévère). Le mécanisme privilégie la qualité, en élargissant le bassin de candidats pour s'assurer que des clients de haute qualité soient sélectionnés, quel que soit leur score d'équité.
Le nombre de clients sélectionnés ( $L_{fair}^t$ ) est ajusté dynamiquement à l'aide d'une formule impliquant la variance des Scores de Qualité, un paramètre de sensibilité ( $\alpha_1$ ) et un paramètre de proportion minimale ( $\alpha_2$ ).

Résultats clés

Impact du mauvais étiquetage : Le mauvais étiquetage séquentiel a été identifié comme le facteur le plus délétère, provoquant un échec de l'apprentissage dans les cas extrêmes. Cela suggère que les clients avec un mauvais étiquetage sévère devraient être exclus.
Équité dépendante du contexte : Les expériences ont démontré que la stratégie de sélection optimale dépend du contexte. L'équité est bénéfique lorsque l'hétérogénéité des données provient d'un biais de labels, mais elle est préjudiciable lorsqu'elle provient d'un mauvais étiquetage.
Efficacité de la notation : Le Score de Qualité proposé est parvenu à corréler avec la qualité des données. Dans les expériences de biais de labels, les scores augmentaient avec la diversité des labels (jusqu'à un point où le nombre d'échantillons par label devenait trop faible). Dans les expériences de mauvais étiquetage, les scores diminuaient à mesure que le taux de mauvais étiquetage augmentait.
Performance adaptative : Le mécanisme adaptatif a réussi à naviguer dans le compromis, en privilégiant l'équité lorsque les données étaient relativement propres et en privilégiant la qualité lorsque l'hétérogénéité des données était élevée.

Signification et affirmations

L'article affirme fournir une analyse complète de la manière dont différents types de données imparfaites (biais de quantité, biais de labels et mauvais étiquetage) affectent la performance du FL. Sa contribution primaire est la démonstration qu'une stratégie de sélection de client unique est insuffisante ; la stratégie doit s'adapter à la source dominante d'hétérogénéité.

Les auteurs proposent un cadre de notation respectueux de la vie privée qui permet au serveur d'évaluer les contributions des clients en utilisant uniquement les résultats de tests globaux et les tailles de jeux de données, évitant ainsi d'inspecter les distributions de données locales. La signification réside dans le mécanisme adaptatif qui équilibre dynamiquement les objectifs concurrents d'équité et de qualité des données, reconnaissant que l'équité peut être nuisible lorsque les clients possèdent des données sévèrement mal étiquetées.

Les auteurs notent modestement une limite : le Score de Qualité actuel capture l'impact conjoint du biais de labels et du mauvais étiquetage, mais ne peut pas distinguer les deux. Par conséquent, le mécanisme adaptatif traite la variance élevée de manière conservatrice (en privilégiant la qualité), ce qui peut être sous-optimal si la variance est causée uniquement par le biais de labels plutôt que par le mauvais étiquetage. Des travaux futurs sont suggérés pour développer des métriques distinctes afin de quantifier ces facteurs indépendamment.