🤖 machine learning

WHERE to Generate Matters: Budget-Aware Synthetic Augmentation for Label Skewed Federated Learning

Le document propose FedEAS, une politique d'augmentation synthétique sensible au budget pour l'apprentissage fédéré avec un déséquilibre de labels, qui assigne dynamiquement des budgets de génération par client en fonction des distributions de labels locales afin de réduire considérablement les coûts computationnels tout en récupérant la majeure partie des gains de précision d'un équilibrage complet des classes.

Auteurs originaux : Sangwoo Lee, Sunghwan Park, Jaewoo Lee

Publié 2026-07-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sangwoo Lee, Sunghwan Park, Jaewoo Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un groupe d'amis essayant d'apprendre à reconnaître différents types d'animaux en partageant ce qu'ils ont vus dans leurs propres jardins. C'est l'Apprentissage Fédéré : chacun apprend localement, puis partage ses « leçons » pour construire un cerveau global intelligent.

Cependant, il y a un problème : le Déséquilibre de Labels (Label Skew).

Alice vit dans une ferme et a vu 1 000 vaches mais zéro zèbre.
Bob vit dans un zoo et a vu 1 000 zèbres mais aucune vache.
Charlie a un mélange équilibré.
Quand ils essaient de s'enseigner mutuellement, Alice finit par penser que « tout est une vache », et Bob pense que « tout est un zèbre ». Le cerveau final du groupe devient confus et performe mal.

L'ancienne méthode : « Remplir le seau »

Pour corriger cela, les méthodes précédentes essayaient une stratégie appelée Équilibrage Complet des Classes (Full Class Balancing).
Imaginez un professeur disant à Alice : « Tu dois voir autant de zèbres que tu as de vaches. » Alice doit donc générer (ou imaginer) 1 000 faux zèbres.

Le Problème : C'est incroyablement coûteux. Cela demande une puissance de calcul et un temps considérables pour créer tous ces faux animaux. C'est comme essayer de remplir une piscine avec une seule petite cuillère ; on gaspille énormément d'efforts sur des animaux qu'Alice connaît déjà très bien, juste pour que les chiffres correspondent parfaitement.

La nouvelle méthode : FedEAS (La stratégie du « Budget Intelligent »)

L'article présente FedEAS, une nouvelle politique qui pose deux questions simples avant de générer la moindre donnée fictive :

De combien de données fictives cette personne a-t-elle réellement besoin ?
Où ces données fictives doivent-elles aller ?

Au lieu d'une règle « taille unique », FedEAS donne à chacun un budget personnalisé basé sur le degré de déséquilibre de son propre jardin.

L'analogie : Le dîner « Affamé vs Rassasié »

Considérez le groupe comme un dîner où chacun apporte un plat.

Alice (Le client déséquilibré) : Elle a apporté 100 assiettes de steak mais aucune salade. Elle est « affamée » de salade.
Bob (Le client équilibré) : Il a apporté un mélange parfait de steak et de salade. Il est « rassasié ».

L'ancienne méthode (Équilibrage Complet) : L'hôte dit à Alice de cuisiner 100 salades supplémentaires pour égaler son steak, et dit à Bob de cuisiner 100 salades supplémentaires juste pour être équitable. La cuisine brûle et la table se retrouve couverte de 200 salades supplémentaires dont personne n'avait vraiment besoin.

La méthode FedEAS :

Vérifier l'Entropie (Le « Compteur de Faim ») : Le système vérifie à quel point l'assiette d'Alice est déséquilibrée. Comme elle a presque aucune salade, son « compteur de faim » est élevé. Le compteur de Bob est bas car il est équilibré.
Attribuer le Budget :
- Alice reçoit un gros budget. Elle est autorisée à cuisiner quelques salades pour combler le vide.
- Bob reçoit un budget presque nul. Il n'a pas besoin de cuisiner quoi que ce soit ; il est déjà bien.
Combler les lacunes uniquement : Alice ne cuisine que la salade spécifique qui lui manque. Elle ne cuisine pas plus de steak (qu'elle possède déjà en abondance).

Les Résultats : Faire plus avec moins

L'article affirme que cette approche de « Budget Intelligent » change la donne :

Économies massives : FedEAS atteint presque le même succès d'apprentissage que la méthode « remplir le seau », mais utilise 94 % de puissance de calcul en moins. C'est comme obtenir un repas complet au prix d'un en-cas.
Vitesse : Parce qu'il génère beaucoup moins de données, l'ensemble du processus d'apprentissage est 3,7 fois plus rapide.
Allocation plus intelligente : Même si vous donnez à la méthode « Budget Intelligent » et à la méthode « Uniforme » (où tout le monde reçoit la même petite quantité de nourriture fictive) exactement le même budget total, FedEAS gagne. Il place la nourriture fictive exactement là où elle est nécessaire (la salade manquante), tandis que la méthode Uniforme en gaspille une partie pour des choses que les gens possèdent déjà.

La « Recette Secrète »

La formule magique repose sur l'Entropie (une façon mathématique de mesurer le désordre ou le déséquilibre).

Si vos données sont désordonnées et déséquilibrées (entropie élevée), vous recevez un budget plus important.
Si vos données sont nettes et équilibrées (entropie faible), vous recevez un budget minuscule.
Le système arrête de générer des données bien avant que tout le monde ne soit parfaitement équilibré, car les « derniers morceaux » sont trop coûteux à créer et n'apportent pas grand-chose.

Résumé

FedEAS est comme une liste de courses intelligente pour un projet de groupe. Au lieu d'acheter 100 de chaque article pour tout le monde (ce qui est du gaspillage), il vérifie ce qui manque à chacun, leur donne juste assez pour combler l'écart, et s'arrête là. Cela permet de gagner du temps, d'économiser de l'argent, et de mener le groupe à la ligne d'arrivée malgré tout.

Résumé Technique : OÙ Générer Compte : Augmentation Synthétique Sensible au Budget pour l'Apprentissage Fédéré avec Déséquilibre de Labels

Énoncé du Problème

Le déséquilibre de labels (label skew), où les clients dans un cadre d'Apprentissage Fédéré (FL) détiennent des distributions de classes localement déséquilibrées, est un défi fondamental qui provoque une dérive des clients et dégrade la précision du modèle global. Alors que les méthodes existantes d'augmentation par données synthétiques tentent de corriger cela en générant des échantillons manquants, la politique dominante — l'Équilibrage Complet des Classes (Full Class Balancing) — exige que chaque client génère des échantillons jusqu'à ce que toutes les classes atteignent la taille de la classe la plus importante du client.

Cette approche est extrêmement coûteuse en termes de calcul. Comme démontré dans l'article, atteindre un équilibrage complet sur un partitionnement standard de CIFAR-10 avec 20 clients et un fort déséquilibre ( $\alpha=0,1$ ) nécessite de générer plus de 226 000 échantillons synthétiques. De plus, les méthodes existantes soumises à des contraintes de budget allouent souvent les ressources de génération de manière uniforme ou en fonction de la taille des données du client, ignorant le déséquilibre spécifique de la distribution des labels. Les auteurs postulent que la question critique n'est pas seulement de savoir combien de données générer, mais OÙ les échantillons doivent être envoyés pour maximiser la précision au sein d'un budget fixe.

Méthodologie : FedEAS

L'article propose FedEAS (Federated Entropy-Adaptive Synthesis), une politique qui assigne dynamiquement un budget de génération par classe à chaque client en fonction de sa distribution de labels locale. Contra�à contrairement aux méthodes précédentes qui fixent le budget total à l'avance, FedEAS dérive le budget de génération total de la somme des budgets individuels des clients.

Mécanisme Central

FedEAS repose sur trois observations clés dérivées de l'analyse de la dérive des clients et de la réduction du déséquilibre :

Le déséquilibre est concentré : Un petit sous-ensemble de clients fortement déséquilibrés contribue de manière disproportionnée au déséquilibre global.
La génération ciblée est efficace : Le déséquilibre diminue uniquement lorsque des échantillons sont ajoutés aux classes rares ou absentes ; ajouter des échantillons aux classes déjà abondantes produit des rendements décroissants ou négatifs.
Rendements décroissants : Le coût pour éliminer le déséquilibre augmente à mesure que la distribution devient plus équilibrée ; un équilibrage complet est souvent inutile pour obtenir des gains de précision significatifs.

La Règle de Budget Adaptative à l'Entropie

Pour chaque client $k$ , FedEAS calcule un budget de génération par classe $b_k$ en utilisant la formule suivante :

$b_k = \lfloor \sqrt{\bar{n}_k} \cdot (1 - \tilde{H}_k) \cdot \beta \rfloor$

Où :

$\bar{n}_k = N_k / C$ est le nombre moyen par classe pour le client $k$ .
$\tilde{H}_k$ est l'entropie de Shannon normalisée de la distribution de labels locale du client (allant de 0 pour un déséquilibre élevé à 1 pour un équilibre parfait).
$\beta$ est un paramètre de budget scalaire partagé par tous les clients.
Le terme $(1 - \tilde{H}_k)$ garantit que les clients très déséquilibrés reçoivent des budgets plus importants, tandis que les clients presque équilibrés ou IID n'en reçoivent presque aucun (réduisant à un FedAvg standard dans la limite).
Le terme $\sqrt{\bar{n}_k}$ met à l'échelle le budget de manière sous-linéaire par rapport à la taille du client pour éviter de sur-allouer aux grands clients.

Génération et Entraînement

Une fois $b_k$ calculé, le client génère des échantillons synthétiques uniquement pour les classes $c$ où le compte local $n_k^c < b_k$ . Le nombre d'échantillons générés pour la classe $c$ est $n_{k, \text{gen}}^c = \max\{0, b_k - n_k^c\}$ . Cette stratégie de "remplissage jusqu'au seuil" (fill-to-threshold) garantit que les échantillons sont dirigés exclusivement vers les classes absentes ou rares. La génération est effectuée une seule fois par client en utilisant un Modèle de Diffusion Probabiliste (DDPM) pré-entraîné conditionnel à la classe, et les échantillons générés sont mis en cache pour être utilisés dans tous les cycles d'entraînement ultérieurs.

Principales Contributions

Allocation de Budget Adaptative à l'Entropie : FedEAS introduit une politique qui détermine à la fois la quantité de données synthétiques et leur distribution ("OÙ") en fonction du déséquilibre de labels local. Il alloue des budgets plus importants aux clients déséquilibrés et cible uniquement les classes rares.
Précision Efficace en Génération : La méthode récupère la majeure partie des gains de précision associés à l'Équilibrage Complet des Classes tout en réduisant le budget de génération totale de 94,1 % (par exemple, 13 437 échantillons contre 226 783 pour CIFAR-10). Cela se traduit par une réduction de 3,7× du temps d'exécution de bout en bout sur un seul GPU.
Dominance de l'Allocation : Sous un protocole de budget identique (où toutes les méthodes utilisent le même nombre total d'échantillons générés), FedEAS surpasse l'allocation Uniforme jusqu'à 18,82 % sur CIFAR-10 et CIFAR-100. Il converge également jusqu'à 2× plus vite que les politiques de génération de type "Missing-only" (uniquement les manquants).

Résultats Expérimentaux

Les auteurs ont évalué FedEAS sur CIFAR-10 et CIFAR-100 sous un déséquilibre de labels de type Dirichlet ( $\alpha \in \{0,05, 0,1, 0,3\}$ ) avec un nombre variable de clients ( $K=20, 100$ ).

Précision vs Budget : Sur CIFAR-10 ( $\alpha=0,1, K=20$ ), FedEAS a atteint une précision de 71,65 %, récupérant les deux tiers du gain fourni par le Full-Balance (79,91 %) tout en n'utilisant que 5,9 % des échantillons synthétiques.
Comparaison avec les Baselines : FedEAS a systématiquement surpassé les standards de l'apprentissage fédéré (FedAvg, FedProx, SCAFFOLD, MOON) ainsi que les baselines d'augmentation (Uniform, Missing-only).
Sensibilité au Budget : Il a été démontré que la précision augmente de manière monotone avec le paramètre de budget $\beta$ . Les auteurs ont sélectionné $\beta=12$ comme valeur par défaut, ce qui satisfaisait deux conditions : supprimer au moins 50 % du score de déséquilibre initial tout en maintenant les échantillons synthétiques en dessous de 25 % du total des données d'entraînement.
Études d'Ablation : Le retrait du facteur d'entropie ou le remplacement de l'échelle de taille sous-linéaire par une règle linéaire a entraîné une précision et des coûts de génération plus élevés, confirmant la nécessité des deux composants dans la formule du budget.

Signification et Revendications

L'article soutient que l'allocation est le principal problème de conception pour l'augmentation synthétique dans le FL avec déséquilibre de labels. Les auteurs affirment que le budget total de génération ne doit pas être une contrainte fixe et prédéterminée, mais plutôt une conséquence des besoins par client dérivés de leurs distributions locales.

En déplaçant l'accent de l'"équilibrage complet" vers un "budget adaptatif à l'entropie", FedEAS démontre que des améliorations de précision significatives peuvent être obtenues avec un minimum de génération de données synthétiques. La méthode est agnostique au générateur (compatible avec n'importe quel générateur conditionnel à la classe) et ne nécessite aucun changement au protocole de communication ou aux poids d'agrégation du FL standard, ce qui en fait une solution pratique et efficace pour atténuer la dérive des clients dans des environnements hétérogènes.