🤖 machine learning

HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning

L'article introduit HERO, une bibliothèque de référence sensible à l'hétérogénéité pour l'apprentissage fédéré continu qui découple les divisions de tâches, les distributions de données des clients et les séquences de tâches afin de permettre des évaluations reproductibles révélant comment la performance des méthodes varie selon différents paramètres d'hétérogénéité et peut être masquée par des métriques moyennes.

Auteurs originaux : Thinh T. H. Nguyen, Le-Tuan Nguyen, Minh-Duong Nguyen, Nhi Trinh, Anh Tran Nam Nguyet, Dung D. Le, Kok-Seng Wong

Publié 2026-07-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Thinh T. H. Nguyen, Le-Tuan Nguyen, Minh-Duong Nguyen, Nhi Trinh, Anh Tran Nam Nguyet, Dung D. Le, Kok-Seng Wong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à une classe immense composée d'étudiants qui sont tous dans des salles différentes, utilisant des manuels différents et apprenant à des vitesses différentes. C'est le monde de l'Apprentissage Continu Fédéré (FCL - Federated Continual Learning). L'objectif est d'entraîner un modèle de « super-professeur » intelligent qui apprend de tous ces étudiants sans jamais voir leurs cahiers privés. Mais il y a un piège : les leçons des étudiants changent constamment au fil du temps. Un jour, ils apprennent les chats, le lendemain les chiens, et le jour suivant les fusées. Le professeur doit se souvenir des chats tout en apprenant les fusées, alors que les étudiants sont dispersés à travers le globe.

Pendant longtemps, les scientifiques essayant de tester ces « super-professeurs » jouaient à un jeu de « comparer des pommes avec des oranges ». Un chercheur pouvait tester sur un ensemble de données de 100 images, un autre sur 1 000 ; l'un pouvait faire en sorte que tous les étudiants apprennent dans le même ordre, tandis qu'un autre les faisait apprendre dans le chaos. Il était impossible de dire si une méthode était réellement intelligente ou simplement chanceuse parce que le test était plus facile.

Entrez en scène HERO (Heterogeneity-Aware Benchmark Library for Federated Continual Learning). Considérez HERO comme un parcours d'obstacles géant et parfaitement calibré que chaque super-professeur doit parcourir. Au lieu de laisser les chercheurs construire leurs propres pistes désordonnées, HERO construit la piste pour eux, garantissant que tout le monde affronte exactement les mêmes obstacles.

Les Trois Boutons Magiques

La principale découverte de l'article est que les tests précédents mélangeaient trois types de problèmes différents dans un grand méli-mélo. HERO les sépare en trois « boutons » distincts que vous pouvez tourner pour voir exactement ce qui fait échouer un modèle :

Le bouton « Qui reçoit quoi » (Asymétrie des données clients) : Imaginez une fête de pizzas. Si tout le monde reçoit une part égale de chaque garniture, c'est facile. Mais que se passe-t-il si un étudiant ne reçoit que de la pepperoni, un autre uniquement des champignons, et un troisième un mélange bizarre ? C'est l'asymétrie des données clients (client data skew). L'article utilise un nombre appelé $\alpha$ pour le contrôler. Un $\alpha$ élevé (comme 100,00) signifie que tout le monde reçoit une part équitable. Un $\alpha$ faible (comme 0,10) signifie que les parts sont extrêmement inégales.
Le bouton « Qui va quand » (Décalage de l'ordre des tâches) : Imaginez une course de relais. Dans une course synchronisée, tout le monde court le segment 1, puis le segment 2, puis le segment 3 ensemble. Mais dans une course chaotique, l'Étudiant A court le segment 1, puis le segment 3, puis le segment 2, tandis que l'Étudiant B court le segment 2, puis le segment 1, puis le segment 3. C'est le décalage de l'ordre des tâches (task-order mismatch). L'article utilise un nombre appelé $\rho$ pour le contrôler. Si $\rho$ est de 0,00, tout le monde court en parfaite synchronisation. Si $\rho$ est de 1,00, tout le monde court selon son propre rythme chaotique.
Le bouton « Qu'y a-t-il au menu » (Répartition des tâches) : Cela décide quels sujets (comme les « chats » ou les « chiens ») composent chaque leçon.

En séparant ces éléments, HERO permet aux chercheurs de demander : « Est-ce que ce modèle échoue parce que les données sont inégales, ou parce que les étudiants sont confus quant à l'ordre des leçons ? »

La Grande Surprise : Les scores moyens mentent

L'article a mené une expérience massive utilisant CIFAR-100 (un ensemble de données de 100 catégories d'images) et TinyImageNet (un ensemble plus petit de 100 catégories d'images). Ils ont testé de nombreuses méthodes de « super-professeur ».

Voici la grande révélation : Les scores moyens peuvent masquer un désastre.

Dans le réglage « Facile » (où les données sont équitables et tout le monde apprend dans l'ordre), une méthode appelée FedCBDR était la star. Elle avait la précision moyenne la plus élevée. Mais dès que les chercheurs ont augmenté le chaos (en rendant les données inégales et les ordres mélangés), FedCBDR a commencé à s'effondrer.

Pendant ce temps, d'autres méthodes comme TagFed et LGA ne semblaient pas être les meilleures dans le réglage facile, mais elles étaient les survivantes les plus robustes dans le réglage difficile. Elles ont empêché les « 10 % de clients les moins bien lotis » (ceux qui ont les données les plus difficiles et les programmes les plus bizarres) de sombrer complètement.

L'article mesure cela à l'aide de trois scores spécifiques :

Précision Moyenne Finale (AFA - Final Average Accuracy) : La moyenne de la classe.
Oubli Moyen (AF - Average Forgetting) : Ce que le professeur a oublié des anciennes leçons.
Précision des Clients du Bas 10 % (B10 - Bottom-10% Client Accuracy) : La performance des étudiants les moins bien lotis.

Les résultats ont montré qu'une méthode peut avoir une AFA élevée mais une B10 terrible. C'est comme une école où les meilleurs élèves obtiennent des notes excellentes, mais où les 10 % les moins bons échouent à l'examen. Si vous ne regardez que la moyenne, vous penseriez que l'école est géniale. HERO vous force à regarder les 10 % les plus faibles pour voir la vérité.

L'Expérience sur les Graphes : Pas seulement des images

Pour prouver que HERO ne s'applique pas qu'aux images, les auteurs l'ont testé sur OGB-MolPCBA, un ensemble de données concernant des molécules (structures chimiques). Au lieu d'apprendre de nouveaux types de molécules, le modèle devait apprendre à partir de différents groupes de molécules qui se ressemblent différemment (comme différents squelettes moléculaires).

Ils ont testé cela en regroupant les molécules en 5, 15 ou 25 domaines différents. À mesure qu'ils rendaient les groupes plus petits et plus spécifiques (en augmentant le nombre de domaines), les modèles devenaient moins performants. La « Précision Moyenne » (AP) chutait et « l'oubli » augmentait. Cela a prouvé que l'interface de HERO fonctionne pour les graphes et les produits chimiques, et pas seulement pour les images.

Ce que l'article écarte

L'article argumente explicitement contre l'idée que l'on puisse juger ces modèles avec un score unique de « Classement » (Leaderboard). Ils montrent qu'une méthode qui gagne sur un test simple et synchronisé peut perdre lourdement lorsque le monde réel devient désordonné. Ils écartent également l'idée que la « performance moyenne » soit suffisante ; vous devez vérifier la performance des clients les plus faibles pour savoir si une méthode est vraiment robuste.

À quel point sommes-nous sûrs ?

Les auteurs sont très sûrs de leurs conclusions car ils n'ont pas seulement deviné ; ils ont mesuré. Ils ont mené leurs expériences cinq fois avec différentes graines aléatoires pour s'assurer que les résultats n'étaient pas dus à la chance. Ils ont rapporté des chiffres comme 53,91 ± 1,53 pour la précision sur CIFAR-100 dans le réglage facile, montrant exactement comment les résultats variaient.

Ils ont constaté que dans le réglage « Joint-Hard » (où $\alpha = 0,10$ et $\rho = 1,00$ ), la meilleure méthode (TagFed) a atteint une AFA de 42,83 sur CIFAR-100, tandis que le gagnant du réglage facile (FedCBDR) est tombé à 39,74. Ce sont des faits mesurés, pas de simples suggestions.

Ce qu'il faut retenir

HERO est comme une nouvelle sorte de salle de sport pour les modèles d'IA. Au lieu de les laisser courir sur une piste plate et vide où ils ont tous l'air rapides, HERO les place sur une piste avec des collines, du vent et un sol inégal. Il montre que le modèle qui semble le plus rapide sur une piste plate peut être celui qui trébuche dans la boue. En séparant le « qui reçoit quoi » du « qui va quand », HERO nous aide à construire une IA qui est réellement prête pour le monde réel, complexe et imprévisible.

Résumé Technique : HERO – Une bibliothèque de benchmarks sensible à l'hétérogénéité pour l'apprentissage fédéré continu

1. Énoncé du problème

L'apprentissage continu fédéré (FCL - Federated Continual Learning) traite le défi des clients distribués apprenant à partir de flux de données non stationnaires tout en conservant les connaissances acquises précédemment. Cependant, le domaine souffre d'un important « fossé de benchmarking ». Les évaluations existantes sont difficiles à comparer car les chercheurs modifient simultanément plusieurs variables : jeux de données, répartitions de tâches, distributions de données des clients, séquences de tâches, architectures de modèles, contraintes de mémoire et règles de rapport. Par conséquent, une méthode peut paraître supérieure non pas par sa robustesse, mais parce qu'elle a été évaluée sous un protocole plus favorable ou moins hétérogène. Les évaluations actuelles échouent souvent à distinguer si une méthode est robuste face au biais des données clients, au décalage de séquence de tâches ou aux changements de domaine, ou si elle performe simplement bien sous des paramètres synchronisés et faciles.

2. Méthodologie : Le framework HERO

Les auteurs introduisent HERO, une bibliothèque de benchmark sensible à l'hétérogénéité conçue pour unifier la construction des flux, l'exécution des méthodes et le rapport des résultats. La philosophie de conception centrale est la séparation de trois choix couplés qui sont généralement confondus dans les travaux antérieurs :

Répartition des tâches (Task Split) : Décider quelles classes ou quels domaines forment chaque tâche.
Répartition des données clients (Client Data Split) : Décider de la distribution des données que chaque client reçoit pour chaque tâche.
Séquence de tâches des clients (Client Task Sequence) : Décider l'ordre dans lequel chaque client rencontre les tâches.

Construction du flux (Stream Construction) :
HERO génère des flux $B(\xi, \alpha, \rho)$ où :

$\xi$ est une graine (seed) assurant la reproductibilité.
$\alpha$ contrôle le biais des données clients via une distribution de Dirichlet ( $\text{pt,c} \sim \text{Dir}_K(\alpha \mathbf{1})$ ). Des valeurs de $\alpha$ plus faibles induisent un biais plus fort (données non-IID).
$\rho$ contrôle le décalage d'ordre des tâches. Il définit l'écart des séquences de tâches individuelles des clients par rapport à un ordre de référence partagé $\pi^*$ . Des valeurs de $\rho$ plus élevées entraînent des séquences de tâches plus asynchrones et décalées.

La bibliothèque comprend trois niveaux :

HERO-Core : Le benchmark principal comparable se concentrant sur l'apprentissage incrémental de classes fédéré (FCIL) basé sur l'image en utilisant CIFAR-100 et TinyImageNet.
HERO-Portability : Teste l'extension de l'interface à d'autres contextes, spécifiquement une étude de cas d'apprentissage incrémental de domaine (Domain-IL) sur OGB-MolPCBA (données moléculaires basées sur des graphes).
HERO-Extended : Stocke des constructeurs de jeux de données et des implémentations de méthodes supplémentaires pour un usage futur.

Métriques :
HERO rapporte trois métriques primaires pour capturer différents aspects de la performance :

Précision moyenne finale (AFA - Final Average Accuracy) : Mesure la performance globale finale.
Oubli moyen (AF - Average Forgetting) : Mesure la chute de performance sur les tâches anciennes.
Précision des 10 % de clients les moins performants (B10 - Bottom-10% Client Accuracy) : Mesure la performance des 10 % de clients les moins performants, mettant en évidence la robustesse face à l'hétérogénéité.
Pour l'étude de portabilité sur les graphes, la Précision Moyenne (AP) et l'oubli AP sont utilisés.

3. Contributions clés

Le papier présente quatre contributions spécifiques :

Bibliothèque HERO : Une bibliothèque de benchmark unifiée et sensible à l'hétérogénéité qui sépare la construction du flux de l'exécution de la méthode, en publiant des flux, des configurations et des scripts de rapport fixes pour assurer la reproductibilité.
Générateur de flux découplé : Un générateur qui isole la répartition des tâches, la répartition des données clients et la séquence de tâches des clients, permettant aux chercheurs de contrôler et d'inspecter indépendamment le biais des données clients ( $\alpha$ ) et le décalage d'ordre des tâches ( $\rho$ ).
Benchmark HERO-Core : Un benchmark FCIL dense basé sur l'image sur CIFAR-100 et TinyImageNet, présentant des flux partagés, des paramètres d'hétérogénéité contrôlés et un ensemble représentatif de méthodes.
Démonstration de portabilité : Une étude de cas sur OGB-MolPCBA montrant que l'interface HERO s'étend au Domain-IL basé sur les graphes, où des domaines moléculaires groupés par squelettes (scaffolds) créent des changements de distribution sans changer la tâche de prédiction.

4. Résultats expérimentaux

Les auteurs ont évalué des méthodes représentatives de FCL (ex: FedAvg, GLFC, TagFed, LGA, FedCBDR) à travers une grille $\alpha$ - $\rho$ allant de "Facile" (synchronisé, équilibré) à "Joint-Hard" (biais élevé, décalage élevé).

Variance du comportement des méthodes : La performance des méthodes dépend fortement du paramètre d'hétérogénéité. Les méthodes qui dominent dans les réglages "Faciles" (ex: FedCBDR) ne sont pas nécessairement les plus stables sous une forte hétérogénéité. Par exemple, TagFed et LGA deviennent plus compétitives à mesure que le biais des données clients et le décalage d'ordre des tâches augmentent, particulièrement concernant le B10.
Performance moyenne vs performance des clients les moins performants : La précision moyenne (AFA) peut masquer une faible performance sur les clients difficiles. Bien que FedCBDR atteigne souvent une AFA élevée, TagFed et LGA démontrent une Précision des 10 % de clients les moins performants (B10) supérieure dans les contextes hétérogènes, indiquant une meilleure protection des clients sous-performants.
Modes de défaillance distincts : L'étude révèle que le biais des données clients et le décalage d'ordre des tâches causent des schémas d'échec différents.
- Biais des données clients ( $\alpha$ ) : Dégrade principalement le B10, indiquant que les clients difficiles sont disproportionnellement affectés par le déséquilibre des données.
- Décalage d'ordre des tâches ( $\rho$ ) : Augmente principalement l'Oubli Moyen (AF), suggérant que les séquences décalées créent davantage d'interférences temporelles.
Portabilité : Dans l'étude OGB-MolPCBA, l'augmentation de la granularité des domaines de squelettes (domaines plus fins) a réduit la Précision Moyenne et augmenté l'oubli. Les méthodes de graphes (POWER, MOTION) ont surpassé FedAvg, confirmant que l'interface HERO peut décrire des flux de changement de distribution au-delà du FCIL basé sur l'image.

5. Signification et affirmations

Le papier affirme que HERO répond au manque d'évaluation contrôlée et comparable dans le domaine du FCL. En séparant les sources d'hétérogénéité, HERO permet aux chercheurs de :

Déterminer si une méthode est robuste à des types spécifiques de difficulté (biais vs décalage) plutôt qu'à un paramètre "hétérogène" générique.
Révéler qu'un classement mondial unique est insuffisant ; le classement des méthodes change considérablement selon la configuration spécifique d'hétérogénéité.
Exposer les échecs sur la "longue traîne" des clients (via le B10) que les métriques moyennes masquent.
Étendre les protocoles d'évaluation à des domaines non visuels (comme les graphes) sans mélanger des paramètres incompatibles dans un score unique.

Les auteurs soulignent que HERO est conçu comme une bibliothèque réutilisable pour soutenir une évaluation du FCL cumulative, reproductible et sensible aux réglages, plutôt que comme un protocole expérimental ponctuel. Ils précisent explicitement que bien que HERO documente les hypothèses des méthodes, il ne remplace pas l'analyse formelle de la confidentialité ou la validation au niveau du déploiement.