💻 computer science

Adaptive Data Partitioning for Energy-Efficient Federated and Distributed Learning on Heterogeneous Systems

Cet article propose un contrôleur de partitionnement de données adaptatif piloté par la mesure qui réalloue dynamiquement les budgets d'échantillonnage en fonction des mesures de temps d'entraînement et d'énergie en temps réel afin d'atténuer les traînards, de réduire la consommation d'énergie et d'améliorer l'efficacité de l'entraînement à travers des systèmes d'apprentissage distribués et fédérés hétérogènes.

Auteurs originaux : Daniel Suárez Labena, Vicente José Blanco Pérez, Pedro Antonio Toledo Delgado, Francisco Carmelo Almeida Rodríguez

Publié 2026-08-10

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniel Suárez Labena, Vicente José Blanco Pérez, Pedro Antonio Toledo Delgado, Francisco Carmelo Almeida Rodríguez

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une salle de classe où un groupe d'élèves essaie de résoudre ensemble un puzzle massif et complexe. Dans un monde parfait, tout le monde travaillerait exactement à la même vitesse, finirait sa pièce au même moment et la rendrait au professeur simultanément. Mais dans le monde réel, certains élèves ont des cerveaux super rapides, d'autres ont des processeurs plus lents, certains sont fatigués et d'autres sont distraits. C'est la réalité quotidienne de l'apprentissage distribué, un domaine où les ordinateurs (ou appareils) s'associent pour entraîner des modèles d'intelligence artificielle. Au lieu d'un seul superordinateur géant faisant tout le travail, nous utilisons de nombreux appareils plus petits — comme des smartphones, des tablettes ou des puces spécialisées — travaillant en parallèle.

Cependant, il y a un piège : tout le groupe doit attendre l'élève le plus lent avant de pouvoir passer à l'étape suivante. Si un élève est lent, les plus rapides restent là à attendre, perdant du temps et de la batterie. C'est ce qu'on appelle l'« effet traînard » (straggler effect). C'est comme une course de relais où les coureurs les plus rapides sont forcés de s'arrêter à la ligne d'arrivée pour attendre que le coureur le plus lent les rattrape. L'objectif des chercheurs dans ce domaine est de trouver comment occuper tout le monde, terminer la course plus vite et économiser de l'énergie, même lorsque l'équipe est composée de coureurs très différents.

Le Problème : Le Piège du « Taille Unique »

Les chercheurs de l'Université de La Laguna ont remarqué que la plupart des systèmes traitent tous les appareils de la même manière. Ils disent : « D'accord, nous avons 1 000 pièces de puzzle ; donnons-en 100 à chacun des 10 élèves. » Cela semble équitable, mais c'est en réalité inefficace. Si l'Élève A possède un ordinateur super rapide, il finira ses 100 pièces en une minute et attendra ensuite 10 minutes l'Élève B, qui possède un appareil plus lent, pour terminer. Pendant ces 10 minutes, l'ordinateur de l'Élève A continue de vrombir, consommant de l'électricité, simplement en attendant.

L'article pose une question simple : Et si nous ne donnions pas la même quantité de travail à tout le monde ? Et si nous donnions plus de pièces aux élèves rapides et moins aux élèves lents, afin que tout le monde finisse à peu près en même temps ? Et mieux encore, et si nous considérions également quels élèves utilisent le moins de batterie par pièce ?

La Solution : Le Coach Intelligent

Les auteurs ont conçu un « Coach Intelligent » (un contrôleur piloté par la mesure) qui observe les élèves pendant qu'ils travaillent. Il ne devine pas qui est rapide ou lent ; il les mesure réellement.

Voici comment fonctionne le coach :

Round 1 : Tout le monde reçoit une part égale du puzzle.
Le Point de Contrôle : À la fin du round, le coach demande : « Combien de temps cela vous a-t-il pris ? » et « Quelle quantité de batterie avez-vous utilisée ? ».
L'Ajustement : Pour le round suivant, le coach redistribue le travail. Si un appareil était rapide et efficace, le coach dit : « Bon travail ! Voici plus de travail pour toi. » Si un appareil était lent ou a drainé sa batterie rapidement, le coach dit : « Vas-y doucement, voici moins de travail. »

Cela se produit à la limite de chaque « round » d'entraînement. Le coach est assez intelligent pour connaître les règles du jeu. Dans certains jeux (comme l'Apprentissage Fédéré), les données appartiennent à des personnes spécifiques et ne peuvent pas être déplacées. Dans ces cas, le coach peut seulement redistribuer le travail entre les appareils à l'intérieur du groupe de cette personne. Dans d'autres jeux où tout le monde partage les données, le coach peut déplacer le travail librement entre n'importe quel appareil.

Les Résultats : Vitesse et Économies

Les chercheurs ont testé ce « Coach Intelligent » sur un terrain de jeu de 11 appareils différents, allant de puces informatiques puissantes à de petites cartes à faible consommation. Ils ont comparé leur méthode à l'ancienne méthode de « Répartition Égale » et à une méthode de « Profil Statique » (où le coach vous mesure une seule fois au début et ne change jamais le plan).

Ce qu'ils ont trouvé :

Finitions plus rapides : En donnant plus de travail aux appareils rapides et moins aux appareils lents, l'ensemble du groupe a terminé l'entraînement beaucoup plus vite. Dans certains tests, le temps nécessaire pour terminer a été réduit de plus de 70 % par rapport à la répartition égale.
Économies d'énergie : Comme les appareils rapides n'attendaient pas sans rien faire, l'énergie totale utilisée par le groupe a considérablement chuté. Dans certains cas, l'utilisation de l'énergie a été réduite de plus de 40 %.
La surprise du « Poids Énergétique » : Le coach avait un réglage spécial appelé « poids énergétique ». Les chercheurs se sont dit : « Si nous disons au coach de donner la priorité à l'économie d'énergie, ce sera encore mieux. » Mais ils ont découvert quelque chose de complexe. Si le coach donnait trop de travail à un appareil qui est économe en énergie mais très lent, tout le groupe devait attendre plus longtemps, et l'énergie totale augmentait en fait. Il s'avère que le meilleur équilibre dépend de la tâche spécifique. Parfois, se concentrer uniquement sur la vitesse (Temps Uniquement) était en fait la meilleure façon d'économiser l'énergie car cela permettait de terminer la tâche si rapidement que les appareils pouvaient s'éteindre plus tôt.

Ce Qu'ils N'Ont Pas Fait (et Pourquoi Cela Importe)

Il est important de noter ce que cet article n'a pas fait. Les chercheurs n'ont pas modifié le modèle d'IA lui-même, ils n'ont pas changé les mathématiques que l'IA utilise pour apprendre, et ils n'ont pas expulsé les appareils lents du jeu. Ils ont gardé tout le monde dans la pièce. Ils n'ont pas non plus utilisé une prédiction « magique » qui devine l'avenir ; ils ont seulement utilisé ce qu'ils pouvaient mesurer sur le moment.

Ils ont également montré que simplement choisir les appareils les « plus rapides » et ignorer les plus lents (une stratégie courante dans certains systèmes) n'est pas toujours la solution si l'on veut utiliser tout son matériel disponible. Leur méthode permet à tout le monde de participer, mais ajuste la charge de travail pour que personne ne soit laissé dans le froid.

Ce qu'il faut retenir

Cet article prouve que vous n'avez pas besoin de mettre à jour votre matériel pour rendre votre entraînement d'IA plus rapide et plus écologique. Vous avez juste besoin d'une meilleure façon de distribuer le travail. En observant en temps réel la vitesse et l'efficacité de chaque appareil et en ajustant la charge de travail en conséquence, vous pouvez empêcher les « traînards » de ralentir la course. C'est un peu comme un coach qui réalise que les sprinteurs devraient faire plus de tours pendant que les joggeurs en font moins, afin que tout le monde franchisse la ligne d'arrivée ensemble, fatigué mais heureux, sans que personne ne gaspille d'énergie à attendre debout.

Résumé technique : Partitionnement adaptatif des données pour un apprentissage fédéré et distribué économe en énergie sur des systèmes hétérogènes

1. Énoncé du problème

L'entraînement de modèles distribués sur des systèmes hétérogènes est considérablement entravé par les variations de débit de traitement, de comportement de la mémoire et de conditions opérationnelles parmi les dispositifs participants. Lorsqu'une division égale et fixe des données d'entraînement est appliquée, les dispositifs plus rapides terminent leur travail prématurément et restent inactifs en attendant les dispositifs plus lents (« stragglers » ou traînards) lors des points de synchronisation. Cet effet de traînard augmente non seulement la durée totale de l'entraînement (makespan), mais augmente également la consommation d'énergie des dispositifs, car les participants synchronisés doivent rester actifs jusqu'à ce que le progrès collectif puisse se poursuivre.

Les approches existantes pour atténuer ce problème reposent souvent sur la sélection de participants (exclusion des dispositifs lents), l'agrégation asynchrone, des changements dans les méthodes d'optimisation ou l'adaptation du modèle. Bien que des systèmes récents aient exploré la redistribution des données d'entraînement, beaucoup dépendent de contrôleurs appris, de recherches préalables, de paramètres matériels spécifiques ou de modifications des sémantiques de synchronisation et des ensembles de participation. Il subsiste un manque pour un mécanisme commun à boucle fermée capable d'opérer à travers différentes frontières de synchronisation et de propriété de données (telles que l'apprentissage fédéré et le parallélisme de données distribué - DDP) tout en conservant la configuration d'apprentissage, le modèle et les règles de synchronisation originaux.

2. Méthodologie

Les auteurs proposent un contrôleur d'allocation léger, piloté par la mesure, qui réalloue un budget d'échantillons fixe aux limites des tours (rounds) en se basant sur le temps d'entraînement observé et l'énergie par échantillon mesurée. Le contrôleur fonctionne sans modifier le modèle, la fonction de perte, l'optimiseur ou l'ensemble des dispositifs participants.

Régimes d'exécution

L'étude évalue le contrôleur à travers trois régimes d'exécution distincts :

Moyennage périodique de modèles (PMA - Periodic Model Averaging) : Les travailleurs entraînent des répliques de modèles indépendantes sur des données partagées au sein d'un domaine de confiance et ne se synchronisent qu'aux limites des tours.
Parallélisme de données distribué (DDP - Distributed Data Parallelism) : Les rangs synchronisent les gradients après chaque étape de l'optimiseur. Ce régime nécessite une stratégie spécifique de dimensionnement de lots (batch-sizing) pour gérer les charges de travail par rang inégales sans introduire de remplissage (padding) ou de lots fictifs.
Apprentissage fédéré hiérarchique avec DDP intra-silo (HFL-DDP) : Les dispositifs sont regroupés en « silos » fixes (domaines de propriété de données). Les rangs au sein d'un silo utilisent le DDP, tandis que les modèles de silos sont agrégés à la limite du tour fédéré. La réassignation est restreinte aux rangs au sein d'un même silo pour respecter la propriété des données.

Le contrôleur adaptatif

Le contrôleur fonctionne comme suit :

Mesure : À la fin de chaque tour $r$ , chaque participant $i$ rapporte son temps de traitement ( $t_i^{(r)}$ ), sa consommation d'énergie ( $e_i^{(r)}$ ) et son nombre d'échantillons ( $n_i^{(r)}$ ).
Calcul du coût : Les coûts par échantillon sont dérivés comme $\tau_i^{(r)} = t_i^{(r)} / n_i^{(r)}$ et $\epsilon_i^{(r)} = e_i^{(r)} / n_i^{(r)}$ . Ces valeurs sont lissées à l'aide d'une moyenne mobile exponentielle (EMA) pour réduire le bruit.
Répartition proportionnelle pondérée : Le contrôleur calcule un coût combiné sans dimension $c_i^{(r)}$ $c_{i}^{(r)}$ utilisant des poids sélectionnés par l'utilisateur $w_t$ $w_{t}$ (temps) et $w_e$ $w_{e}$ (énergie).
- $c_i^{(r)} = w_t \frac{\hat{\tau}_i^{(r)}}{\text{médiane}(\hat{\tau})} + w_e \frac{\hat{\epsilon}_i^{(r)}}{\text{médiane}(\hat{\epsilon})}$
Allocation : Les participants se voient assigner des échantillons inversement proportionnels à leur coût. Un mécanisme de « zone morte » (deadband) empêche une réallocation inutile si les différences de coût sont négligeables.
Spécificités DDP : Pour le DDP, le contrôleur garantit que tous les rangs exécutent le même nombre d'étapes d'optimiseur par tour en construisant des calendriers de taille de lot par étape qui redistribuent les échantillons locaux, préservant ainsi l'objectif de la moyenne des échantillons du gradient.

Configuration expérimentale

L'évaluation a été menée sur un banc d'essai de systèmes sur puce (SoC) hétérogènes de onze dispositifs comprenant des architectures Arm, RISC-V et x86. Trois tâches d'apprentissage supervisé ont été utilisées : MNIST (classification d'images), ERA5 (régression de séries temporelles) et IMDB (analyse de sentiment de texte). L'étude compare les politiques adaptatives contre :

Allocation égale : Division uniforme des échantillons.
Profilage statique : Une mesure unique suivie d'une allocation fixe.
Sélection de type Oort : Une ligne de base qui exclut les participants lents.
FedAsync : PMA asynchrone.
Taille de lot EMA (EMA batch sizing) : Une ligne de base de débit au niveau de l'étape pour le DDP.

3. Principales contributions

Le papier présente quatre contributions primaires :

Un contrôleur piloté par la mesure : Un mécanisme léger qui réalloue un budget d'échantillons fixe basé sur le temps et l'énergie observés par échantillon, préservant l'ensemble complet des participants et les sémantiques de synchronisation.
Conception unifiée : Une conception d'allocation commune applicable au PMA, au DDP et au HFL-DDP, avec des contraintes spécifiques pour les frontières de propriété de données dans les contextes hiérarchiques.
Objectif sensible à l'énergie : Une fonction d'objectif avec des poids ajustables qui expose l'interaction entre l'énergie par échantillon, le temps d'entraînement (makespan) et l'énergie des dispositifs synchronisés, remettant en question l'hypothèse selon laquelle maximiser le poids de l'énergie minimise toujours l'énergie totale.
Évaluation complète : Une étude reproduite à travers trois tâches d'apprentissage et trois régimes de synchronisation sur un banc d'essai hétérogène, reliant les changements d'allocation au déséquilibre de calcul, à l'exposition à la synchronisation, au makespan et à l'énergie mesurée.

4. Résultats

Les expériences sur le banc d'essai hétérogène ont produit les résultats suivants :

Réduction du makespan et de l'énergie : Le partitionnement adaptatif (spécifiquement les politiques « Temps uniquement » et « Basse énergie ») a systématiquement réduit le makespan d'entraînement et l'énergie mesurée des dispositifs par rapport à l'allocation égale. Dans le PMA, la politique « Temps uniquement » a réduit le médian du makespan d'environ 71 à 80 % et l'énergie de 28 à 40 % à travers les tâches.
Atténuation des traînards : Le contrôleur a considérablement réduit le déséquilibre de calcul. Dans le DDP, le coefficient de variation du temps de passage direct (forward-pass) est passé d'environ 0,8–1,1 (Égal) à environ 0,02–0,18 (adaptatif), ce qui est directement corrélé à la réduction de l'attente de synchronisation.
Convergence : Les politiques adaptatives ont atteint les régions de faible objectif (perte/MSE sur l'ensemble de test) plus rapidement que l'allocation égale, atteignant souvent une qualité finale comparable en beaucoup moins de temps.
Réponse énergétique non monotone : Augmenter le poids de l'énergie ( $w_e$ ) n'a pas toujours réduit l'énergie totale. Assigner plus de travail à des dispositifs économes en énergie mais plus lents peut prolonger la fenêtre d'exécution synchronisée, augmentant ainsi l'énergie accumulée de tous les participants. Un petit poids d'énergie ( $w_e = 0,25$ ) a souvent fourni un meilleur compromis que la politique « Énergie uniquement » ( $w_e = 1$ ).
Surcharge (Overhead) : Le calcul de l'ordonnancement lui-même était négligeable, consommant moins de 0,02 % de la durée du tour.

5. Signification et affirmations

Le papier affirme que le partitionnement des données basé sur la mesure fournit une méthode pratique pour atténuer les traînards à travers différents régimes d'entraînement distribué sans modifier la configuration d'apprentissage ou les règles de synchronisation.

Praticité : La méthode ne nécessite aucun profilage préalable, aucune politique apprise, ni de changement dans l'optimiseur ou l'architecture du modèle. Elle fonctionne comme un contrôleur à boucle fermée utilisant la télémétrie d'exécution.
Optimisation dépendante du contexte : Les auteurs soulignent que l'équilibre optimal entre le temps et l'énergie dépend de la tâche spécifique et du régime d'exécution. Bien que le « Temps uniquement » soit la valeur par défaut la plus fiable pour minimiser le makespan, un petit poids d'énergie peut être bénéfique dans certains contextes (ex: HFL-DDP sur certaines tâches).
Distinction par rapport aux travaux antérieurs : Contrairement aux méthodes de sélection de participants (ex: Oort) qui excluent les dispositifs, cette approche conserve tous les participants provisionnés. Contrairement aux méthodes asynchrones, elle préserve les sémantiques de synchronisation du régime cible.
Limites : Les auteurs notent modestement que les résultats sont spécifiques au banc d'essai de onze dispositifs évalué et aux conditions réseau fixes. Ils ne prétendent pas une supériorité universelle sur toutes les méthodes existantes, mais démontrent qu'une simple réallocation basée sur la mesure d'un budget fixe peut surpasser les divisions égales statiques et le profilage unique dans des environnements hétérogènes.