Dans le monde numérique moderne, l'intelligence artificielle apprend souvent en regroupant les données de millions d'appareils, des smartphones aux capteurs hospitaliers. Cette approche, connue sous le nom d'apprentissage fédéré (federated learning), permet aux ordinateurs de construire des modèles puissants sans jamais déplacer les données brutes elles-mêmes, préservant ainsi la confidentialité tout en exploitant l'intelligence collective. Cependant, un problème persistant survient car les données sur chaque appareil sont rarement identiques. Un utilisateur peut prendre des milliers de photos de chats, tandis qu'un autre ne capture que des paysages ; un hôpital peut traiter principalement des patients âgés, tandis qu'un autre reçoit surtout des enfants. Lorsque ces sources de données diverses tentent d'apprendre à partir d'un modèle partagé unique, le résultat est souvent un système confus qui performe mal pour tout le monde. Pour résoudre cela, les chercheurs se sont tournés vers l'apprentissage fédéré personnalisé, une méthode qui tente de trouver un équilibre entre un socle commun et des adaptations spécifiques à chaque utilisateur individuel. Pourtant, même avec ces ajustements personnalisés, le processus d'apprentissage peut devenir instable. À mesure que le modèle se met à jour au fil du temps, la façon dont il comprend des fragments d'informations spécifiques peut changer de manière imprévisible, provoissant le fait que le système oublie ce qu'il a appris lors des étapes précédentes ou applique les mauvaises leçons aux mauvaises données.

Une équipe de chercheurs de l'Université de la science et de la technologie de Henan et de l'Université des sports de Henan a développé un nouveau cadre appelé FedEAGD pour remédier à cette instabilité. Leur travail se concentre sur un problème subtil mais critique : comment la compréhension d'un point de donnée unique, comme une image spécifique, change à mesure que le modèle apprend au cours de nombreuses rondes de communication. Au lieu de traiter chaque donnée de la même manière, leur méthode suit l'historique de la façon dont le modèle perçoit chaque échantillon individuel. Ils ont découvert que certaines images poussent le modèle à changer d'avis radicalement d'une ronde à l'autre, tandis que d'autres restent stables. En mesurant cette « dérive », le système peut décider à quel point s'appuyer sur les leçons passées pour chaque élément spécifique. Si une donnée provoque l'instabilité du modèle, le système applique un guidage plus fort issu du passé pour le stabiliser. Si la donnée est stable, le système relâche sa prise, permettant au modèle de s'adapter plus librement aux besoins uniques de cet appareil spécifique.

Les chercheurs ont construit ce système autour d'un concept qu'ils appellent un « enseignant historique ». Imaginez un étudiant qui tient un journal de ses propres progrès. Dans cette version numérique, chaque appareil maintient un enregistrement simplifié et moyen de l'apparence de son modèle partagé au fil du temps. Lorsque l'appareil s'entraîne sur un nouveau lot de données, il compare sa compréhension actuelle de chaque image avec ce journal. Si la vue actuelle d'une image diffère significativement de l'enregistrement historique, le système reconnaît cela comme un moment d'instabilité. Il augmente alors automatiquement le poids de la leçon historique pour cette image spécifique, signifiant concrètement : « C'est un cas délicat ; restons proches de ce que nous savions auparavant. » Cela se produit sur une base échantillon par échantillon, ce qui signifie qu'une image peut recevoir un guidage important tandis que sa voisine n'en reçoit très peu, selon la façon dont la vision du modèle sur elles a évolué.

Pour garantir que le modèle ne devienne pas trop rigide, les chercheurs ont également introduit un moyen d'introduire progressivement des informations personnalisées. Dans les premières étapes de l'apprentissage, le système se concentre sur la construction d'un socle commun solide qui fonctionne pour tout le monde. À mesure que l'entraînement progresse, il commence lentement à tisser les caractéristiques uniques propres à chaque appareil. Cela se fait par un mécanisme de « porte » (gated mechanism) qui agit comme un variateur de luminosité, augmentant lentement le volume des détails personnalisés seulement après que le socle commun est sécurisé. Cela empêche le système de s'embrouiller en essayant d'apprendre trop de détails spécifiques trop tôt. Les chercheurs ont également ajouté des contrôles de sécurité pour s'assurer que ces ajouts personnalisés ne dégradent pas accidentellement la performance du modèle partagé, et ils utilisent une technique de lissage à la fin du processus pour coordonner les mises à jour finales entre le serveur central et les appareils individuels.

L'équipe a testé cette approche sur plusieurs ensembles de données d'images bien connus, incluant des collections de chiffres manuscrits, d'objets du quotidien et de scènes complexes comprenant des centaines de catégories. Ils ont simulé des environnements où les données étaient fortement inégales, avec certains appareils détenant des types d'images très différents des autres. Dans ces conditions difficiles, la nouvelle méthode a systématiquement surpassé les approches existantes. Sur un ensemble de données de 100 catégories d'objets différentes avec une distribution de données très inégale, le nouveau cadre a atteint une précision de 63,05 pour cent. C'était près de six points de pourcentage de plus que la méthode la plus performante testée, une marge significative dans le domaine de l'apprentissage automatique. Le système s'est également montré robuste lorsque moins d'appareils participaient à l'entraînement ou lorsque le nombre d'appareils augmentait, maintenant son avantage sur les autres méthodes quel que soit l'échelle ou le niveau de participation.

Crucialement, cette amélioration ne s'est pas faite au prix d'une augmentation de la communication. Dans de nombreux systèmes personnalisés, l'envoi de données uniques entre les appareils et le serveur central crée une lourde charge de trafic. Dans ce nouveau cadre, seule la partie partagée du modèle est envoyée sur le réseau. Les composants personnalisés, les enregistrements historiques et les ajustements spécifiques restent stockés localement sur chaque appareil. Cela signifie que le système peut apprendre des particularités uniques de chaque appareil sans encombrer le réseau avec des données supplémentaires. Les chercheurs ont mesuré le temps et le transfert de données requis et ont constaté que la nouvelle méthode est efficace, prenant environ 16,84 secondes par ronde d'entraînement sur du matériel standard, ce qui est comparable à d'autres méthodes légères mais bien plus efficace.

L'étude suggère que la clé d'un meilleur apprentissage personnalisé ne réside pas seulement dans le fait d'avoir des modèles différents pour différents utilisateurs, mais dans la compréhension de la façon dont ces modèles évoluent au fil du temps. En prêtant attention à la trajectoire de la façon dont un modèle voit les pièces de données individuelles, le système peut appliquer le bon niveau de guidage exactement là où il est nécessaire. Cette approche permet à l'intelligence collective du réseau de rester stable tout en accommodant les besoins uniques de chaque participant. Les chercheurs concluent que cette méthode offre un moyen pratique de construire des systèmes plus fiables et plus précis pour les environnements sensibles à la confidentialité, de la santé aux appareils personnels, où les données sont naturellement diverses et où le coût de l'erreur est élevé. Leur travail démontre qu'en écoutant plus attentivement l'historique de la façon dont un modèle apprend, nous pouvons l'aider à mieux apprendre dans le présent.