🤖 machine learning

FederatedSkill: Federated Learning for Agentic Skill Evolution

FederatedSkill est un cadre respectant la vie privée qui permet l'évolution collaborative d'agents en agrégeant des patchs de compétences sémantiques plutôt que des trajectoires brutes, permettant ainsi des mises à jour personnalisées de la bibliothèque de compétences qui améliorent considérablement les taux de réussite des tâches et réduisent les coûts computationnels par rapport aux bases de référence d'auto-amélioration isolées.

Auteurs originaux : Jingbo Yang, Guanyu Yao, Yang Zhang, Ramana Rao Kompella, Gaowen Liu, Shiyu Chang

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jingbo Yang, Guanyu Yao, Yang Zhang, Ramana Rao Kompella, Gaowen Liu, Shiyu Chang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot assistant intelligent (un « Agent IA ») qui vous aide dans des tâches telles que la navigation sur le Web, l'analyse de données ou l'automatisation de votre travail. Pour devenir vraiment performant dans ces fonctions, le robot a besoin d'une Bibliothèque de Compétences — une boîte à outils numérique remplie d'instructions sur la manière d'utiliser des outils, de résoudre des problèmes et d'enchaîner des actions.

Le Problème : L'« Apprenant Solitaire » et la « Fuite de Confidentialité »

Actuellement, ces robots apprennent de deux manières, toutes deux présentant des défauts majeurs :

L'Apprenant Solitaire : Si un robot n'apprend qu'à partir de son propre utilisateur, il reste bloqué. Il ne voit qu'une tranche étroite du monde. S'il échoue à une nouvelle tâche, il se peut qu'il n'ait pas la bonne « recette » pour la corriger parce qu'il n'a jamais rencontré ce problème spécifique auparavant. C'est comme un chef qui ne cuisine que pour une seule personne ; il n'apprend jamais à gérer les ingrédients étranges que d'autres personnes pourraient commander.
La Fuite de Confidentialité : Pour corriger le problème de l'« isolement », les robots pourraient partager leurs expériences avec un serveur central afin que tout le monde apprenne de tout le monde. Mais cela est dangereux. Pour partager leur expérience, ils devraient envoyer leur journal intime brut (captures d'écran, e-mails privés, feuilles de calcul confidentielles) au serveur. C'est comme demander à un chef d'envoyer une vidéo de toute sa cuisine, y compris les numéros de carte de crédit des clients et les recettes de famille secrètes, juste pour partager un nouveau conseil de cuisine. Personne ne veut de cela.

La Solution : FederatedSkill

Le document présente FederatedSkill, une nouvelle façon pour ces robots assistants d'apprendre ensemble sans jamais partager leurs journaux intimes privés. Considérez cela comme un échange de recettes sécurisé et collaboratif.

Voici comment cela fonctionne, en utilisant une analogie simple :

1. Le « Patch » plutôt que le « Journal »

Au lieu d'envoyer la vidéo brute de leur cuisine (les données privées), chaque robot observe ce qu'il vient de faire, détermine ce qui a mal ou bien fonctionné, et rédige une petite note structurée appelée « Skill Patch » (Correctif de Compétence).

L'Analogie : Imaginez que vous êtes un chef. Au lieu d'envencer une vidéo de votre journée entière, vous envoyez simplement une note à la cuisine centrale disant : « J'ai ajouté une nouvelle étape à la "Recette de la Soupe" pour éviter qu'elle ne brûle », ou « J'ai supprimé l'étape "Sauce Épicée" car elle était trop forte ».
La Magie : Cette note (le patch) contient la leçon, mais pas les détails privés. Elle ne dit pas qui a mangé la soupe ou quelles étaient ses allergies. Elle dit simplement comment corriger la soupe.

2. Le « Gestionnaire Intelligent » (Le Serveur)

Du côté du serveur, il y a un « Agent d'Évolution » spécial (un gestionnaire intelligent). Son rôle n'est pas de simplement copier-coller les notes de tout le monde dans un seul livre géant. Cela serait un désastre car les robots ont des cerveaux et des outils différents.

L L'Analogie : Imaginez un chef maître gérant une équipe de cuisiniers qui utilisent des fours différents (certains utilisent le gaz, d'autres l'électricité) et qui ont des niveaux de compétence différents.
- Si un cuisinier utilisant un four à gaz suggère une nouvelle façon de saisir un steak, le gestionnaire sait que cela pourrait ne pas fonctionner pour le cuisinier utilisant un four électrique.
- Le gestionnaire examine les notes, détermine quel robot est bon en quoi, et personnalise les mises à jour.
- Pour le cuisinier au four à gaz, il dira : « Utilisez cette nouvelle technique de saisie ». Pour le cuisinier au four électrique, il dira : « Ignorez cela, mais voici une technique différente qui convient à votre four ».

3. Le Résultat : Une Croissance Personnalisée

Parce que le gestionnaire adapte les mises à jour, chaque robot reçoit une bibliothèque personnalisée qui correspond à ses besoins et capacités spécifiques.

Pas de Perte de Confidentialité : Les données brutes (la carte de crédit du client, la recette secrète) ne quittent jamais la cuisine locale du robot. Seule la « leçon » abstraite voyage.
Meilleure Performance : Le document a testé ce système sur 20 types de tâches différents (comme l'analyse financière ou la navigation web). Ils ont constaté que les robots utilisant ce système ont progressé de 44 % en termes de réussite aux tâches par rapport aux robots qui apprenaient seuls.
Moins Coûteux : Parce que les robots ont mieux appris et n'ont pas perdu de temps à répéter les mêmes erreurs, ils ont utilisé 37 % de puissance de calcul en moins (et donc moins d'argent) pour accomplir leur travail.

Résumé

FederatedSkill est comme un club de cuisine mondial où les chefs partagent des astuces et des techniques (Skill Patches) au lieu de leurs listes de clients privées (Données Brutes). Un gestionnaire intelligent prend ensuite ces astuces et les adapte à la cuisine spécifique de chaque chef, garantissant que tout le monde s'améliore en cuisine sans jamais compromettre ses secrets.

Le document prouve que cela fonctionne : cela rend les agents IA plus intelligents, plus rapides et plus respectueux de la vie privée, permettant à leurs compétences d'évoluer de manière collaborative sans risque de fuite de données.

Résumé Technique : FederatedSkill

Problématique

Les agents basés sur les modèles de langage de grande taille (LLM) modernes s'appuient de plus en plus sur des bibliothèques de compétences (skill libraries) — des collections de mémoires procédurales réutilisables — pour gérer des tâches complexes et multi-étapes. Bien que les agents puissent s'auto-améliorer en faisant évoluer ces bibliothèques à partir de leurs trajectoires d'exécution locales, le flux de données d'un utilisateur unique souffre d'un goulot d'étranglement des données : il manque de la diversité nécessaire pour construire des compétences complètes pour des tâches de longue traîne ou particulièrement exigeantes.

Les approches collaboratives existantes tentent de surmonter cela en partageant les trajectoires d'exécution brutes entre les utilisateurs vers un serveur central. Cependant, ce paradigme se heurte à deux obstacles critiques :

Risques pour la vie privée : Les trajectoires brutes contiennent souvent des informations sensibles (ex: contenu web privé, données de feuilles de calcul confidentielles) que les utilisateurs ne peuvent pas transmettre en toute sécurité, même à des serveurs de confiance.
Hétérogénéité des clients : Une bibliothèque de compétences globale et uniforme est rarement optimale pour tous les utilisateurs. L'efficacité d'une compétence dépend de la famille de modèles spécifique, du framework d'agent (harness) et de la distribution des tâches du client. Une agrégation naïve conduit à une bibliothèque "taille unique" qui dessert les utilisateurs hétérogènes.

La question centrale abordée est la suivante : Les utilisateurs peuvent-ils faire évoluer des compétences de manière collaborative tout en préservant la vie privée et en obtenant une bibliothèque de compétences adaptée à leurs besoins spécifiques ?

Méthodologie : FederatedSkill

Les auteurs proposent FederatedSkill, un cadre de travail respectueux de la vie privée pour l'évolution collaborative d'agents, qui fonctionne selon une boucle client-serveur. Il s'inspire de l'apprentissage fédéré (federated learning) mais adapte l'unité de communication des poids du modèle vers des différences de compétences sémantiques (semantic skill diffs).

1. Côté Client : Exécution Locale et Distillation de Patchs

Au lieu de télécharger des trajectoires brutes, les clients effectuent une auto-réflexion et une distillation locales :

Exécution Locale : L'agent client exécute des tâches en utilisant sa bibliothèque de compétences actuelle ( $L_i$ ) et son modèle de base ( $\rho_i$ ), générant ainsi un lot de trajectoires ( $B_i$ ).
Distillation de Patch : Un patcheur local (partageant le modèle de base du client) analyse la trajecte et la bibliothèque actuelle pour générer un patch de compétence ( $\delta_i$ $δ_{i}$ ).
- Structure : Le patch est un tuple structuré contenant des opérations ADD (AJOUTER), EDIT (MODIFIER) ou DELETE (SUPPRIMER) sur les fichiers de la bibliothèque (ex: SKILL.md).
- Confidentialité par Construction : Le patcheur est explicitement incité (via le prompt) à supprimer les valeurs spécifiques aux tâches, les identifiants et les journaux d'interaction bruts. Il ne produit que des connaissances procédurales de haut niveau et réutilisables (playbooks) et des chemins structurels. Les trajectoires brutes et les données sensibles restent strictement locales.
- Sortie : Le client télécharge uniquement le patch $\delta_i$ , qui documente les changements sémantiques apportés à la bibliothèque.

2. Côté Serveur : Agent d'Évolution Personnalisé

Le serveur héberge un Agent d'Évolution ( $M$ ) qui opère sous une observabilité partielle (il ne voit que les patchs et les profils clients, pas les données brutes). Il traite le processus d'agrégation comme un Processus de Décision Markovien Partiellement Observable (POMDP).

Modélisation des Capacités : L'agent maintient une Matrice de Capacité et une Mémoire à deux niveaux :
- Mémoire Partagée : Suit les flux de travail des tâches résolus, absorbés, brisés ou manquants à travers la fédération.
- Mémoire Privée : Enregistre les modes de défaillance spécifiques aux modèles et les limites de capacité pour chaque client.
Planification Personnalisée : Plutôt que de fusionner les patchs dans une moyenne globale unique, l'agent génère un plan d'évolution personnalisé pour chaque client. Il décide quelles compétences de pairs adopter, comment les refactoriser pour correspondre au modèle/harness cible du client, et lesquelles rejeter.
Exécution : L'agent applique ces directives pour mettre à jour la bibliothèque de chaque client ( $L_i^{t+1}$ ), garantissant que la bibliothèque résultante est adaptée aux "limites de capacité" spécifiques de ce client.

Principales Contributions

Protocole Respectueux de la Vie Privée : L'article introduit un mécanisme où les agents échangent des patchs de compétences sémantiques au lieu de trajectoires brutes. Cela élimine la fuite de données sensibles de l'utilisateur (PII, logique métier confidentielle) inhérente aux approches de partage de trajectoire.
Évolution Fédérée Personnalisée : Contrairement à l'apprentissage fédéré traditionnel (qui agrège des paramètres) ou aux travaux collaboratifs antérieurs (qui créent une seule bibliothèque globale), FederatedSkill atteint la personnalisation au niveau de la compétence sémantique. Il modélise dynamiquement l'hétérogénéité des clients pour produire des bibliothèques distinctes et optimisées pour chaque client.
Implémentation du Framework : Le système est implémenté comme une boucle client-serveur où le serveur agit comme un "agent de fusion" qui organise et adapte les compétences, gérant la complexité des différents modèles de base (ex: Qwen, GLM, Kimi) et des harnesses d'agents (ex: Claude Code, Qwen Coder).

Résultats Expérimentaux

Le framework a été évalué sur le benchmark SkillFlow, couvrant 20 familles de tâches distinctes, en utilisant des configurations hétérogènes impliquant différents modèles de base LLM et différents harnesses d'agents.

Gains de Performance : FederatedSkill surpasse de manière significative les bases d'auto-évolution (où les agents évoluent de manière isolée).
- A obtenu une augmentation allant jusqu'à 44,4 % du taux de réussite des tâches.
- A démontré des gains robustes dans des contextes homogènes et hautement hétérogènes (modèles et harnesses différents).
Efficacité des Coûts : En évitant l'inflation de la bibliothèque (la croissance incontrôlée des compétences observée dans l'auto-évolution), FederatedSkill a réduit les coûts de calcul.
- A obtenu une réduction allant jusqu'à 37,5 % du coût par tâche résolue.
- A réduit les coûts d'API par essai de 7 % à 24 % selon les modèles.
Nécessité de la Personnalisation : Les études d'ablation comparant FederatedSkill à une base "Globale" (une seule bibliothèque partagée) ont montré que l'évolution personnalisée génère un gain de performance moyen de 12,2 % par rapport à l'approche non personnalisée, confirmant qu'une bibliothèque globale unique est sous-optimale pour les clients hétérogènes.
Vérification de la Vie Privée : Un audit de confidentialité empirique a confirmé que les patchs de compétences sortants ne laissaient fuiter que 5,08 % des entités sensibles (contre 52 % pour des résumés naïfs), et que les mises à jour personnalisées renvoyées aux clients ne laissaient fuiter qu'un pourcentage négligeable de 0,09 %.

Signification et Revendications

L'article affirme que FederatedSkill établit la bibliothèque de compétences comme une unité hautement efficace de fédération pour l'auto-amélioration des agents. Sa signification réside dans la résolution du compromis entre apprentissage collaboratif et vie privée :

Il permet aux agents d'apprendre de l'expérience collective d'une base d'utilisateurs diversifiée sans compromettre la confidentialité des données.
Il dépasse la limitation de la "moyenne globale" des cadres collaboratifs actuels, en reconnaissant que les différents agents ont des capacités différentes et nécessitent des solutions sur mesure.
Il démontre que l'abstraction au niveau sémantique (les patchs) est suffisante pour un transfert de haute performance, évitant les coûts massifs de bande passante et de confidentialité associés aux données brutes ou à l'apprentissage fédéré au niveau des paramètres.

Les auteurs notent des limites, notamment l'hypothèse d'un environnement serveur de confiance (absence de défense contre les patchs malveillants ou empoisonnés) et la contrainte actuelle à un nombre modeste de clients simultanés en raison des ressources de calcul. Cependant, ils postulent que le framework constitue une étape fondamentale vers des écosystèmes d'agents collaboratifs, évolutifs et respectueux de la vie privée.