🤖 machine learning

FederatedSkill: Federated Learning for Agentic Skill Evolution

FederatedSkill is een privacy-bewarend framework dat collaboratieve agent-evolutie mogelijk maakt door semantische skill-patches te aggregeren in plaats van ruwe trajecten, wat gepersonaliseerde updates van de skill-bibliotheek mogelijk maakt die de succespercentages van taken aanzienlijk verbeteren en computationele kosten verminderen in vergelijking met geïsoleerde zelfverbeterings-baselines.

Oorspronkelijke auteurs: Jingbo Yang, Guanyu Yao, Yang Zhang, Ramana Rao Kompella, Gaowen Liu, Shiyu Chang

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jingbo Yang, Guanyu Yao, Yang Zhang, Ramana Rao Kompella, Gaowen Liu, Shiyu Chang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een slimme robotassistent hebt (een "AI Agent") die je helpt bij taken zoals het navigeren op het web, het analyseren van gegevens of het automatiseren van je werk. Om echt goed te worden in deze banen, heeft de robot een Skill Library nodig — een digitale gereedschapskist vol instructies over hoe je hulpmiddelen gebruikt, problemen oplost en acties aan elkaar koppelt.

Het Probleem: De "Eenzame Leerling" en de "Privacy-lek"

Momenteel leren deze robots op twee manieren, die beide grote gebreken hebben:

De Eenzame Leerling: Als een robot alleen van zijn eigen gebruiker leert, komt hij vast te zitten. Hij ziet slechts een smalle doorsnede van de wereld. Als hij faalt bij een nieuwe taak, heeft hij misschien niet het juiste "recept" om het op te lossen omdat hij die specifieke situatie nog nooit heeft gezien. Het is alsof een chef die alleen voor één persoon kookt; hij leert nooit hoe hij moet omgaan met de vreemde ingrediënten die anderen bestellen.
Het Privacy-lek: Om het "eenzame" probleem op te lossen, zouden robots hun ervaringen kunnen delen met een centrale server zodat iedereen van iedereen kan leren. Maar dat is gevaarlijk. Om hun ervaring te delen, zouden ze hun ruwe dagboek (screenshots, privé-e-mails, vertrouwelijke spreadsheets) naar de server moeten sturen. Dit is alsof je een chef vraagt om een video van zijn hele keuken te sturen, inclusief de creditcardgegevens van de klant en geheime familie recepten, alleen maar om een nieuwe kooktip te delen. Niemand wil dat.

De Oplossing: FederatedSkill

Het paper introduceert FederatedSkill, een nieuwe manier waarop deze robotassistenten samen kunnen leren zonder ooit hun privé-dagboeken te delen. Denk aan een veilige, collaboratieve receptenuitwisseling.

Hier is hoe het werkt, met behulp van een eenvoudige analogie:

1. De "Patch" in plaats van het "Dagboek"

In plaats van de ruwe video van hun keuken te sturen (de privédata), kijkt elke robot naar wat hij zojuist heeft gedaan, bepaalt wat er misging of juist goed ging, en schrijft een klein, gestructureerd briefje dat een "Skill Patch" wordt genoemd.

De Analogie: Stel je voor dat je een chef bent. In plaats van een video van je hele dag te sturen, stuur je alleen een briefje naar de centrale keuken met de tekst: "Ik heb een nieuwe stap toegevoegd aan het 'Soeprecept' om te voorkomen dat het aanbrandt," of "Ik heb de stap 'Pittige Saus' verwijderd omdat het te heet was."
De Magie: Dit briefje (de patch) bevat de les, maar niet de privédetails. Er staat niet wie de soep at of wat hun allergieën waren. Er staat alleen hoe je de soep kunt verbeteren.

2. De "Slimme Manager" (De Server)

Aan de serverzijde is er een speciale "Evolution Agent" (een slimme manager). Zijn taak is niet alleen om de briefjes van iedereen in één groot boek te kopiëren. Dat zou een ramp zijn, omdat verschillende robots verschillende hersenen en verschillende hulpmiddelen hebben.

De Analogie: Stel je een meesterchef voor die een team van koks beheert die verschillende ovens gebruiken (sommigen gebruiken gas, anderen elektrisch) en verschillende vaardigheidsniveaus hebben.
- Als een gas-oven kok een nieuwe manier voorstelt om een biefstuk aan te braden, weet de manager dat dit misschien niet werkt voor de elektriciteits-oven kok.
- De manager bekijkt de briefjes, bepaalt welke robot goed is in wat, en personaliseert de updates.
- Voor de gas-oven kok zegt hij: "Gebruik deze nieuwe techniek voor het aanbraden." Voor de elektriciteits-oven kok zegt hij: "Negeer dat, maar hier is een andere techniek die wel werkt voor jouw oven."

3. Het Resultaat: Gepersonaliseerde Groei

Omdat de manager de updates op maat maakt, krijgt elke robot een gepersonaliseerde bibliotheek die past bij zijn specifieke behoeften en capaciteiten.

Geen Verlies van Privacy: De ruwe data (de creditcardgegevens van de klant, het geheime recept) verlaat nooit de lokale keuken van de robot. Alleen de abstracte "les" reist mee.
Betere Prestaties: Het paper testte dit op 20 verschillende soorten taken (zoals financiële analyse of webnavigatie). Ze ontdekten dat robots die dit systeem gebruikten, 44% beter werden in het succesvol voltooien van taken vergeleken met robots die alleen leerden.
Goedkoper: Omdat de robots beter leerden en geen tijd verspilden aan het herhalen van dezelfde fouten, gebruikten ze 37% minder rekenkracht (en geld) om de klus te klaren.

Samenvatting

FederatedSkill is als een wereldwijde kookclub waar chefs tips en trucs (Skill Patches) delen in plaats van hun privé-klantenlijsten (Ruwe Data). Een slimme manager neemt vervolgens die tips en past ze aan voor de specifieke keuken van elke chef, zodat iedereen beter wordt in koken zonder ooit hun geheimen prijs te geven.

Het paper bewijst dat dit werkt: het maakt AI-agenten slimmer, sneller en privater, waardoor ze hun vaardigheden collaboratief kunnen ontwikkelen zonder het risico op datalekken.

Technische Samenvatting: FederatedSkill

Probleemstelling

Moderne Large Language Model (LLM) agents vertrouwen steeds vaker op skill libraries (vaardigheidsbibliotheken)—collecties van herbruikbare procedurele geheugens—om complexe, meerstaps-taken te afhandelen. Hoewel agents zichzelf kunnen verbeteren door deze bibliotheken te evolueren op basis van lokale executie-trajecten, lijdt de datastroom van een enkele gebruiker aan een databottleneck: deze mist de diversiteit die nodig is om uitgebreide vaardigheden te bouwen voor de 'long-tail' of uitdagende taken.

Bestaande collaboratieve benaderingen proberen dit te overwinnen door ruwe executie-trajecten van gebruikers naar een centrale server te delen. Dit paradigma staat echter voor twee kritieke obstakels:

Privacyrisico's: Ruwe trajecten bevatten vaak gevoelige informatie (bijv. privé webcontent, vertrouwelijke spreadsheetgegevens) die gebruikers niet veilig kunnen verzenden, zelfs niet naar vertrouwde servers.
Client Heterogeniteit: Een enkele, uniforme globale skill library is zelden optimaal voor alle gebruikers. De effectiviteit van een vaardigheid hangt af van de specifieke modelfamilie, het agent framework (harness) en de taakverdeling van de client. Naieve aggregatie leidt tot een "one-size-fits-all" bibliotheek die heterogene gebruikers tekortdoet.

De centrale vraag die wordt geadresseerd is: Kunnen gebruikers gezamenlijk vaardigheden evolueren terwijl de privacy behouden blijft en een skill library wordt verkregen die is afgestemd op hun specifieke behoeften?

Methodologie: FederatedSkill

De auteurs stellen FederatedSkill voor, een privacy-bewarend framework voor collaboratieve agent-evolutie dat opereert als een client-server loop. Het put inspiratie uit federated learning, maar past de communicatie-eenheid aan van modelgewichten naar semantische skill diffs.

1. Client-zijde: Lokale Executie en Patch Distillatie

In plaats van ruwe trajecten te uploaden, voeren clients lokale zelfreflectie en distillatie uit:

Lokale Executie: De client-agent voert taken uit met behulp van zijn huidige skill library ( $L_i$ ) en backbone model ( $\rho_i$ ), waarbij een traject-batch ( $B_i$ ) wordt gegenereerd.
Patch Distillatie: Een lokale patcher (die de backbone van de client deelt) analyseert het traject en de huidige library om een skill patch ( $\delta_i$ $δ_{i}$ ) te genereren.
- Structuur: De patch is een gestructureerde tuple die ADD, EDIT, of DELETE operaties bevat op de library-bestanden (bijv. SKILL.md).
- Privacy door Constructie: De patcher wordt expliciet geprompt om taakspecifieke waarden, ID's en ruwe interactielogs te strippen. Het produceert alleen hoogwaardige, herbruikbare procedurele kennis (playbooks) en structurele paden. Ruwe trajecten en gevoelige gegevens blijven strikt lokaal.
- Output: De client uploadt alleen de patch $\delta_i$ , die de semantische wijzigingen aan de library documenteert.

2. Server-zijde: Gepersonaliseerde Evolutie Agent

De server host een Evolution Agent ( $M$ ) die opereert onder partiële observabiliteit (het ziet alleen patches en client-profielen, geen ruwe data). Het behandelt het aggregatieproces als een Partially Observable Markov Decision Process (POMDP).

Capability Modeling: De agent onderhoudt een Capability Matrix en een Two-Level Memory:
- Shared Memory: Houdt bij welke workflow-taken zijn opgelost, geabsorbeerd, verbroken of ontbreken binnen de federatie.
- Private Memory: Registreert model-specifieke foutmodi en capaciteitsgrenzen voor elke client.
Gepersonaliseerde Planning: In plaats van patches samen te voegen in één globaal gemiddelde, genereert de agent een gepersonaliseerd evolutieplan voor elke client. Het beslist welke peer-skills worden overgenomen, hoe ze moeten worden geherstructureerd om aan de doel-client (model/harness) te voldoen, en welke worden afgewezen.
Executie: De agent past deze directieven toe om de library van elke client ( $L_i^{t+1}$ ) bij te werken, waarbij wordt gewaarborgd dat de resulterende library is afgestemd op de specifieke "capability boundaries" van die client.

Belangrijkste Bijdragen

Privacy-bewarend Protocol: Het paper introduceert een mechanisme waarbij agents semantische skill patches uitwisselen in plaats van ruwe trajecten. Dit elimineert het lekken van gevoelige gebruikersdata (PII, vertrouwelijke bedrijfslogica) dat inherent is aan traject-deling methoden.
Gepersonaliseerde Federatieve Evolutie: In tegen tegenover traditionele federated learning (dat parameters aggregeert) of eerdere collaboratieve skill-werken (die een enkele globale library creëren), bereikt FederatedSkill personalisatie op het semantische skill-niveau. Het modelt dynamisch client heterogeniteit om onderscheidende, geoptimaliseerde libraries voor elke client te produceren.
Framework Implementatie: Het systeem is geïmplementeerd als een client-server loop waarbij de server fungeert als een "merger agent" die skills cureert en aanpast, waarbij de complexiteit van verschillende model backbones (bijv. Qwen, GLM, Kimi) en agent harnesses (bijv. Claude Code, Qwen Coder) wordt afgehandeld.

Experimentele Resultaten

Het framework werd geëvalueerd op de SkillFlow benchmark, verspreid over 20 verschillende taakfamilies, gebruikmakend van heterogene opstellingen met verschillende LLM backbones en agent harnesses.

Prestatiewinst: FederatedSkill presteert significant beter dan self-evolving baselines (waarbij agents in isolatie evolueren).
- Bereikte een toename van tot wel 44,4% in de succesratio van taken.
- Toonde robuuste winsten aan in zowel homogene als zeer heterogene settings (verschillende modellen en harnesses).
Kostenefficiëntie: Door library bloat (de ongecontroleerde groei van skills bij self-evolutie) te vermijden, verminderde FederatedSkill de computationele kosten.
- Bereikte een reductie van tot wel 37,5% in kosten per opgeloste taak.
- Verminderde de per-trial API-kosten met 7% tot 24% over verschillende modellen.
Noodzaak van Personalisatie: Ablatie-studies die FederatedSkill vergeleken met een "Global" baseline (één gedeelde library) toonden aan dat gepersonaliseerde evolutie gemiddeld een prestatiewinst van 12,2% oplevert ten opzichte van de niet-gepersonaliseerde aanpak, wat bevestigt dat een enkele globale library suboptimaal is voor heterogene clients.
Privacy Verificatie: Een empirische privacy-audit bevestigde dat de uitgaande skill patches slechts 5,08% van de gevoelige entiteiten lekten (vergeleken met 52% voor naieve samenvattingen), en dat de gepersonaliseerde updates die terug naar de clients werden gestuurd een verwaarloosbare 0,09% lekten.

Betekenis en Claims

Het paper claimt dat FederatedSkill de skill library vestigt als een zeer effectieve eenheid van federatie voor de zelfverbetering van agents. De betekenis ligt in het oplossen van de trade-off tussen collaboratief leren en privacy:

Het stelt agents in staat om te leren van de collectieve ervaringen van een diverse gebruikersbasis zonder de privacy van gegevens in gevaar te brengen.
Het gaat verder dan de "globale gemiddelde" beperking van huidige collaboratieve frameworks, door te erkennen dat verschillende agents verschillende capaciteiten hebben en op maat gemaakte oplossingen vereisen.
Het demonstreert dat semantische abstractie (patches) voldoende is voor high-performance transfer, waardoor de enorme bandbreedte- en privacykosten van ruwe data of parameter-level federated learning worden vermeden.

De auteurs merken beperkingen op, waaronder de aanname van een vertrouwde serveromgeving (gebrek aan defensie tegen kwaadwillige/vergiftigde patches) en de huidige beperking tot een bescheiden aantal gelijktijdige clients vanwege computationele middelen. Ze stellen echter dat het framework een fundamentele stap vormt richting schaalbare, privacy-bewarende collaboratieve agent-ecosystemen.