🤖 AI

SkillSmith: Co-Evolving Skills and Tools for Self-Improving Agent Systems

SkillSmith is een nieuw framework dat zelfverbeterende agenten in staat stelt om vaardigheden en instrumenten te co-evolueren via een synergie-bewust proces dat wordt gestuurd door een ecologisch nutmodel en anti-patroonleren, waardoor het bestaande baselines op complexe, multi-vaardigheidstaken overtreft.

Oorspronkelijke auteurs: Yangbo Wei, Zhen Huang, Shaoqiang Lu, Junhong Qian, Qifan Wang, Chen Wu, Lei He

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yangbo Wei, Zhen Huang, Shaoqiang Lu, Junhong Qian, Qifan Wang, Chen Wu, Lei He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robotassistent hebt. Deze robot is geweldig in denken en plannen, maar om daadwerkelijk dingen in de echte wereld te doen (zoals het internet doorzoeken, een PDF lezen of een e-mail versturen), heeft hij een set gereedschappen en een set instructies nodig over hoe hij die moet gebruiken.

In het verleden probeerden onderzoekers deze robots te verbeteren door alleen hun instructies (genaamd "Skills") te upgraden. Ze zeiden: "Als je faalt bij deze taak, schrijf dan je plan opnieuw." Maar ze lieten de gereedschappen (zoals de zoekmachine of de PDF-lezer) precies hetzelfde, zelfs als de gereedschappen kapot of verouderd waren.

SkillSmith is een nieuw systeem dat deze aanpak verandert. In plaats van alleen de instructies te repareren, repareert het zowel de instructies als de gereedschappen tegelijk, terwijl het ook een dagboek bijhoudt van wat er misging, zodat het niet twee keer dezelfde fout maakt.

Hier is hoe SkillSmith werkt, met behulp van eenvoudige analogieën:

1. De "Atomic Bundle": Het recept en het mes samen repareren

Stel je een chef voor die probeert een soep te maken.

De Oude Manier: Als de soep niet lekker smaakt, schrijft de chef alleen het recept opnieuw. Maar wat als het mes dat hij gebruikt bot is? Hoe goed het recept ook is, de groenten zullen niet goed gesneden worden. De chef kan dan een ingewikkeld recept proberen te schrijven dat zegt: "Snijd de groente heel langzaam omdat het mes bot is," wat het proces rommelig en foutgevoelig maakt.
De SkillSmith-manier: Wanneer de soep niet lekker smaakt, kijkt SkillSmith naar het hele plaatje. Het realiseert zich dat het mes bot is. Dus creëert het één enkel, verenigd "fix-pakket" (een Atomic Bundle). Dit pakket doet twee dingen tegelijk:
1. Het slijpt het gereedschap (het mes).
2. Het werkt de skill (het recept) bij om het scherpe mes op de juiste manier te gebruiken.

Dit zorgt ervoor dat de robot niet alleen een omweg probeert te maken voor een kapot gerecht met een ingewikkelde oplossing; het repareert daadwerkelijk de kern van het probleem.

2. Het "Ecosysteem": Skills als dieren in een jungle

Stel je voor dat de skills van de robot als dieren zijn die in een jungle leven.

De Oude Manier: Onderzoekers bekeken elk dier (skill) afzonderlijk. Ze vroegen: "Is deze leeuw goed in jagen?" Ze gaven niet om het feit of de leeuw ruzie had met de tijger naast hem.
De SkillSmith-manier: SkillSmith behandelt de skills als een levend ecosysteem. Het gebruikt een wiskundig model (geïnspireerd door hoe dieren met elkaar concurreren of elkaar helpen in de natuur) om te zien hoe skills met elkaar interageren.
- Concurrentie: Als twee skills precies hetzelfde doen, verspillen ze energie. SkillSmith kan er dan één met pensioen sturen.
- Conflict: Als twee skills proberen dingen te doen die elkaar tegenwerken (zoals de een die breed zoekt terwijl de ander alle zoekopdrachten blokkeert), ziet SkillSmith deze "negatieve energie" en herstelt het het conflict.
- Coöperatie: Als twee skills beter samenwerken dan alleen, moedigt SkillSmith hen aan om een team te vormen.

Dit houdt de hersenen van de robot georganiseerd en voorkomt dat ze vol raken met nutteloze of tegenstrijdige instructies.

3. Het "Anti-Pattern Memory": De "Doe dit niet"-lijst

Stel je voor dat je leert autorijden.

De Oude Manier: Als je een ongeluk krijgt, leer je ervan, maar als je het vergeet, kun je volgende week op precies dezelfde manier een ongeluk krijgen.
De SkillSmith-manier: SkillSmith houdt een gedetailleerd dagboek van fouten bij. Wanneer de robot een ongeluk krijgt, repareert het niet alleen de crash; het schrijft op waarom het gebeurde en wat de oorzaak was.
- Het maakt een "vingerafdruk" van de fout (bijv. "Proberen een bestand te openen dat niet bestaat").
- Voordat de robot een nieuw plan probeert, controleert het dit dagboek. Als het nieuwe plan op een oude fout lijkt, zegt SkillSmith: "Stop! Dat hebben we eerder geprobeerd en het is mislukt."
- Dit voorkomt dat de robot tijd verspilt aan het steeds opnieuw proberen van dezelfde gebroken ideeën.

Waarom is dit belangrijk?

Het paper testte SkillSmith op drie verschillende soorten moeilijke taken (zoals het lezen van complexe financiële documenten, het beantwoorden van lastige vragen en het uitvoeren van digitale taken met meerdere stappen).

Het wordt beter naarmate de robot slimmer wordt: Wanneer ze grotere, krachtigere AI-modellen gebruikten, groeide het voordeel van SkillSmith. Hoe slimmer de robot, hoe beter hij deze nieuwe gereedschappen en skills samen kon gebruiken.
Het gaat om met complexiteit: Wanneer taken moeilijker werden en het gebruik van veel skills tegelijk vereisten, bleef SkillSmith verbeteren, terwijl andere methoden stopten met verbeteren (ze liepen tegen een muur aan).
Het is efficiënter: Door de gereedschappen direct te repareren, lost SkillSmith problemen sneller op en met minder pogingen dan methoden die alleen probeerden de instructies te herschrijven.

Kortom: SkillSmith is als een meestermonteur die niet alleen vertelt hoe de auto beter moet rijden; ze tunen ook de motor, repareren de banden en houden een logboek bij van elke pech, zodat de auto nooit op dezelfde manier in peil komt te staan.

Technische Samenvatting: SkillSmith – Co-evoluerende Vaardigheden en Tools voor Zelfverbeterende Agentsystemen

1. Probleemstelling

Recente ontwikkelingen in Large Language Model (LLM) agents hebben de focus verlegd van geïsoleerde tool-aanroepen naar gestructureerde Skills (vaardigheden)—pakketten bestaande uit workflows, scripts en metadata die dienen als externe, niet-parametrische staat. Hoewel bestaande frameworks de ontdekking en verfijning van skills mogelijk maken, lijden ze aan drie kritieke beperkingen die robuuste zelfverbetering in de weg staan:

Vaste Tool-lagen: De meeste systemen behandelen de tool-laag als onveranderlijk. Wanneer er fouten optreden door ontbrekende, breekbare of verkeerd gespecificeerde tools, wordt het systeem gedwongen om te overcompenseren door opgeblazen en foutgevoelige skill-workflows te creëren, in plaats van de kernoorzaak op tool-niveau te herstellen.
Geïsoleerde Skill-evaluatie: Huidige evoliemethoden muteren en evalueren skills doorgaans onafhankelijk. Dit negeert de realiteit dat agents vaak meerdere skills tegelijkertijd ophalen, componeren en toepassen, waardoor synergieën of conflicten (interferentie) tussen hen over het hoofd worden gezien.
Gebrek aan Retentie van Falen: Mislukte trajecten worden vaak slechts eenmaal geconsumeerd voor reflectie en daarna weggegooid. Zonder een mechanisme om "fout-signatures" (anti-patronen) te behouden, riskeren agents herhaaldelijk dezelfde fouten te diagnosticeren of verouderde configuraties te regenereren, wat computationele middelen verspilt en evolutie stagneert.

2. Methodologie: Het SkillSmith-framework

SkillSmith is een synergie-bewust framework dat Skills, Tools en faalgeheugen gezamenlijk evolueert. Het modelleert de externe staat van de agent als een triple $\Sigma_t = (S_t, T_t, F_t)$ , waarbij $S_t$ de skill-bibliotheek is, $T_t$ de tool-bibliotheek, en $F_t$ het anti-patroongeheugen. Het systeem werkt via een iteratieve lus bestaande uit vier stadia:

A. Verenigde Reflectie en Atomische Bundelvoorstellen

In plaats van geïsoleerde wijzigingen te genereren, produceert de reflector ( $R$ ) van SkillSmith atomische bundelvoorstellen ( $L_t$ ). Deze bundels updaten gelijktijdig zowel skills als tools.

Tool Lifecycle Primitives: Om te voorkomen dat de zoekruimte explodeert, wordt tool-evolutie beperkt tot vijf getypeerde operaties: WRAP (pre/post-processing toevoegen), EDIT (implementatie of signatuur wijzigen), COMPOSE (tools ketenen), SPLIT (complexe tools decomponeren) en RETIRE (obsolete tools verwijderen).
Atomiciteit: Wijzigingen worden gelijktijdig toegepast. Bijvoorbeeld, als een tool wordt gewrapt om een nieuw invoerformaat te verwerken, worden de skills die die tool aanroepen in dezelfde bundel bijgewerkt om overeen te komen met de nieuwe interface, wat geldige tussenstaten garandeert.
Veto-mechanisme: Voordat voorstellen worden ingediend, worden ze gecontroleerd tegen het anti-patroongeheugen om te waarborgen dat ze bekende foutmodi niet repliceren.

B. Synergie-bewuste Skill-ecosysteemdynamiek

SkillSmith behandelt de skill-bibliotheek als een gedeeld ecosysteem en maakt gebruik van Lotka–Volterra-dynamiek om interacties te modelleren:

Interactiematrix: Op basis van executietrajecten schat het systeem een paargewijze interactiematrix ( $\hat{\beta}_{ij$ ) in. Positieve waarden duiden op complementariteit (synergie), terwijl negatieve waarden duiden op interferentie (conflict).
Dynamische Nuttigheid: De nuttigheid van een skill is niet alleen de geïsoleerde prestatie, maar wordt aangepast op basis van de interacties met andere actieve skills. Dit stuurt retrieval, mutatieprioritering en retirement aan. Skills die nuttige buren onderdrukken of capaciteiten dupliceren, worden gedeprioriteerd.
Pareto-beheer: Het systeem onderhoudt een Pareto-front van niet-gedomineerde systeemstaten op instantieniveau, waardoor wordt gewaarborgd dat gespecialiseerde configuraties voor specifieke taakfamilies niet verloren gaan aan algemene gemiddelden.

C. Anti-patroongeheugen

De component $F_t$ slaat gestructureerde foutrecords op ( $\phi = \text{signature}, \text{attribution}, \text{remedy}$ ).

Diagnostische Versnelling: Wanneer een nieuwe fout optreedt, haalt het systeem vergelijkbare eerdere fouten op om de analyse van de kernoorzaak te versnellen.
Voorstel-Veto: Als een voorgestelde bundel lijkt op een bekend foutpatroon, veto't het systeem het voorstel, wat "amnestische regressie" voorkomt waarbij de agent dezelfde fout opnieuw ontdekt en opnieuw faalt op hetzelfde probleem.

D. Validatie en Staat-update

Voorgestelde bundels ondergaan progressieve validatie:

Tool Unit Testing: Garandeert dat nieuwe/gewijzigde tools in isolatie correct functioneren.
End-to-End Integratietesten: Verifieert de bundel op een batch taken.
Regressiecontrole: Zorgt ervoor dat de update de prestaties op eerder beheerde taken niet verslechtert.
Alleen gevalideerde bundels worden toegelaten tot de Pareto-front, en het ecologische model wordt bijgewerkt.

3. Belangrijkste Bijdragen

Skill-Tool Co-evolutie: Het paper introduceert een verenigd framework dat verder gaat dan enkel skill-optimalisatie, waardoor agents in staat zijn om direct bottlenecks op tool-niveau te repareren. Dit adresseert de "fixed tool"-beperking van eerder werk.
Ecologische Nuttigheidsmodellering: Het stelt een nieuwe methode voor om interacties tussen skills te schatten met behulp van Lotka–Volterra-dynamiek, waardoor het systeem kan redeneren over complementariteit en conflict in plaats van skills als onafhankelijke modules te behandelen.
Anti-patroongeheugen: Het framework formaliseert de retentie van foutdiagnostiek en remedies, wat een "negatieve kennisbank" creëert die repetitieve fouten voorkomt en de diagnose versnelt.
Theoretische Garantie: De auteurs leveren een bewijs dat aantoont dat gezamenlijke skill-tool optimalisatie een strikt hogere theoretische bovengrens heeft dan skill-alleen optimalisatie wanneer taakdistributies harde subsets bevatten die capaciteiten vereisen die afwezig zijn in de initiële tool-set.

4. Experimentele Resultaten

Het framework werd geëvalueerd op drie benchmarks: OfficeQA (gestructureerde documentredenering), SealQA (ruisgevoelige search-based QA) en WildClawBench (complexe, meerstaps interactieve taken). Experimenten werden uitgevoerd over vijf Qwen3.5 model-schalen (9B tot 397B).

Prestatiewinsten: SkillSmith presteerde consistent beter dan sterke baselines (Base Agent, EvoSkill, SkillClaw). Op de 397B schaal behaalde het 80,1% op OfficeQA (+18,3% over Base) en 49,5% op SealQA (+18,9% over Base).
Schaalbaarheidseffecten: Het prestatievoordeel van SkillSmith groeide monotoon met de modelgrootte en taakcomplexiteit. Op WildClawBench, terwijl skill-alleen baselines rond dag 2–3 stagneerden door tool-bottlenecks, bleef SkillSmith verbeteren tot dag 6.
Ablatie-studies:
- Vergrendelen van de Tool-laag: Het verwijderen van tool-updates veroorzaakte de grootste prestatiedaling (−6,8% op WildClawBench), wat de noodzaak van co-evolutie bevestigt.
- Verwijderen van Ecologische Dynamiek: Dit leidde tot bibliotheek-opblazing (21+7 componenten vs. 14+6) en verminderde de retrieval-nauwkeurigheid.
- Verwijderen van Anti-patroongeheugen: Dit verdrievoudigde de regressieratio, omdat het systeem herhaaldelijk configuraties voorstelde die bekend stonden als falend.
Kostenefficiëntie: Ondanks hogere kosten per iteratie door tool-validatie, convergeerde SkillSmith sneller (13 iteraties vs. 18 voor EvoSkill op OfficeQA), wat resulteerde in lagere totale computationele kosten en een hogere uiteindelijke nauwkeurigheid.

5. Betekenis en Claims

Het paper claimt dat SkillSmith een verschuiving vertegenwoordigt van lokale strategie-patches naar duurzame capaciteitsontwikkeling. Door skills en tools gezamenlijk te evolueren, kan het systeem de kernoorzaken van falen aanpakken (bijv. het onvermogen van een tool om een specifiek formaat te parsen) in plaats van breekbare workarounds toe te passen op skill-niveau.

De auteurs benadrukken dat hun aanpak agents in staat stelt om:

Tool-Level Bottlenecks te Repareren: Direct tools te repareren of te componeren wanneer zij de bron van falen zijn.
Complexiteit te Beheren: Ecologische dynamiek te gebruiken om een slanke, niet-redundante skill-bibliotheek te onderhouden die zich aanpast aan taakcomplexiteit.
Te Leren van Falen: Systematisch negatieve ervaringen te accumuleren om repetitieve fouten te voorkomen, een capaciteit die vaak ontbreekt in zelfverbeterende systemen.

Het werk concludeert dat hoewel er beperkingen bestaan (afhankelijkheid van de kwaliteit van LLM-reflectie, cold-start ruis in schaarse data), het framework een robuust fundament biedt voor het bouwen van agents die in staat zijn tot langdurige, zelfvoorzienende verbetering in complexe, tool-rijke omgevingen.