SkillCraft: Can LLM Agents Learn to Use Tools Skillfully?

Deze paper introduceert SkillCraft, een benchmark die de vaardigheid van LLM-agenten test om herbruikbare 'vaardigheden' (samengestelde tool-combinaties) te vormen en opnieuw te gebruiken, wat leidt tot aanzienlijke efficiëntiewinsten en een hogere succesratio door compositie.

De kern

Hier is een uitleg van het paper "SkillCraft" in eenvoudig, alledaags Nederlands, met behulp van creatieve vergelijkingen.

🛠️ SkillCraft: Van "Elke Keer Opnieuw" naar "De Meesterkook"

Stel je voor dat je een kok bent in een restaurant.
In de oude manier van werken (zoals de huidige AI-agenten vaak doen), moet je voor elke klant die een pasta bestelt, opnieuw:

1. De kast openen.
2. De deegrol pakken.
3. Het deeg uitrollen.
4. De saus maken.
5. De pasta koken.
6. Alles opruimen.

Zelfs als de volgende klant exact dezelfde pasta wil, doe je alles opnieuw. Je bent snel moe, je maakt veel fouten door herhaling, en het duurt eeuwen.

SkillCraft is een nieuw experiment dat vraagt: "Kunnen deze AI-koks leren om een 'recept' te schrijven, zodat ze de volgende keer alleen maar 'Klaar!' hoeven te zeggen?"

---

1. Het Probleem: De "Stomme Robot"

Huidige AI's zijn slim, maar ze zijn vaak stom in herhaling. Als ze een taak moeten doen die veel stappen heeft (zoals 50 websites doorzoeken om een rapport te maken), doen ze elke stap handmatig.

• Vergelijking: Het is alsof je elke dag je schoenen opnieuw moet strikken, zelfs als je al weet hoe het moet.
• Gevolg: Het kost veel tijd, veel geld (rekenkracht) en de AI vergeet soms wat hij eerder heeft gedaan omdat het "geheugen" vol zit met herhaling.

2. De Oplossing: "Skill Mode" (De Vaardigheidsmodus)

De onderzoekers hebben een nieuw systeem bedacht dat ze SkillCraft noemen. Hierbij krijgt de AI een speciale "kookboek"-tool.

Het proces werkt als volgt:

1. Ontdekken: De AI probeert een taak op de oude manier (stap voor stap).
2. Opslaan: Als het lukt, zegt de AI: "Wacht, dit patroon komt vaak voor. Ik ga dit nu opslaan als een 'Vaardigheid' (Skill)."
   • Vergelijking: In plaats van elke keer het deeg uitrollen, schrijft de kok het recept op een kaartje en hangt het aan de muur.
3. Gebruiken: De volgende keer dat een vergelijkbare taak komt, pakt de AI het kaartje en voert het recept direct uit.
4. Bewaren: De AI bouwt zo een bibliotheek op met duizenden "recepten" die hij steeds sneller en slimmer gebruikt.

3. Wat hebben ze ontdekt? (De Resultaten)

Het team heeft gekeken of dit werkt met de slimste AI's van nu (zoals GPT-5, Claude, en Gemini). De resultaten zijn verbazingwekkend:

• 💸 Besparing: Door vaardigheden te hergebruiken, gebruiken de AI's tot 80% minder "woorden" (tokens).
  • Vergelijking: Het is alsof je van een dure taxi naar je werk rijdt, en dan besluit om een fiets te kopen. Je komt even snel aan, maar je bespaart een fortuin.
• 🧠 Slimmer wordt: De slimste AI's (zoals Claude en GPT) worden nog slimmer met dit systeem. Ze leren sneller welke patronen ze moeten opslaan.
• 📉 Minder fouten: Omdat de AI niet elke keer opnieuw hoeft te "nadenken" over de basisstappen, maakt hij minder fouten.

4. De Valstrik: "Te diep" is niet altijd beter

De onderzoekers hebben ook gekeken of je vaardigheden in elkaar kunt steken (een vaardigheid die een andere vaardigheid aanroept).

• Vergelijking: Stel je hebt een recept voor "Pasta", en dat recept roept een ander recept op voor "Saus", wat weer een recept oproept voor "Tomaten".
• Het probleem: Als er één klein foutje zit in de "Tomaten"-stap, crasht de hele "Pasta"-stap.
• Conclusie: Het bleek dat simpele, goed geteste recepten beter werken dan ingewikkelde, diepe hiërarchieën. Houd het simpel en betrouwbaar!

5. De "Gastvrijheid" van Vaardigheden

Een van de coolste ontdekkingen is dat vaardigheden overdraagbaar zijn.

• Als AI-model A een perfect recept voor "Pasta" schrijft, kan AI-model B dat recept ook gebruiken om pasta te maken.
• Vergelijking: Het is alsof een beroemde chef-kok een recept schrijft. Een beginnende kok kan dat recept ook gebruiken om een geweldige maaltijd te maken. De kwaliteit van het recept (de vaardigheid) is belangrijker dan wie de kok is die het uitvoert.

Samenvatting in één zin

SkillCraft leert AI's niet alleen om taken te doen, maar om slimme, herbruikbare recepten te schrijven, waardoor ze in de toekomst veel sneller, goedkoper en betrouwbaarder werken, net als een ervaren vakman die zijn gereedschap en methoden perfect heeft georganiseerd.

Dit is een grote stap richting AI's die niet alleen "slim" zijn, maar ook ervaren in het oplossen van complexe, langdurige problemen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SkillCraft: Can LLM Agents Learn to Use Tools Skillfully?" in het Nederlands.

1. Het Probleem

Huidige benchmarks voor tool-gebruikende AI-agenten (zoals Toolathlon of WebArena) meten voornamelijk het succes op het niveau van individuele taken met een statische set van atomaire tools. Ze missen echter de capaciteit om te evalueren of agenten herbruikbare vaardigheden (skills) kunnen ontwikkelen.

In realistische scenario's werken agenten vaak in lange workflows met terugkerende structuren (bijv. herhaald zoeken-analyseren-samenvatten). Effectief gedrag vereist niet alleen het aanroepen van losse tools, maar het abstraheren en hergebruiken van hogere-niveau tool-composities. Bestaande benchmarks bieden weinig inzicht in of agenten deze composities kunnen leren, opslaan en efficiënt toepassen over verschillende taken heen.

2. Methodologie: SkillCraft

De auteurs introduceren SkillCraft, een benchmark en evaluatieprotocol specifiek ontworpen om de vaardigheid van agenten te testen om hogere-niveau tool-composities te vormen en te hergebruiken.

A. Benchmark Constructie

SkillCraft is opgebouwd in drie fasen:

1. Exploratie: Analyse van bestaande benchmarks (Toolathlon, AgentCompany, WebArena) om ontwerpprincipes te identificeren.
2. Seed-taken: Creatie van een pool van 21 basis-taken uit drie bronnen: aangepaste bestaande taken, handgemaakte web-API-taken (bijv. GitLab, Open-Meteo), en lokale bestandsverwerkingstaken.
3. Schaalvergroting: Systematische uitbreiding van de taken langs twee assen:
   • Kwantitatief: Verhogen van het aantal entiteiten (bijv. van 3 naar 5 repositories analyseren).
   • Complexiteit: Verhogen van het aantal tool-calls per subtaak.
     Dit resulteert in 126 taken verdeeld over 6 moeilijkheidsgraden, ontworpen om herhaalde patronen te forceren die hergebruik van skills lonend maken.

B. Het SkillCraft Protocol (Skill Mode)

Om vaardigheidsverwerving te meten, introduceren de auteurs een "Skill Mode" protocol. Agenten krijgen toegang tot een lichtgewicht MCP (Model Context Protocol) interface met vier primitieve tools:

1. save_skill: Slaat een succesvolle reeks tool-aanroepen op als een uitvoerbaar script (skill).
2. execute_skill: Voert een opgeslagen skill uit met nieuwe parameters.
3. list_skills: Toont beschikbare skills.
4. get_skill: Haalt de broncode van een skill op.

Het proces:

• Exploratie: De agent lost een taak op met atomaire tools.
• Compositie: Succesvolle sequenties worden geabstraheerd naar een parameteriseerbaar script.
• Verificatie: Een Coding Verifier controleert de syntax, runtime-fouten en outputkwaliteit (bijv. filteren op "Unknown" waarden) voordat de skill in de bibliotheek wordt opgeslagen.
• Hergebruik: Bij latere taken (binnen dezelfde sessie of over taken heen) probeert de agent eerst een bestaande skill op te roepen in plaats van opnieuw te exploreren.

3. Belangrijkste Bijdragen

• SkillCraft Benchmark: Een standaardisatie voor het evalueren van compositional skill acquisition in plaats van alleen instantie-oplossing.
• Skill Mode Protocol: Een plug-and-play mechanisme dat agenten toestaat om hun eigen actieruimte uit te breiden door tijdens de testtijd nieuwe, hogere-niveau tools te creëren en te cachen.
• Analyse van Compositie-kwaliteit: Een diepgaande studie naar de trade-offs tussen diepe hiërarchische composities en vlakke, goed geteste libraries.
• Cross-Task en Cross-Model Generalisatie: Onderzoek naar of skills die op één moeilijkheidsniveau of door één model zijn gemaakt, effectief kunnen worden overgedragen naar andere niveaus of modellen.

4. Resultaten

De evaluatie omvatte state-of-the-art modellen (o.a. GPT-5.2, Claude 4.5 Sonnet, Gemini 3 Pro, DeepSeek, Kimi).

• Efficiëntie Winst: Het gebruik van Skill Mode leidt tot aanzienlijke reducties in token-gebruik en kosten.
  • Token-gebruik daalde met tot 80% (bijv. GPT-5.2 van 1.23M naar 0.26M tokens).
  • Kosten daalden met tot 75%.
• Succes率: Er is een sterke correlatie tussen het vermogen om skills te componeren en het overall taaksucces. Modellen die beter zijn in het genereren van correcte code, profiteren meer van hergebruik.
• Diepte vs. Breedte:
  • Vlakke libraries (single-level skills) bleken robuuster en kosteneffectiever.
  • Hiërarchische composities (skills die andere skills aanroepen) leiden vaak tot foutpropagatie. Een kleine fout in een laag-niveau skill kan een cascade van fouten veroorzaken in hogere niveaus, wat de algehele succes率 verlaagt ondanks hoge uitvoeringssnelheden.
• Generalisatie:
  • Skills die op "makkelijke" taken zijn geleerd, kunnen effectief worden overgedragen naar "moeilijke" taken (en vice versa), met uitvoeringssuccessen van >95%.
  • Cross-model generalisatie: Hoogwaardige skills (bijv. gemaakt door Claude) leveren zelfs bij andere modellen (Gemini, GLM) aanzienlijke efficiëntiewinst op. Slecht ontworpen skills (bijv. van Minimax) kunnen de prestaties van andere modellen juist verslechteren.

5. Betekenis en Conclusie

Het paper concludeert dat compositional skill acquisition een kerncapaciteit is voor intelligente agenten.

• Intelligentie als Vaardigheidsverwerving: De resultaten ondersteunen het idee dat intelligentie niet alleen gaat over het oplossen van een enkele taak, maar over het efficiënt verwerven en hergebruiken van procedures over een reeks taken.
• Rol van het Model: Sterkere modellen (zoals GPT-5.2 en Claude) profiteren disproportioneel veel van skill reuse omdat ze beter in staat zijn om complexe patronen te herkennen en robuuste scripts te genereren.
• Praktische Implicatie: Voor het bouwen van robuuste tool-gebruikende systemen is het belangrijker om te focussen op het creëren van goede, vlakke en goed geteste skills dan op het bouwen van diepe, complexe hiërarchieën. De kwaliteit van de skill-maker (het model) is cruciaal voor de efficiëntie van het hele ecosysteem.

Samenvattend biedt SkillCraft een nieuw raamwerk om AI-agenten te evalueren op hun vermogen om "slim" te werken door herhaling te elimineren via het automatisch leren en hergebruiken van gereedschappen, wat leidt tot aanzienlijke kostenbesparingen en betere prestaties in complexe, lange workflows.