SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks

Het paper introduceert SkillsBench, een benchmark die aantoont dat hoewel zorgvuldig samengestelde vaardigheden de prestaties van LLM-agenten aanzienlijk kunnen verbeteren, zelf gegenereerde vaardigheden doorgaans geen meerwaarde bieden en de effectiviteit sterk varieert per domein.

De kern

Stel je voor dat je een zeer slimme, maar soms wat onervaren assistent hebt. Deze assistent (een AI-agent) kan fantastisch tekst schrijven en redeneren, maar als je hem vraagt om een heel specifiek, technisch klusje te doen – zoals het repareren van een complexe machine of het analyseren van medische data – kan hij vastlopen. Hij weet wat hij moet doen, maar niet precies hoe het in de praktijk werkt.

Dit is waar Skills (Vaardigheden) om de hoek komen kijken.

Deze paper introduceert SkillsBench, een enorme testomgeving die onderzoekt of het geven van deze "handleidingen" (Skills) aan AI-agenten echt helpt, of dat het alleen maar rommel in hun hoofd veroorzaakt.

Hier is de uitleg, vertaald naar alledaagse taal:

1. Het Probleem: De "Superintelligentie" zonder "Werkervaring"

Stel je een AI voor als een geniale kok die alle theorie over koken uit zijn hoofd kent. Hij weet precies wat de ingrediënten zijn en wat een recept zou moeten zijn. Maar als je hem vraagt om een heel specifiek gerecht te maken volgens de regels van een bepaald restaurant (bijvoorbeeld: "Maak een soep volgens de geheimzinnige methode van chef X"), kan hij in de war raken. Hij mist de procedurale kennis: de stap-voor-stap instructies die in de praktijk werken.

• Zonder Skills: De kok probeert het zelf te raden. Soms lukt het, vaak niet.
• Met Skills: Je geeft de kok een stap-voor-stap recept (de Skill) dat speciaal voor dat gerecht is geschreven.

2. De Test: SkillsBench

De onderzoekers hebben een gigantische testbaan gebouwd met 84 verschillende klussen (zoals het repareren van software, het analyseren van medische dossiers, of het plannen van robotbewegingen). Ze hebben dit gedaan voor 7 verschillende AI-modellen (de "koks").

Ze hebben elk klusje drie keer geprobeerd:

1. Alleen de opdracht: De AI moet het zelf weten.
2. Met een goed verzorgde handleiding (Curated Skills): Mensen hebben een perfecte, stap-voor-stap gids geschreven en aan de AI gegeven.
3. Met een zelfgeschreven handleiding (Self-Generated Skills): De AI moet eerst zelf een handleiding schrijven voordat hij aan de slag gaat.

3. De Resultaten: Wat bleek er?

🏆 De "Goede Handleidingen" werken wonderbaarlijk

Wanneer de AI een menselijk geschreven, goed verzorgde handleiding kreeg, ging het veel beter.

• Het resultaat: De AI slaagde gemiddeld 16% vaker dan zonder handleiding.
• De analogie: Het is alsof je de kok een perfecte receptkaart geeft. In sommige gebieden (zoals gezondheid en productie) was het verschil enorm: de AI werd daar ineens een expert. In andere gebieden (zoals software) was het verschil kleiner, omdat de AI daar al best goed in was.
• Belangrijk: Soms hielp de handleiding zelfs niet, of maakte het het erger (bij 16 van de 84 klussen). Dit gebeurde als de handleiding te lang, te verwarrend of in strijd was met wat de AI al wist.

🤖 De "Zelfgeschreven Handleidingen" zijn een mislukking

Dit was de verrassendste ontdekking. Toen ze de AI vroegen: "Schrijf eerst je eigen handleiding en gebruik die dan," ging het niet beter. Soms werd het zelfs slechter.

• De analogie: Het is alsof je de kok vraagt: "Schrijf eerst je eigen recept op, en gebruik dat om het gerecht te maken." De kok schrijft iets vaags of onnauwkeurigs op, en probeert het daarna. Het resultaat is vaak een rommel.
• Conclusie: AI's zijn goed in het gebruiken van kennis, maar nog niet goed in het creëren van de juiste, betrouwbare instructies die ze nodig hebben. Menselijke expertise is nog steeds onmisbaar.

📏 Kwaliteit is belangrijker dan kwantiteit

De onderzoekers ontdekten dat korte, gefocuste handleidingen (2 of 3 pagina's) beter werken dan dikke, complete documenten.

• De analogie: Een kok wil geen 500 pagina's theorie over koken lezen voordat hij een ei moet bakken. Hij wil een klein kaartje met de 3 belangrijkste stappen. Te veel informatie overweldigt de AI en maakt het moeilijker om de juiste stap te vinden.

🐘 Kleine modellen kunnen grote modellen inhalen

Een kleinere, snellere AI (zoals een "Haiku" model) met een goede handleiding kon vaak net zo goed presteren als een enorme, dure AI (zoals een "Opus" model) zonder handleiding.

• De analogie: Een slimme leerling met een goede leraar (de handleiding) kan een examen net zo goed halen als een genie dat alleen moet werken. De handleiding compenseert voor het gebrek aan "hersencapaciteit".

4. Waarom is dit belangrijk?

Voor bedrijven en ontwikkelaars is dit een gouden tip:

1. Investeer in goede handleidingen: Als je AI-agenten wilt laten werken in specifieke vakgebieden (zoals ziekenhuizen of fabrieken), moet je mensen inhuren om die specifieke "Skills" te schrijven.
2. Laat AI het niet zelf doen: Vraag de AI niet om zijn eigen instructies te schrijven; dat werkt niet goed.
3. Houd het simpel: Schrijf korte, duidelijke instructies. Te veel tekst helpt niet.

Samenvattend

Deze paper zegt eigenlijk: "AI is een krachtige motor, maar hij heeft een goede chauffeur (de Skills) nodig om veilig en snel zijn bestemming te bereiken. Als je die chauffeur goed uitrust met een kaart (menselijke expertise), gaat het wonderlijk goed. Maar als je de motor vraagt om zelf de kaart te tekenen, verdwaalt hij."

De onderzoekers hebben hun data en tools openbaar gemaakt (op skillsbench.ai) zodat iedereen kan helpen om die "kaarten" voor AI's nog beter te maken.

Technische samenvatting

1. Het Probleem

Grote Taalmodellen (LLMs) zijn geëvolueerd van tekstgenerators naar autonome agenten die complexe taken kunnen uitvoeren. Hoewel "Agent Skills" (gestructureerde pakketten met procedurele kennis, instructies en code-sjablonen) steeds vaker worden gebruikt om deze agenten te verrijken zonder het model zelf te finetunen, ontbreekt er een gestandaardiseerde methode om te meten of deze Skills daadwerkelijk helpen.

Bestaande benchmarks evalueren vaak alleen de ruime capaciteiten van een model op een taak ("Hoe goed kan model X taak Y uitvoeren?"), maar niet de impact van specifieke augmentaties ("Hoeveel verbetert Skill Z de prestaties?"). Dit leidt tot een gebrek aan empirische onderbouwing voor ontwikkelaars en onderzoekers over welke Skills werken, welke niet, en waarom.

2. Methodologie: SkillsBench

De auteurs introduceren SkillsBench, het eerste benchmarkkader dat Skills behandelt als eerstegraads evaluatie-artefacten.

• Dataset: De benchmark bestaat uit 84 taken verdeeld over 11 domeinen (zoals Software Engineering, Healthcare, Financiën, Cybersecurity, etc.).
• Skills Specificatie: Een Skill is een modulair pakket dat bestaat uit een SKILL.md (natuurtaalinstructies, workflows, SOP's) en optionele resources (scripts, templates). Het onderscheidt zich van prompts of RAG door zijn focus op procedurele kennis in plaats van feitelijke informatie.
• Evaluatie-omgeving: Taken worden uitgevoerd in gecontaineriseerde Docker-omgevingen met deterministische verifiers (pytest-scripts) om pass/fail-resultaten objectief te bepalen, zonder afhankelijkheid van "LLM-as-a-judge".
• Experimentele Opzet:
  • 7 Agent-Model configuraties: Inclusief Claude Code (met modellen Opus 4.5/4.6, Sonnet 4.5, Haiku 4.5), Gemini CLI (Pro/Flash), en Codex CLI (GPT-5.2).
  • 3 Condities:
    1. Geen Skills: Baseline.
    2. Gecureerde Skills: Menselijk samengestelde, hoogwaardige Skills.
    3. Zelfgegenereerde Skills: De agent moet zelf procedurele kennis genereren voordat de taak wordt opgelost.
  • Schaal: In totaal zijn 7.308 trajecten (pogingen) geëvalueerd.

3. Belangrijkste Bijdragen

1. Een Skills-centric evaluatiekader: Een gestructureerde pipeline voor het bouwen, valideren en testen van agenten met en zonder Skills, inclusief lek-audits om te voorkomen dat Skills de oplossing voor een specifieke taak bevatten in plaats van algemene richtlijnen.
2. Grootschalige empirische evaluatie: De eerste systematische analyse van de effectiviteit, variantie en faalmodi van Skills over meerdere modellen en domeinen.
3. Open Infrastructuur: De dataset en evaluatieharness zijn openbaar gemaakt om onderzoek en ontwikkeling te stimuleren.

4. Kernresultaten

A. Effectiviteit van Gecureerde Skills

• Algemene verbetering: Gecureerde Skills verhogen de gemiddelde slagingskans (pass rate) met +16,2 procentpunten (pp).
• Domein-afhankelijkheid: Het effect varieert sterk per domein.
  • Hoogste winst: Healthcare (+51,9 pp) en Manufacturing (+41,9 pp).
  • Laagste winst: Software Engineering (+4,5 pp) en Wiskunde (+6,0 pp).
  • Conclusie: Skills zijn het meest waardevol voor domeinen met gespecialiseerde workflows die ondervertegenwoordigd zijn in de pre-training data van modellen.
• Negatieve effecten: Bij 16 van de 84 taken (ongeveer 19%) leidden Skills tot een daling in prestaties, vaak omdat ze onnodige complexiteit introduceerden of conflicterende richtlijnen gaven voor taken die het model al goed kon.

B. Zelfgegenereerde Skills

• Geen voordeel: Modellen die gevraagd werd om hun eigen Skills te genereren, presteerden gemiddeld -1,3 pp slechter dan de baseline zonder Skills.
• Oorzaak: Modellen kunnen de procedurele kennis die ze nodig hebben niet betrouwbaar zelf authoriseren. Ze genereren vaak onnauwkeurige instructies of missen de noodzaak van gespecialiseerde kennis volledig.

C. Ontwerpprincipes voor Skills

• Kwaliteit boven kwantiteit: Skills met 2-3 modules presteerden het beste (+18,6 pp). Het toevoegen van meer dan 4 Skills leidde tot afnemende meeropbrengst (+5,9 pp) en zelfs prestatieverlies, waarschijnlijk door cognitieve overbelasting.
• Focus: "Gedetailleerde" en "Compacte" Skills (+17-19 pp) presteerden beter dan "Uitgebreide" documentatie, die zelfs een negatief effect had (-2,9 pp).
• Modelgrootte: Een kleiner model (bijv. Claude Haiku 4.5) met Skills kon de prestaties van een groter model zonder Skills evenaren of zelfs overtreffen.

D. Kosten en Efficiëntie

• Hoewel Skills de token-gebruik iets verhogen (door extra context), weegt de prestatiewinst (+16,2 pp) ruimschoots op tegen de marginale kostenstijging.
• De Pareto-frontier (kosten vs. prestatie) verschuift naar boven door het gebruik van Skills, waardoor kleinere, goedkopere modellen (zoals Gemini Flash) met Skills concurrerend worden met duurdere opties.

5. Betekenis en Conclusie

SkillsBench demonstreert dat Agent Skills een krachtige, maar context-afhankelijke technologie zijn. Ze zijn geen universele oplossing, maar bieden aanzienlijke voordelen wanneer:

1. De taak specifieke procedurele kennis vereist die niet in het basismodel zit.
2. De Skills beknopt, modulair en menselijk samengesteld zijn.
3. De agent-harness (zoals Claude Code) Skills effectief kan integreren en gebruiken.

Het paper stelt dat de toekomst van agenten niet ligt in het oneindig vergroten van modelgrootte, maar in het effectief combineren van sterke basismodellen met hoogwaardige, menselijk gecurateerde procedurele kennis. Het biedt een blauwdruk voor ontwikkelaars om Skills te ontwerpen en voor onderzoekers om de effectiviteit van agent-augmentatie objectief te meten.