SkillLearnBench: Benchmarking Continual Learning Methods for Agent Skill Generation on Real-World Tasks

Titel: SkillLearnBench: Benchmarking van Methodes voor Voortdurend Leren van Agentvaardigheden op Realistische Taken

1. Het Probleem

Grote Taalmodellen (LLM)-agenten worden steeds vaker ingezet voor complexe, real-world taken. Om dit te faciliteren, worden "vaardigheden" (skills) gebruikt: gestructureerde documenten die specifieke instructies, workflows en domeinkennis bevatten. Hoewel handmatig ontworpen vaardigheden de prestaties van agenten aanzienlijk verbeteren, blijft de vraag hoe agenten deze vaardigheden automatisch en effectief kunnen leren uit hun eigen ervaringen.

Bestaande methoden voor "voortdurend leren" (continual learning) via vaardigheidsgeneratie variëren sterk in aanpak (bijv. één-shot generatie, zelf-feedback, feedback van een leraar), maar er ontbreekt een gestandaardiseerde benchmark om deze methoden onder gecontroleerde omstandigheden te vergelijken. Bestaande evaluaties focussen vaak alleen op het eindresultaat (pass/fail), wat inzichtelijke details verbergt over waarom een methode faalt of slaagt (bijv. slechte vaardigheidspecificatie vs. afwijkende uitvoering).

2. Methodologie: SkillLearnBench

De auteurs introduceren SkillLearnBench, het eerste benchmarkkader specifiek ontworpen voor het evalueren van methoden voor voortdurend leren van agentvaardigheden.

• Datasets en Taken:

  • Het benchmark bevat 20 geverifieerde taken verdeeld over 15 sub-domeinen (zoals Software Engineering, Informatiezoekopdrachten, Data-analyse, Creatieve Content), gebaseerd op een door de gemeenschap gedreven taxonomie van vaardigheidsgebruik.
  • Elke taak is afhankelijk van vaardigheden: een agent kan de taak niet betrouwbaar oplossen zonder vaardigheden, maar wel met menselijk gemaakte referentievaardigheden.
  • Er zijn meerdere instanties per taak gegenereerd (variërende parameters, data, formuleringen) om herbruikbaarheid te testen. Een gegenereerde vaardigheid moet dus werken op nieuwe, maar vergelijkbare scenario's, niet alleen op de trainingsinstantie.

• Drie-niveau Evaluatie Framework:
  Om dieper inzicht te krijgen dan alleen het eindresultaat, evalueren ze drie niveaus:

  1. Kwaliteit van de Vaardigheid (Level 1): Evaluatie van de gegenereerde tekstuele specificatie (zonder uitvoering).
     • Coverage: Dekking van essentiële kennispunten uit menselijke referenties.
     • Uitvoerbaarheid: volledigheid, determinisme, consistentie en bruikbaarheid.
     • Veiligheid: Risico's zoals data-privacy, prompt-injectie en systeemintegriteit.
  2. Trajectanalyse (Level 2): Evaluatie van het gedrag van de agent tijdens het gebruik van de vaardigheid.
     • Traject-uitlijning: Hoe goed volgt de agent de verwachte stappen (recall, volgorde, volledigheid)?
     • Gebruikspercentage: Hoe vaak worden de gegenereerde vaardigheden daadwerkelijk opgeroepen?
  3. Taakuitkomst (Level 3): De uiteindelijke prestatie.
     • Nauwkeurigheid: Pass/Fail resultaat via een deterministische verificateur.
     • Efficiëntie: Token-verbruik (kosten) tijdens het oplossen.

• Geëvalueerde Methodes:
  Vier methoden voor voortdurend leren worden vergeleken:

  1. One-Shot: Eénmalige generatie van een vaardigheid zonder feedback.
  2. Self Feedback: De agent genereert een vaardigheid, voert de taak uit, analyseert de fouten zelf en verbetert de vaardigheid (iteratief zonder externe hulp).
  3. Teacher Feedback: Een "expert" (een LLM met toegang tot menselijke referentievaardigheden) geeft gerichte feedback na mislukte pogingen, zonder de oplossing direct te onthullen.
  4. Skill Creator: Een gestructureerde, multi-stap pipeline (geïnspireerd door Anthropic) die de agent dwingt tot een gestructureerde analyse en specificatie van de vaardigheid.

3. Belangrijkste Resultaten

De experimenten, uitgevoerd met zes verschillende LLM's (Claude en Gemini families), leveren de volgende inzichten op:

• Algemene Prestaties: Alle voortdurend lerende methoden presteren beter dan de "geen vaardigheid" baseline, maar geen enkele methode komt in de buurt van menselijk gemaakte vaardigheden. De beste methode dekt slechts ongeveer 45% van de prestatie-kloof tussen geen vaardigheid en menselijke vaardigheden.
• Geen Consistente Winnaar: Er is geen enkele methode die op alle taken en met alle LLM's het beste presteert. De effectiviteit hangt sterk af van de combinatie van taaktype en het genererende LLM.
• Schalen helpt niet altijd: Het gebruik van sterkere LLM's (bijv. Opus of Pro) als generatiemodel leidt niet consistent tot betere vaardigheden. Sterkere modellen neigen soms tot te specifieke, "hardgecodeerde" vaardigheden die minder flexibel zijn voor variërende instanties.
• Taakafhankelijkheid:
  • Methodes werken goed bij taken met duidelijke, herbruikbare workflows (bijv. Software Engineering, Productiviteitstools).
  • Bij open-ended taken kunnen gestructureerde vaardigheden zelfs prestaties verslechteren omdat ze de agent te veel beperken.
• Feedback Mechanismen:
  • Self Feedback leidt vaak tot "recursieve drift": zonder externe input herhalen agenten hun eigen fouten of verslechteren de vaardigheden bij meer iteraties.
  • Teacher Feedback (externe feedback) is essentieel voor echte verbetering, maar de gegenereerde vaardigheden worden door de uitvoerende agent soms genegeerd (laag gebruikpercentage).
• Kwaliteit vs. Uitvoering: Er is een grote kloof tussen de kwaliteit van de gegenereerde vaardigheid (Level 1) en of de agent deze daadwerkelijk volgt en succesvol maakt (Level 2 & 3). Vaak falen methodes omdat de agent de vaardigheid niet adopteert of de instructies niet correct interpreteert.

4. Belangrijkste Bijdragen

1. SkillLearnBench: Het eerste gestandaardiseerde benchmarkkader voor het evalueren van methoden voor het automatisch genereren van agentvaardigheden, gebaseerd op real-world taxonomieën en met meerdere testinstanties voor herbruikbaarheid.
2. Gelaagde Evaluatie: Een innovatief drie-niveau framework dat niet alleen naar het eindresultaat kijkt, maar ook de kwaliteit van de specificatie en het uitvoeringsgedrag diagnoseert. Dit helpt bij het lokaliseren van foutbronnen.
3. Gestuurde Vergelijking: De eerste gecontroleerde vergelijking van recente methoden voor voortdurend leren, die een significante kloof blootlegt tussen huidige automatisering en menselijke expertise.
4. Open Source: De dataset, code en evaluatie-scripts zijn open-source beschikbaar gesteld om verder onderzoek te stimuleren.

5. Betekenis en Toekomstperspectief

De studie concludeert dat de huidige staat van de kunst voor automatisch vaardigheidsleren nog beperkt is. De grootste uitdagingen zijn niet alleen het genereren van rijke specificaties, maar het verankeren van vaardigheden in de kernlogica van de taak en het waarborgen van betrouwbare adoptie door de agent.

De resultaten suggereren dat:

• Externe feedback (van een expert of leraar) noodzakelijk is voor significante verbetering, terwijl zelfreflectie alleen vaak leidt tot stagnatie.
• De keuze van het generatiemodel en de methode kritisch is en niet simpelweg "groter is beter".
• Toekomstig onderzoek zich moet richten op het overbruggen van de kloof tussen het schrijven van een vaardigheid en het effectief uitvoeren ervan door de agent, met name bij open-ended taken.

Dit werk legt de basis voor de volgende generatie van zelflerende AI-agenten die hun eigen kennisbasis kunnen uitbreiden zonder menselijke tussenkomst, een cruciale stap richting echt autonome systemen.