🤖 AI

SkillMOO: Multi-Objective Optimization of Agent Skills for Software Engineering

Het paper introduceert SkillMOO, een framework voor multi-objectieve optimalisatie dat automatisch bundels vaardigheden voor LLM-coderingsagenten evolueert via een solver- en optimizer-agent, wat resulteert in aanzienlijk hogere succespercentages en lagere kosten op software-engineeringtaken.

Oorspronkelijke auteurs: Jingzhi Gong, Ruizhen Gu, Zhiwei Fei, Yazhuo Cao, Lukas Twist, Alina Geiger, Shuo Han, Dominik Sobania, Federica Sarro, Jie M. Zhang

Gepubliceerd 2026-04-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jingzhi Gong, Ruizhen Gu, Zhiwei Fei, Yazhuo Cao, Lukas Twist, Alina Geiger, Shuo Han, Dominik Sobania, Federica Sarro, Jie M. Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat verwarde robot hebt die je helpt met programmeren. Deze robot is een "AI-agent". Om hem goed te laten werken, geef je hem een handleiding (in het Engels een "skill bundle"). Deze handleiding bevat instructies, zoals: "Gebruik deze specifieke code voor fouten" of "Doe dit eerst, dan dat".

Het probleem is dat het schrijven van de perfecte handleiding voor elke taak heel moeilijk is. Soms staat er te veel in, soms te weinig, en soms staan er instructies die de robot juist in de war brengen. Tot nu toe moesten mensen deze handleidingen handmatig aanpassen, wat duur, tijdrovend en vaak niet goed genoeg was.

SkillMOO is de oplossing die de auteurs van dit papier hebben bedacht. Het is als een slimme editor die automatisch de handleiding voor de robot verbetert.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. Het Probleem: De "Te Dikke" Handleiding

Stel je voor dat je een kok (de AI-agent) een recept geeft om een taart te bakken. Het recept is 50 pagina's lang.

De helft is nutteloos (bijv. "hoe je een oven reinigt" als je al een schone oven hebt).
Een paar pagina's bevatten verouderde instructies (bijv. "gebruik suiker uit de 90er jaren").
De kok probeert alles te lezen, wordt moe, maakt fouten en kost je veel geld aan tijd en energie.

2. De Oplossing: SkillMOO (De Slimme Editor)

SkillMOO is een systeem dat twee "robots" heeft die samenwerken om dit recept te perfectioneren:

De Proefkok (Task Solver): Deze robot probeert de taart te bakken met het huidige recept. Als het mislukt, noteert hij precies waar het fout ging en hoeveel tijd en geld het kostte.
De Chef-Editor (Skill Optimizer): Deze robot kijkt naar de fouten van de Proefkok. Hij denkt: "Oh, we hebben die lange paragraaf over ovenreiniging niet nodig, en die instructie over suiker is fout." Hij knipt (pruning) en vervangt (substitution) stukken van het recept.

3. De Slimme Strategie: NSGA-II (Het Spel van de Balans)

Het systeem probeert niet alleen de taart lekkerder te maken, maar ook goedkoper en sneller. Het gebruikt een slimme methode (NSGA-II) die werkt als een sportwedstrijd:

Elke nieuwe versie van het recept is een speler.
Als een recept de taart beter maakt én goedkoper is, wint het.
Als een recept de taart beter maakt maar duurder is, wordt het toch bewaard als een "kandidaat", want misschien is die extra prijs het waard.
Het systeem houdt een lijst bij van de beste combinaties (de "Pareto-front") en laat de slechtste recepten vallen.

4. Wat Vonden Ze? (De Resultaten)

De auteurs hebben dit getest op drie moeilijke programmeertaken. De resultaten waren verrassend goed:

Meer Succes: De robots slaagden veel vaker hun taak. Op één taak steeg het succespercentage met maar liefst 131%! (Van 16% naar 37%).
Minder Kosten: Door de "overbodige" instructies te verwijderen, werd het proces 32% goedkoper. De robot hoefde minder tijd te besteden aan het lezen van onzin.
De Grote Leerles: Het geheim bleek niet te zijn dat je meer instructies toevoegt. Integendeel! De beste resultaten kwamen door weg te snijden (pruning) en verkeerde stukken te vervangen.
- Analogie: Het is alsof je een rommelige kamer opruimt. Je maakt de kamer niet groter door meer meubels erin te zetten; je maakt hem beter door de rommel weg te gooien en de juiste stoel op de juiste plek te zetten.

5. Conclusie

SkillMOO bewijst dat je AI-agenten niet nodig hebt om "slimmer" te maken door ze meer boeken te geven. Je maakt ze slimmer door hun handleidingen strakker en gerichter te maken.

In plaats van dat mensen urenlang handmatig proberen te raden welke instructies werken, doet SkillMOO dit automatisch door te experimenteren, te leren van fouten en de beste versies te selecteren. Het is een beetje als een automatische tuinman die de dode takken van je struik knipt zodat de plant beter kan groeien, in plaats van dat je zelf elke dag moet proberen te raden welke tak je moet snoeien.

Kortom: Minder tekst, meer focus, en een AI die beter, sneller en goedkoper werkt.

Probleemstelling

LLM-gebaseerde coderingsagenten (Large Language Models) zijn krachtige hulpmiddelen voor software-engineeringstaken, zoals het oplossen van bugs of het migreren van code. Om hun prestaties te verbeteren, kunnen "agent skills" worden gebruikt: modulaire pakketten met instructies, scripts en bronnen die een agent op verzoek laadt.

Hoewel tools zoals SkillsBench aantonen dat skills nuttig kunnen zijn, zijn de resultaten op software-engineeringstaken vaak bescheiden (+4,5% verbetering). De huidige aanpak voor het afstemmen van skill-bundels (collecties van instructies) heeft ernstige tekortkomingen:

Manuele tuning is duur en fragiel: Het handmatig aanpassen van bundels om een balans te vinden tussen succespercentage, kosten en runtime vereist veel domeinkennis en is niet schaalbaar.
Onzekerheid: Practici weten vaak niet welke bundel het beste werkt; slecht samengestelde bundels kunnen de overhead van de agent vergroten zonder waarde toe te voegen.
Gebrek aan dynamiek: Skills vereisen continue verfijning op basis van faalgevallen, wat handmatig moeilijk te realiseren is.

Methodologie: SkillMOO

Het paper introduceert SkillMOO, een raamwerk voor multi-objectieve optimalisatie (MOO) dat automatisch taakspecifieke skill-bundels evolueert. Het systeem gebruikt een iteratieve "solver-optimizer" lus met twee agenten:

Task Solver Agent:
- Voert de coderingstaak uit met een kandidaat-skill-bundel.
- Meet de prestaties: pass rate (slaagpercentage), cost (LLM-inferentiekosten) en error traces (foutmeldingen).
Skill Optimizer Agent:
- Analyseert de fouten van de solver.
- Stelt bewerkingen voor op de skill-bundel (zoals pruning [weghalen], substitution [vervangen], herschikking of herschrijven) op basis van een huidige "optimizer-skill" prompt.
- Genereert een nieuwe, bewerkte "child" bundel.

Optimalisatieproces:

Doel: Minimaliseren van een vector $f(b) = [-pass(b), cost(b)]$, waarbij $b$ de skill is. Het doel is dus het maximaliseren van het slaagpercentage en het minimaliseren van de kosten.
Selectie: Na elke evaluatie worden alle gearchiveerde kandidaten gerangschikt met NSGA-II (Non-dominated Sorting Genetic Algorithm II). Dit gebruikt non-dominated sorting en crowding distance om de Pareto-front te bepalen (de beste trade-offs tussen kosten en prestaties).
Beveiliging: Er is een "pass-preservation guard" ingesteld; een voorgestelde child-bundel wordt afgewezen als het slaagpercentage meer dan 0,05 daalt ten opzichte van de ouder.
Iteratie: Het proces loopt voor een bepaald aantal generaties (in dit onderzoek 5 generaties) totdat het budget is verbruikt.

Experimentele Opstelling

De auteurs evalueerden SkillMOO op drie complexe software-engineeringstaken uit SkillsBench:

Fix-build-agentops: Reparaties van Python-build-fouten.
Python-Scala-translation: Vertalen van Python-pijplijnen naar Scala.
Spring-Boot-Jakarta-migration: Migratie van Spring Boot-apps naar Jakarta API's.

Basis: De originele skill-bundels werden vergeleken met een "no_skill" (geen instructies) baseline.
Model: GLM-5 werd gebruikt voor zowel de solver als de optimizer.
Validatie: De testsets werden uitgebreid naar 40 tests per taak (via GPT-5.4) om betere dekking te garanderen.

Belangrijkste Resultaten

1. Effectiviteit (RQ1):
SkillMOO presteerde significant beter dan de statische baselines op alle drie de taken:

Taak 1: Het slaagpercentage steeg met 131,2% (van 0,16 naar 0,37), terwijl de kosten met 31,7% daalden en de runtime met 23,6%.
Taak 2: Slaagpercentage steeg met 30,8% (van 0,39 naar 0,51) met een kostenreductie van 5,4%.
Taak 3: Slaagpercentage steeg licht met 2,1% (van 0,97 naar 0,99), maar de kosten daalden aanzienlijk met 19,4% en de runtime met 29,8%.
Statistische tests (Scott-Knott ESD) bevestigden dat SkillMOO op alle taken de hoogste rang behaalde.

2. Efficiëntie (RQ2):
De optimalisatiekosten (de kosten van het zoeken zelf) waren zeer laag ten opzichte van de winst.

De kosten per procentuele verbetering in Hypervolume (HV) varieerden van $0,0011 tot $0,0059. Dit betekent dat elke verbetering in de multi-objectieve kwaliteit minder dan één cent kostte in zoekkosten.

3. Patroonanalyse (RQ3):
De analyse van de door de optimizer voorgestelde bewerkingen onthulde cruciale inzichten:

Pruning (weghalen) en Substitution (vervangen) waren de meest succesvolle bewerkingen. Ze leidden in 100% van de gevallen tot kostenreductie.
Expansion (toevoegen) van nieuwe instructies leidde zelden tot een verbetering van het slaagpercentage (0/5 gevallen).
Conclusie: Effectieve bundels bevatten liever minimale, gefocuste inhoud dan opgehoopte instructies. Het verwijderen van irrelevante of misleidende content is belangrijker dan het toevoegen van nieuwe content.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

SkillMOO Framework: Een nieuw raamwerk dat LLM-gestuurde bewerkingen combineert met NSGA-II voor multi-objectieve optimalisatie van agent skills.
Empirisch Bewijs: Aantonen dat het automatisch optimaliseren van skills zowel de prestaties als de kosten kan verbeteren, in tegenstelling tot statische bundels.
Design Inzicht: De ontdekking dat "pruning" en "substitution" de drijvende krachten zijn achter verbeteringen. Dit suggereert dat voor het ontwerpen van agent skills, het focussen op het verwijderen van ruis en het aanpassen van bestaande content effectiever is dan het creëren van uitgebreide instructiebibliotheken.
Open Science: De publicatie van een replicatiepakket met data, scripts en skill-artefacten.

Significantie voor de gemeenschap:
Dit onderzoek markeert een verschuiving van handmatig, statisch skill-engineering naar een data-gedreven, zoekgebaseerde optimalisatie. Het biedt een schaalbare oplossing voor het verbeteren van LLM-agenten in complexe software-engineeringtaken, waarbij het niet alleen de kwaliteit van de code verhoogt, maar ook de operationele kosten verlaagt. De bevindingen dat "minder vaak meer is" (via pruning) een belangrijke richtlijn biedt voor toekomstig onderzoek naar agent-architecturen.