Technische Samenvatting: SkillMentor

Probleemstelling

Huidige benaderingen van de zelfevolutie van agenten richten zich voornamelijk op executie: het leren hoe men moet handelen door de parameters van de uitvoerder te updaten of externe kennisbanken te verfijnen. Deze methoden negeren grotendeels diagnose: het vermogen om de "blinde vlekken" van een agent (recurrent falen) te ontdekken zonder externe supervisie. Bestaande diagnostische procedures zijn doorgaans technisch geconstrueerd, rigide, of vertrouwen op door mensen gelabelde data om aan te geven wat gerepareerd moet worden. Bijgevolg blijft het vermogen om autonoom te identificeren wat een agent niet weet een ongeleerde capaciteit.

De auteurs stellen dat diagnose conceptueel verschillend is van executie. Om dit in isolatie te bestuderen, stellen zij een setting voor waarin:

1. De Executor (de agent die taken uitvoert) bevroren is; de gewichten ervan worden nooit bijgewerkt.
2. Geen menselijke gelabelde data beschikbaar is; het systeem kan niet vertrouwen op geannoteerde voorbeelden om fouten te specificeren.
3. Alle prestatieverbeteringen uitsluitend moeten voortkomen uit een geleerde diagnostische capaciteit.

Methodologie: SkillMentor

Het paper stelt SkillMentor voor, een framework dat een kleine Mentor-policy ($\pi_\theta$) traint via Reinforcement Learning (RL) om een bevroren Executor ($\pi_E$) te diagnosticeren en te repareren. Het systeem werkt via een zelf-evoluerende feedbackloop bestaande uit drie stadia:

1. Blind-Spot Discovery (Ontdekking van blinde vlekken)

De Mentor interacteert met de omgeving om diagnostische taken te genereren.

• Exploratie: De Mentor verkent de omgeving om kandidaat-taken te synthetiseren die de Executor uitdagen.
• Diversiteit: Een diversiteitsbuffer voorkomt dat de exploratie instort in smalle gedragspatronen.
• Gap Evaluatie: Voor elke kandidaat-taak genereert een sterk referentiemodel ($M$) een hoogwaardig traject en een score ($s^M$). De bevroren Executor probeert dezelfde taak uit te voeren met zijn huidige skill-repository, wat een score oplevert ($s^E$).
• Beloning: De ontdekkingsbeloning ($r_{disc}$) wordt gedefinieerd als het diagnostische gat: $\delta = \max(0, s^M - s^E)$. Taken met grotere gaten krijgen prioriteit voor curatie.

2. Skill Curation (Vaardigheidscuratie)

De Mentor transformeert geïdentificeerde blinde vlekken naar herbruikbare correctieve vaardigheden die worden opgeslagen in een externe repository.

• Operaties: De Mentor kan vaardigheden TOEVOEGEN (ADD), bestaande vaardigheden UPDATEN (UPDATE), of ze SAMENVOEGEN (MERGE).
• Validatie: Een kandidaat-vaardigheid wordt alleen geaccepteerd als deze syntactisch geldig is en, cruciaal, de prestaties van de Executor op de gediagnosticeerde taak verbetert met een marge $\Delta > 0.5$.
• Beloning: De curatiebeloning ($r_{curate}$) combineert format-compliance met de prestatieverbetering ($\Delta$).
• Onderhoud: Een lichtgewicht VERWIJDER (DELETE) mechanisme verwijdert vaardigheden met een laag succespercentage (< 0.05) om repository-opzwelling te voorkomen.

3. Joint Optimization (Gezamenlijke optimalisatie)

De Mentor wordt getraind met behulp van GRPO (Group Relative Policy Optimization) om een gecombineerd doel te maximaliseren:
$$J_{GRPO}(\theta) = J_{disc} + J_{curate} - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})$$
De auteurs betogen dat ontdekking en curatie een positieve feedbackloop vormen: het ontdekken van blinde vlekken leidt tot betere vaardigheden, terwijl betere vaardigheden de capaciteitsgrens van de Executor verschuiven, waardoor nieuwe, voorheen verborgen blinde vlekken worden blootgelegd. Gezamenlijke optimalisatie is essentieel om deze loop in stand te houden.

Belangrijkste Bijdragen

1. Diagnose als een leerbare capaciteit: Het paper demonstreert dat de diagnose van blinde vlekken geleerd kan worden als een adaptieve policy, in plaats van een vaste, technisch geconstrueerde procedure of een bijproduct van modelomvang.
2. Zelfevolutie zonder gewicht-updates: SkillMentor bereikt significante prestatiewinsten op een bevroren Executor zonder de parameters ervan bij te werken, door volledig te vertrouwen op een externe, evoluerende skill-repository.
3. Zero-Human-Data Constraint: Het framework opereert zonder menselijke supervisie of gelabelde data, wat het systeem dwingt om autonoom recurrente fouten te ontdekken en te herstellen.
4. Interpreteerbaarheid: In tegenstelling tot methoden die kennis internaliseren in gewichten, slaat SkillMentor vaardigheden op als menselijk leesbare Markdown-bestanden, wat een interpreteerbare kaart van de tekortkomingen van de Executor biedt.

Experimentele Resultaten

De auteurs evalueerden SkillMentor op AppWorld (planning over lange termijn) en BFCLv3 (precieze functie-aanroepen) met drie verschillende bevroren Executors (Qwen3.5-9B, Qwen3.5-4B, en DeepSeek-R1-Distill-Qwen-7B).

• Prestatiewinst: SkillMentor behaalde een gemiddelde relatieve verbetering van 44,2% ten opzichte van de "No Skill" baseline over alle executors en datasets heen.
• Vergelijking met sterke modellen: De via RL getrainde 4B Mentor presteerde consequent aanzienlijk beter dan veel grotere, op prompting gebaseerde modellen (bijv. DeepSeek-V4-Flash) die als statische mentoren werden gebruikt, wat suggereert dat gerichte RL-training effectiever is dan louter modelvergroting voor diagnose.
• Transfereerbaarheid: Vaardigheden geleerd van zwakkere Executors (die meer blinde vlekken blootleggen) werden effectief overgedragen naar sterkere Executors, en benaderden vaak of overtroffen zelfs de prestaties van de zelfgetrainde vaardigheden van het sterkere model. Omgekeerd waren vaardigheden van sterkere modellen minder effectief op zwakkere modellen.
• Ablatie-studies: Het verwijderen van de ofwel de ontdekkings- of de curatiebeloning, of het ontkoppelen van de policies, resulteerde in significante prestatiedalingen, wat de noodzaak van gezamenlijke optimalisatie bevestigt.
• Robuustheid: De prestaties van het systeem waren robuust tegen de keuze van de "LLM Judge" (het sterke model dat voor evaluatie wordt gebruikt), waarbij goedkope Flash-tier modellen bijna optimale resultaten behaalden.

Betekenis en Claims

Het paper claimt dat blind-spot diagnose een leerbare capaciteit is die onafhankelijk van executie geoptimaliseerd kan worden. Door diagnose te behandelen als een policy-optimalisatieprobleem, maakt SkillMentor de zelfevolutie van agenten mogelijk zonder de computationele kosten van het hertrainen van grote executor-gewichten of de privacy/kosten-last van menselijke supervisie.

De auteurs benadrukken dat deze aanpak het paradigma verschuift van "leren hoe men beter handelt" naar "leren wat de agent niet weet". De resulterende skill-repository dient niet alleen als een product van diagnose, maar ook als een motor voor continue zelfevolutie, waarbij de ontdekking van nieuwe blinde vlekken en de curatie van correctieve vaardigheden elkaar versterken. Dit werk suggereert dat toekomstige zelf-evoluerende agenten een toegewijde, geleerde diagnostische policy zouden moeten bevatten in plaats van enkel te vertrouwen op vaste prompting of parameter-updates.