🤖 AI

SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use

SkillCoach is een zelfevoluerend rubric-framework dat de evaluatie en training van LLM-agenten verbetert door procesgeoriënteerde criteria af te leiden uit werkelijke rollouts om het selecteren, opvolgen, componeren en reflecteren van vaardigheden te beoordelen, waardoor echt proceskwaliteit wordt onderscheiden van toevallig taaksucces.

Oorspronkelijke auteurs: Jiayin Zhu, Kelong Mao, Yudong Guo, Dengbo He, Sulong Xu, Simiu Gu, Yutao Yue

Gepubliceerd 2026-07-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jiayin Zhu, Kelong Mao, Yudong Guo, Dengbo He, Sulong Xu, Simiu Gu, Yutao Yue

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe werknemer inhuurt om een complexe machine in een fabriek te bedienen. Je hebt een enorme bibliotheek aan instructiehandleidingen (de "vaardigheden") voor elke mogelijke taak. Sommige handleidingen zijn de Gouden Standaard (de juiste manier om de taak uit te voeren), terwijl andere Afleiders zijn (lijkt op de juiste, maar zijn fout of bedoeld voor andere machines).

Het probleem is dat zelfs als de werknemer de taak voltooit en de machine werkt, hij het misschien op de verkeerde manier heeft gedaan: misschien heeft hij de verkeerde handleiding gepakt, een veiligheidstap overgeslagen, of hij heeft zich een weg door het proces gegokt totdat het toevallig wel werkte. Als je alleen controleert of de machine werkt, huur je misschien iemand in die eigenlijk gevaarlijk of inefficiënt is.

SkillCoach is een nieuw systeem dat dit probleem oplost. In plaats van alleen naar het eindresultaat te kijken, fungeert het als een zelfverbeterende supervisor die het hele proces van de werknemer stap voor stap volgt.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: "Geluk" vs. "Vaardigheid"

In het verleden werden AI-agenten beoordeeld op basis van het feit of ze het juiste antwoord hadden gevonden.

De Fout: Een agent kan het verkeerde gereedschap kiezen, drie veiligheidscontroles overslaan en vervolgens per ongeluk het juiste antwoord raden.
De Analogie: Stel je een student voor die een wiskundetoets maakt. Hij krijgt het juiste antwoord, maar hij heeft de verkeerde formule doorgestreept, de juiste formule uitgegumd en daarna het getal geraden. Als je alleen naar het eindantwoord kij kijkt, denk je dat hij een genie is. Als je naar zijn kladwerk (het proces) kijkt, zie je dat hij eigenlijk in de war is.

2. De Oplossing: De "Zelfevoluerende Rubriek"

SkillCoach creëert een Rubriek (een gedetailleerde beoordelingschecklist) die niet alleen naar het antwoord kijkt. Het breekt de taak af in vier specifieke gewoonten:

Selectie: Heeft hij de juiste handleiding uit de bibliotheek gepakt, of heeft hij een vergelijkbare afleider gegrepen?
Opvolging: Heeft hij de stappen in de handleiding exact gevolgd, of heeft hij delen overgeslagen?
Compositie: Als hij twee handleidingen gebruikte, heeft hij ze dan in de juiste volgorde samengevoegd?
Reflectie: Controleerde hij zijn werk tegen de regels voordat hij op "verzenden" drukte?

Het "Zelfevoluerende" Deel:
In het begin is de checklist van het systeem slechts een concept. Terwijl de AI taken probeert uit te voeren, observeert SkillCoach waar de AI fouten maakt. Vervolgens actualiseert het systeem zijn eigen checklist om die specifieke fouten de volgende keer beter te vangen.

Analogie: Denk aan een docent die een toets maakt. Na het nakijken van de eerste groep studenten realiseert de docent zich: "O, de helft van de klas heeft deze specifieke regel gemist." De docent herschrijft dan de beoordelingsrubriek om die regel de volgende keer duidelijker te maken. Het systeem wordt slimmer in het beoordelen van zichzelf.

3. De "Afleider"-Uitdaging

Echte fabrieken (of enterprise software) zijn niet overzichtelijk. Ze hebben duizenden handleidingen, waarvan er veel op elkaar lijken.

SkillCoach test de AI in een "ruisende" omgeving waar de juiste handleiding wordt gemengd met twee ongerelateerde handleidingen en drie zeer vergelijkbare, maar onjuiste handleidingen.
De Bevinding: Zelfs zeer slimme AI-modellen pakken vaak de verkeerde handleiding wanneer de bibliotheek groot wordt. Ze krijgen de taak uiteindelijk wel voltooid, maar ze verspillen tijd of nemen risico's. SkillCoach vangt dit "slechte gedrag" op, zelfs als het eindresultaat er goed uitziet.

4. Waarom dit Belangrijk is: Betere Training

Het paper laat zien dat als je SkillCoach gebruikt om trainingsdata te filteren, je een veel betere AI krijgt.

De Oude Manier: Train de AI op elke poging die tot het juiste antwoord leidde. (Resultaat: De AI leert te gokken en stappen over te slaan).
De SkillCoach Manier: Train de AI alleen op pogingen die tot het juiste antwoord leidden én waarbij het perfecte proces werd gevolgd.
Het Resultaat: De AI leert een betrouwbare werker te zijn die de regels volgt, en niet alleen een gelukkige gokker.

Samenvatting

SkillCoach is een systeem dat stopt met het beoordelen van AI-agenten enkel op basis van "Heb je gewonnen?" en begint te vragen: "Heb je eerlijk gespeeld en de regels gevolgd?" Het bouwt een slimmer beoordelingssysteem dat evolueert naarmate het leert, waardoor het ervoor zorgt dat AI-agenten niet alleen geluk hebben, maar ook daadwerkelijk leren hun hulpmiddelen correct te gebruiken, zelfs wanneer de bibliotheek met hulpmiddelen rommelig is en vol met vallen zit.

Technische Samenvatting: SkillCoach

1. Probleemstelling

Large Language Model (LLM) agents vertrouwen steeds vaker op skills (vaardigheden)—herbruikbare operationele lagen die Standard Operating Procedures (SOP's), domeinregels, tool-workflows en validatieroutines coderen. Echter, naarmate de repositories met skills groeien, worden agents geconfronteerd met aanzienlijke uitdagingen wat betreft betrouwbaar skill-gebruik binnen realistische omgevingen die gekenmerkt worden door overlappende workflows en afleidende skills (distractor skills).

Het kernprobleem dat is geïdentificeerd, is dat succes van de uiteindelijke taak (verifier pass/fail) een onvoldoende signaal is voor het evalueren of trainen van agentische skill-utilisatie. Een agent kan een verifier passen door:

Trial-and-error in plaats van correcte skill-invocatie.
Het selecteren van afleidende skills die toevallig een correcte output opleveren.
Het overslaan van vereiste stappen of het weglaten van definitieve validatiecontroles.
Het onjuist componeren van workflows.

Bestaande evaluatiemethoden gaan er vaak van uit dat als een skill bestaat, de agent deze correct kan gebruiken. In werkelijkheid falen agents vaak in het selecteren van de juiste skill, het volgen van de voorgeschreven stappen, het componeren van deze met andere skills, of het reflecteren op de output vóór indiening. Dit leidt tot broze gedragingen die niet herbruikbaar of schaalbaar zijn in enterprise-omgevingen.

2. Methodologie: SkillCoach Framework

De auteurs stellen SkillCoach voor, een zelf evoluerend rubric-framework ontworpen om het agentische skill-gebruik te evalueren en te verbeteren door de focus te verschuiven van outcome-only metrieken naar proces-niveau supervisie.

2.1 Kerndefinities

SkillCoach definieert Agentic Skill-Use als een traject-niveau meta-vaardigheid bestaande uit vier onderscheidende dimensies, die apart worden gehouden van het externe verifier-signaal:

Skill Selection (Skill-selectie): Het evalueren of de agent passende 'gold skills' aanroept terwijl afleidende skills worden vermeden.
Skill Following (Skill-opvolging): Het beoordelen van de naleving van belangrijke procedures en stappen die in de gold skills worden gespecificeerd.
Skill Composition (Skill-compositie): Bepalen of meerdere skills of afhankelijke subprocessen in een geldige workflow-volgorde worden gecoördineerd.
Skill-Grounded Reflection (Skill-gegronde reflectie): Het controleren op expliciete validatie van outputs (bijv. schema, formaat, restricties) vóór de uiteindelijke indiening.

2.2 Het Zelf-Evolverende Rubric Proces

SkillCoach werkt via een driestapscyclus om taakspecifieke rubrics te laten evolueren vanuit echte agent-rollouts:

Fase 1: Omgeving & Taakinstelling: Taken worden gedefinieerd als skill-afhankelijk (oplosbaar met gold skills, maar moeilijk zonder). De omgeving bevat gold skills en distractor skills (ongerelateerd of semantisch vergelijkbaar maar niet toepasbaar) om enterprise-repositories te simuleren.
Fase 2: SkillCoach Core (Evolutie):
- Initiële Constructie: Een basisrubric ( $R_0$ ) wordt gebouwd vanuit taakinstructies, gold skills en oracle-oplossingen, waarbij observeerbare sleutelstappen en bewijseisen worden gedefinieerd.
- Trajectory Judging (Traject-beoordeling): Echte agent-rollouts worden gescoord tegen de huidige rubric. Bewijs wordt geëxtraheerd (skill reads, tool calls, file edits) om de vier meta-vaardigheidsdimensies te scoren.
- Validation-Gated Evolution (Validatie-gestuurde evolutie): Een arbitrage-model stelt lokale patches voor (bijv. het toevoegen van bewijseisen, het verduidelijken van negatieve gevallen) aan de rubric. Deze patches ondergaan een harde gate (het afwijzen van destructieve wijzigingen zoals het negeren van distractoren) en een zachte objectieve check (verbeteren van bewijsdekking en consistentie). Alleen patches die de validatie op helder uitgehouden rollouts passeren, worden geaccepteerd.
- Selectie: De best geëvolueerde rubric ( $R_{best}$ ) wordt geselecteerd op basis van validatieprestaties.
Fase 3: Downstream Gebruik:
- Trajectory Diagnosis (Traject-diagnose): Identificeert specifieke proces-niveau fouten (bijv. verkeerde skill-selectie, overgeslagen stappen).
- Rubric-Filtered Training: Hoogwaardige trajecten (die de externe verifier passeren én scoren $\ge 0.95$ op de geëvolueerde rubric) worden geselecteerd voor Supervised Fine-Tuning (SFT).

3. Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen:

Formulering van Agentic Skill-Use: Het definiëren van skill-gebruik als een traject-niveau meta-vaardigheid (selectie, opvolging, compositie, reflectie) die onderscheidend is van het uiteindelijke taaksucces.
SkillCoach Framework: Het introduceren van het eerste zelf-evolverende rubric-framework dat proces-rubrics kalibreert van echte rollouts met behulp van bewijs-gegronde beoordeling en validatie-gestuurde updates, specifiek ontworend voor skill-afhankelijke taken met distractor-verrijkte bibliotheken.
Dubbel Nut van Geëvolueerde Rubrics: Het demonstreren dat geëvolueerde rubrics zowel dienen als verbeterde evaluatie-instrumenten (die fouten blootleggen die verborgen blijven door de uiteindelijke accuratesse) als superieure supervisie-filters voor training, waarbij ze beter presteren dan outcome-only SFT.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op skill-afhankelijke taken met distractor-verrijkte bibliotheken, waarbij de initiële rubrics ( $R_0$ ) werden vergeleken met de geëvolueerde rubrics ( $R_{best}$ ).

Validatie van Rubric Kwaliteit:
- Gold-Keypoint Dekking: Nam toe van 71,56% naar 83,70%, wat duidt op een betere afstemming met menselijke 'gold' proces-bewijslast.
- Bruikbaarheidsscore: Verbeterde van 81,53 naar 94,33, wat suggereert dat de criteria duidelijker zijn voor LLM-judges.
- Hallucinatiepercentage: Verminderde van 2,00% naar 0,00%, wat bevestigt dat de winst in dekking geen ononderbouwde restricties introduceerde.
- Filtering Consistentie: Verbeterde van 82,00% naar 96,00% ten opzichte van menselijke 'gold' traject-beoordelingen.
Prestaties van Agentic Skill-Use:
- In "Gold + Distractors" settings maskeerde de uiteindelijke accuratesse vaak procesfouten. Bijvoorbeeld, terwijl agents een hoge uiteindelijke accuratesse behaalden met gold skills, daalde hun Skill Selection score aanzienlijk wanneer distractoren werden geïntroduceerd (bijv. Qwen3.5-9B daalde van 92,0 naar 44,0).
- De vierdimensionale evaluatie onthulde dat agents vaak de verkeerde skills selecteerden of stappen oversloegen, zelfs wanneer de uiteindelijke uitkomst correct was.
Effectiviteit van Training (SFT):
- Rubric-Filtered SFT presteerde aanzienlijk beter dan Outcome-only SFT.
- Voor Qwen3.5-9B verbeterde outcome-only SFT de accuratesse van 14,0% naar 18,0%, terwijl Rubric-filtered SFT (met gebruik van $R_{best}$ ) dit verbeterde naar 32,0%.
- Ablatie-studies toonden aan dat het volgen van sleutelstappen de meest kritieke dimensie was voor filtering, gevolgd door compositievolgorde en reflectie.
Distractor-Boundary Analyse:
- Naarmate de skill-bibliotheek schaalde (tot 50k distractoren), vertoonden modellen twee foutmodi: degradatie (prestatieverlies) en instorting (bijna totaal falen om gold skills te selecteren).
- Sterkere modellen (bijv. GPT-5.5, Opus 4.7) vertraagden degradatie en instorting vergeleken met kleinere modellen, maar alle modellen kampten uiteindelijk met betrouwbaarheidslimieten in grote, overlappende bibliotheken.
- Hoog-gelijkaardige distractoren veroorzaakten aanzienlijk meer prestatieverlies dan ongerelateerde distractoren, wat de moeilijkheid benadrukt om nabijgelegen skills van elkaar te onderscheiden.

5. Betekenis en Claims

Het artikel stelt dat betrouwbaar skill-gebruik zowel meetbaar als trainbaar is door middel van skill-gegronde proces-supervisie.

Voorbij de Uiteindelijke Accuratesse: De auteurs stellen dat in enterprise-omgevingen een succesvolle uitkomst geen garantie biedt voor een herbruikbare of robuuste agent. Een agent die een verifier passeert via trial-and-error of onjuiste skill-invocatie introduceert latentie, kosten en compliance-risico's.
Proces-Supervisie: Door de proceskwaliteit te scheiden van outcome-signalen, biedt SkillCoach acteerbare feedback voor het diagnosticeren van specifieke foutmodi (selectie, opvolging, compositie, reflectie) in plaats van alleen binaire pass/fail resultaten.
Schaalbaarheid: Het zelf-evolverende karakter van de rubrics stelt hen in staat om zich aan te passen aan de complexiteit van groeiende, overlappende skill-repositories zonder handmatige herprogrammering, wat ze geschikt maakt voor industriële implementatie waar skill-bibliotheken dynamisch zijn.
Trainingssignaal: Het framework demonstreert dat het filteren van trainingsdata op basis van proces-niveau rubrics leidt tot agents met robuustere skill-gebruik gedragingen dan agents die uitsluitend getraind zijn op succes van de uitkomst.

De auteurs concluderen dat hoewel hun werk beperkt is tot offline SFT en een specifieke set skill-afhankelijke taken, de aanpak een fundament legt voor het behandelen van skill-gebruik als een onderscheidende, evalueerbare en optimaliseerbare capaciteit in agentische systemen.