🤖 AI

SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing

SkillAudit is een ground-truth-vrij framework dat de vaardigheden van agenten evolueert door iteratief gepaarde trajecten met en zonder kandidaat-vaardigheden te auditeren, met behulp van Process-Aligned Contrastive Evaluation om gedragsdivergenties te diagnosticeren en een structurele verifieerder om vaardigheidsdocumenten veilig te verfijnen of te repareren zonder afhankelijk te zijn van externe beloningen of verborgen testuitkomsten.

Oorspronkelijke auteurs: Haowen Gao, Haoran Chen, Can Wang, Shasha Guo, Liang Pang, Zhaoyang Liu, Huawei Shen, Xueqi Cheng

Gepubliceerd 2026-06-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haowen Gao, Haoran Chen, Can Wang, Shasha Guo, Liang Pang, Zhaoyang Liu, Huawei Shen, Xueqi Cheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar in de tijd bevroren robotassistent hebt. Je kunt de hersenen van de robot niet herprogrammeren (de "weights" zijn vergrendeld), maar je kunt hem een instructiehandleiding (een "skill") geven om hem te helpen specifieke taken op te lossen, zoals het oplossen van een computerbug of het analyseren van financiële gegevens.

Het probleem is dat deze handleidingen vaak verouderd raken. Misschien is een tool veranderd, of is er een nieuw type fout opgetreden. Normaal gesproken heb je om een handleiding te repareren een "leraar" nodig (een expert of een verborgen antwoordsleutel) die zegt: "Nee, die stap is fout." Maar wat als je geen leraar hebt? Wat als je alleen de taakbeschrijving en een rommelige werkruimte hebt?

Dit artikel introduceert SKILLAUDIT, een systeem dat deze instructiehandleidingen kan repareren zonder een leraar of een antwoordsleutel nodig te hebben.

Zo werkt het, met behulp van eenvoudige analogieën:

1. De "Proefsmaak" (Paired Trajectory Auditing)

Stel je voor dat je een recept voor een taart probeert te verbeteren. Je hebt geen voedselcriticus om te proeven. In plaats daarvan bak je twee taarten op exact hetzelfde moment:

Taart A: Gemaakt met je huidige recept (de "Skill").
Taart B: Gemaakt met dezelfde ingrediënten maar zonder dat specifieke recept (alleen op basis van het instinct van de bakker).

Je vergelijkt de twee taarten vervolgens zij aan zij:

Als Taart A beter is, dan helpt het recept.
Als Taart A aangebrand of plat is terwijl Taart B prima is, dan schuurt het recept (het is schadelijk).
Als ze identiek zijn, is het recept inert (het doet niets).

SKILLAUDIT doet precies dit met een robot. Het voert de taak twee keer uit: één keer met de skill en één keer zonder. Door de twee "traces" (sporen) van wat de robot deed te vergelijken, isoleert het precies waar de skill de robot hielp of in de war bracht.

2. De "Detective Squad" (PACE)

Zodra de twee runs voltooid zijn, moet het systeem uitzoeken welke specifieke zin in de handleiding het probleem heeft veroorzaakt. Het gebruikt een team van AI-detectives genaamd PACE.

In plaats van alleen te zeggen "De taart is slecht", kijkt PACE naar de twee taarten en wijst naar een specifieke regel in het recept:

"Omdat Paragraaf 3 aanwezig was, probeerde de robot een gereedschap te gebruiken dat niet meer bestaat."
"Omdat Paragraaf 7 aanwezig was, sloeg de robot een veiligheidscontrole over die de 'no-skill' versie wel deed."

Dit verandelt een vage fout in een specifieke bewerkingsinstructie.

3. Het "Regelboek" (The Anchor Verifier)

Soms kunnen de AI-detectives in de war raken of hallucineren. Om te voorkomen dat het systeem wilde wijzigingen aanbrengt die de taak breken, is er een Regelboek.

Dit is een strikte, onveranderlijke checklist die vóór het proces wordt samengesteld op basis van de taakbeschrijving. Het controleert harde feiten:

"Heeft de robot het vereiste bestand aangemaakt?"
"Is het bestandsformaat correct?"
"Is het systeem gecrasht?"

Als de nieuwe versie van de handleiding dit Regelboek niet doorstaat, zet het systeem de wijzigingen onmiddellijk terug (rollback), ongeacht wat de detectives zeiden. Het fungeert als een vangnet.

4. Twee manieren om te repareren (Refine vs. Repair)

Afhankelijk van wat de "Proefsmaak" onthult, gebruikt het systeem een van de twee strategieën:

Refine (De Redacteur): Als de handleiding grotendeels goed is maar te veel onzin bevat, verwarrende instructies of verouderde tips, werkt het systeem als een strikte redacteur. Het verwijdert de ruis en verheldert de goede delen.
Repair (De Chirurg): Als de handleiding de robot geheel verkeerde instructies geeft (zoals het vertellen om een tool te gebruiken die niet meer bestaat), werkt het systeem als een chirurg. Het snijdt de slechte paragraaf eruit en vervangt deze door de juiste stappen, waarbij vaak de juiste stappen worden geleend van de "no-skill" run.

De Resultaten

De onderzoekers hebben dit getest op 89 verschillende professionele taken (zoals coderen, data-analyse en cybersecurity).

Geen handleiding: De robot voerde ongeveer 41% van de taken correct uit.
Statische handleiding (de oude, onbewerkte versie): De robot voerde ongeveer 57% correct uit.
SKILLAUDIT (de geëvolueerde handleding): De robot voerde 74% correct uit.

De Belangrijkste Les:
SKILLAUDIT bewijst dat je geen menselijke expert of een verborgen antwoordsleutel nodig hebt om de instructiehandleiding van een AI te verbeteren. Door simpelweg de "met skill" vs. "zonder skill" runs te vergelijken, kan het systeem zichzelf corrigeren, slecht advies verwijderen en goed advies behouden, waardoor de robot aanzienlijk slimmer en betrouwbaarder wordt.

De Limiet:
Het systeem werkt het beste wanneer de taak een duidelijk "voetafdruk" achterlaat (zoals het aanmaken van een bestand of het berekenen van een getal). Als een taak puur gaat over "goed oordeelsvermogen" of "creatief denken", waarbij er geen duidelijk goed/fout antwoord is om tegen te controleren, heeft het systeem moeite om te weten of het de handleiding heeft verbeterd of niet.

Technische Samenvatting: SKILLAUDIT

Probleemformulering

Het artikel behandelt de uitdaging van vaardigheidsevolutie (skill evolution) voor bevroren Large Language Model (LLM) agenten in professionele workflows. Hoewel "agent-vaardigheden" (gestructureerde procedurele instructiepakketten) agenten effectief kunnen sturen, degraderen deze vaak na implementatie door veranderende tools, API's en randgevallen.

Bestaande methoden voor het verfijnen van deze vaardigheden vertrouwen op geprivilegieerde grondwaarheid-feedback, zoals:

Gereserveerde validatiescores of verborgen testresultaten.
Oracle pass/fail-signalen.
Omgevingsbeloningen of expert-referentieresponsies.

Echter, in realistische implementatiescenario's beschikken praktijkgebruikers vaak alleen over een taakbeschrijving ( $T$ ), werkruimtegegevens ( $W$ ) en een initiële vaardigheid ( $S_0$ ). Zij hebben geen toegang tot externe scorefuncties, referentieoplossingen of testscripts. Het centrale probleem is: Hoe kunnen agent-vaardigheden worden verbeterd zonder toegang tot externe grondwaarheid-feedback tijdens de optimalisatie?

De auteurs formaliseren dit als een geoptimaliseerd probleem waarbij het doel is om de latente taakbeloning $R(\tau)$ te maximaliseren, onderworpen aan een grondwaarheid-vrije beperking ( $C_{gtf}$ ), die toegang tot $R$ of de proxies daarvan op enig moment tijdens de evolutielus verbiedt.

Methodologie: SKILLAUDIT

De auteurs stellen SKILLAUDIT voor, een framework dat vaardigheden evolueert met behulp van enkel de taakbeschrijving, werkruimtegegevens en executietracés. De kernmechanisme is Paired Trajectory Auditing, die de specifieke impact van een vaardigheid isoleert door twee executies van dezelfde taak te vergelijken:

Met-vaardigheid ( $\tau_w$ ): De agent voert de taak uit met de kandidaat-vaardigheid geïnjecteerd.
Zonder-vaardigheid ( $\tau_{wo}$ ): De agent voert dezelfde taak uit zonder de vaardigheid.

Het systeem afgeleide optimalisatiesignalen uit de gedragsdivergentie tussen deze twee trajecten. De architectuur bestaat uit vier kerncomponenten:

1. Paired Trajectory Auditing & PACE

Ruwe verschillen in trajecten zijn onvoldoende voor bewerking. Om deze om te zetten in actiegerichte sturing, gebruikt SKILLAUDIT Process-Aligned Contrastive Evaluation (PACE). PACE is een cluster van 12 evaluatoren opererend over vier dimensies:

Procesnaleving (Process Adherence): Voldeed de agent aan de voorgeschreven stappen van de vaardigheid?
Artefactbewijs (Artifact Evidence): Voldoen de outputbestanden aan de in de vaardigheid verklaarde restricties?
Consistentie (Consistency): Komt de workflow van de vaardigheid overeen met het dataschema van de taak?
Effectiviteitsdelta (Effectiveness Delta): Presteert het traject met de vaardigheid beter dan het traject zonder de vaardigheid op de divergentiepunten?

Cruciaal is dat PACE segment-verankerde diagnostische signalen genereert. In plaats van een globale "pass/fail", identificeert het specifieke passages in het vaardigheidsdocument die een gedragsverandering veroorzaakten (bijv. "Met deze paragraaf nam de agent een foutieve actie bij stap X").

2. Anchor Verifier

Om evaluator-drift te voorkomen en structurele integriteit te waarborgen, wordt er éénmalig een structurele verifier gecompileerd vanuit de taakspecificatie ( $T$ ) en deze vastgezet voor de gehele evolutie. Deze codeert harde restricties die uitsluitend afleidbaar zijn uit $T$ en $W$ (bijv. bestaan van bestanden, naleving van formaten, herberekbare waarden).

Rol: Het fungeert als een deterministische poort. Als een update de Anchor Verifier doet falen, wordt de update onvoorwaardelijk teruggedraaid (rollback), ongeacht de zachte signalen van PACE.

3. Dual-Strategy Evolution

Op basis van een initiële compatibiliteitsbeoordeling tussen $S_0$ en $T$ , routeert het systeem de taak naar een van de twee pipelines:

Refine Pipeline: Voor vaardigheden die breed effectief zijn maar ruis, redundantie of kleine hiaten bevatten. De strategie is subtraction-first: het verwijderen van afleidende inhoud terwijl "helende" segmenten worden beschermd.
Repair Pipeline: Voor vaardigheden waarbij de kernworkflow conflicteert met de taak of de agent actief misleidt. De strategie is diagnose-gestuurde vervanging: het lokaliseren van schadelijke passages en het vervangen ervan door correcte sturing (mogelijk afgeleid van het traject zonder de vaardigheid).

4. Decision Logic

In elke iteratie aggregeert het systeem PACE-signalen en Anchor Verifier-controles om een drieledig oordeel te produceren:

Helped (Geholpen): Commit de update.
Hurt (Geschaad): Onmiddellijke rollback (geveto's als elke evaluator een "hurt"-signaal rapporteert).
Inert (Inert/Onbeslist): Uitstellen naar de volgende iteratie.

De lus eindigt wanneer de vaardigheid een stabiele staat bereikt (geen "hurt"-oordelen in recente iteraties, de verifier slaagt en er blijven geen actiegerichte doelen over).

Belangrijkste Bijdragen

Grondwaarheid-vrije Vaardigheidsevolutie: De formulering van vaardigheidsevolutie onder de realistische beperking $C_{gtf}$ , waarbij geen verborgen tests, referentieoplossingen of oracle-signalen beschikbaar zijn.
Paired Trajectory Auditing: Een mechanisme om optimalisatiesignalen af te leiden door de impact van de vaardigheid op het gedrag van de agent te isoleren via gecontroleerde contrastieve executie.
Process-Aligned Diagnose: De ontwikkeling van PACE, die trajectdivergenties in kaart brengt naar specifieke vaardigheidspassages, gecombineerd met een vaste Anchor Verifier om structurele stabiliteit te garanderen.
Dual-Strategy Routing: Een mechanisme dat onderscheid maakt tussen vaardigheden die ruisreductie nodig hebben (Refine) en die kernvervanging behoeven (Repair).

Experimentele Resultaten

Het framework werd geëvalueerd op 89 gecontaineriseerde taken over 8 professionele domeinen (inclusief Software Engineering, Natuurwetenschappen en Finance) met behulp van de SkillsBench benchmark.

Prestaties: SKILLAUDIT behaalde een gemiddelde taakbeloning van 73,9%.
Vergelijkingen:
- Presteerde beter dan de agent met geen vaardigheden (40,9%) met +33,0 procentpunt.
- Presteerde beter dan de statische expert-vaardigheid in de benchmark (56,7%) met +17,2 procentpunt.
Domeinvariantie: Het systeem vertoonde de grootste winsten in Software Engineering (+38,5 pp) en Office & White Collar (+26,7 pp). In Finance & Economics week het niet af van de statische baseline.
Herstel: Het systeem slaagde er succesvol in om 43% van de taken te herstellen waar de initiële vaardigheid faalde (beloning < 0,5) en beschermde perfect 92% van de taken waar de initiële vaardigheid al werkte.

Betekenis en Beperkingen

Het artikel beweert dat SKILLAUDIT aantoont dat agent-vaardigheden autonoom verbeterd kunnen worden zonder externe grondwaarheid, mits de taakcorrectheid een observeerbaar structureel spoor achterlaat.

Observability Boundary (Observabiliteitsgrens): De auteurs identificeren dat succes wordt bepaald door observeerbaarheid, niet door domein. Vaardigheden die "uitvoerbare, observeerbare kennis" coderen (bijv. API-gebruik, wiskundige formules) evolueren goed omdat fouten zichtbare sporen produceren (stack traces, foutieve getallen). Daarentegen zijn vaardigheden die "domeinprocedures" coderen (waar het verwijderen van een stap geen structureel spoor achterlaat) moeilijk te evolueren zonder grondwaarheid.
Aard van de Bewerkingen: De analyse laat zien dat succesvolle evolutie de neiging heeft om vaardigheden te transformeren van "tutorials" naar "verifier-observeerbare executiecontracten". Dit houdt vaak het wegknippen van off-domain inhoud, het de-hardcoden van paden en het toevoegen van ontbrekende I/O-contracten in.
Bescheiden Claims: De auteurs erkennen dat het systeem geen ontbrekende domeinkennis kan synthetiseren als de auditor het resultaat niet kan verifiëren (bijv. het kan een financieel model niet repareren als het de correctheid van het getal niet kan verifiëren, alleen de aanwezigheid van het bestand). Het systeem herstelt fouten door het contract van de vaardigheid observeerbaar te maken, niet door nieuwe domeinkennis uit te vinden.

Samenvattend biedt SKILLAUDIT een praktisch pad voor het onderhouden en evolueren van agent-vaardigheden in real-world implementaties waar externe validatie-infrastructuur niet beschikbaar is, door te vertrouwen op de interne consistentie en structurele beperkingen van de taak zelf.