🤖 AI

SkillTV-Bench: Benchmarking How Well Judges Perform on Skill-Augmented Agentic Execution

Dit artikel introduceert SkillTV-Bench, een uitgebreide benchmark voor het evalueren van vaardigheidsbewuste trajectverificatie in LLM-agenten, samen met SkillTV-Evolve, een methode die herbruikbare beoordelingsvaardigheden verfijnt om zowel de verificatienauwkeurigheid als de succespercentages van trajectselectie aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Zhi Han, Chenxi Zeng, Liuhaichen Yang, Zihan Guo, Ming Zhou, Yang Li

Gepubliceerd 2026-08-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhi Han, Chenxi Zeng, Liuhaichen Yang, Zihan Guo, Ming Zhou, Yang Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers niet alleen met je chatten, maar ook daadwerkelijk dingen doen. Ze kunnen bestanden openen, code schrijven, het web doorzoeken en zelfs robots aansturen om complexe, meerstaps-problemen op te lossen. Dit zijn "AI-agenten". Maar hier komt de lastige kant aan: wanneer een AI-agent probeert een kapende website te repareren of een reis te plannen, geeft hij je niet zomaar één definitief antwoord. Hij maakt een lange reis, waarbij hij honderden kleine stappen zet, hulpmiddelen aanroept en onderweg zijn werk controleert.

De grote vraag voor wetenschappers is: hoe weten we of de AI het echt goed heeft gedaan? In het verleden keken we alleen naar het eindresultaat. Als de website er gerepareerd uitzag, zeiden we: "Goed gedaan!" Maar wat als de AI daar kwam door sluiproutes te nemen, of als hij het verkeerde ding heeft gefixed en daarbij iets anders heeft kapotgemaakt in het proces? We hebben een manier nodig om de hele reis te bekijken, niet alleen de finishlijn. Hier komen "rechters" om de hoek kijken — speciale AI-systemen die getraind zijn om het werk van de agent te beoordelen. Maar deze rechters worstelen momenteel nog. Ze worden vaak gefopt door glanzende eindantwoorden en missen de verborgen fouten die onderweg zijn gemaakt, vooral wanneer de agent speciale "vaardigheden" gebruikt (zoals een gereedschapskist vol vooraf geprogrammeerde trucjes) om de taak te voltooien.

Dit artikel introduceert een nieuwe manier om deze rechters te testen en te trainen. De onderzoekers hebben een gigantische speeltuin gecreëerd genaamd SkillTV-Bench, wat lijkt op een enorme TV-marathon met 681 verschillende afleveringen waarin AI-agenten proberen real-world taken op te lossen binnen 11 verschillende vakgebieden, van cybersecurity tot koken. De twist? De rechters kijken niet alleen naar een video; ze krijgen de "handleiding van vaardigheden" van de agent en toegang tot de werkelijke bestanden en logs die de agent heeft aangemaakt. Dit stelt hen in staat om precies te zien wat de agent had moeten doen en of hij de regels heeft gevolgd.

Het team ontdekte dat zelfs de slimste huidige rechters de mist in gaan. Ze geven vaak een "Pass" aan agenten die er aan de oppervlakte goed uitzien, maar die de missie eigenlijk hebben gefaald. Om dit op te lossen, bouwde de auteur een systeem genaamd SkillTV-Evolve. Denk aan dit als een "coach" voor de rechter. In plaats van alleen maar te gokken, krijgt de rechter een dynamische checklist (een "JudgeSkill") die hem precies vertelt waar hij naar moet kijken, waar hij moet zoeken en welk bewijs aantoont dat de agent geslaagd is of gefaald heeft. Als de rechter een fout maakt, herschrijft het systeem automatisch de checklist om die fout de volgende keer te voorkomen.

De resultaten waren indrukwekkend. Door gebruik te maken van deze evoluerende checklist, steeg de nauwkeurigheid van de rechter met bijna 15 procentpunten. Maar de echte magie gebeurde toen ze deze betere rechter gebruikten om de beste pogingen uit een groep AI-agenten te selecteren. Stel je voor dat een AI probeert een puzzel 10 keer op te lossen en daarmee 10 verschillende pogingen produceert. Een slechte rechter zou een "nep"-succes kunnen kiezen, maar deze nieuwe, vaardigheid-bewuste rechter kan het ene echte succes opsporen. Met deze betere rechter was het team in staat om 45,5% van de tijd een succesvolle oplossing te selecteren bij 10 pogingen, vergeleken met slechts 22,9% met één enkele poging of een zwakkere rechter.

Kortom, het artikel suggelt dat om AI-agenten te vertrouwen, we rechters nodig hebben die niet alleen naar de definitieve foto kijken, maar het hele album inspecteren, waarbij ze de eigen instructiehandleiding van de agent gebruiken om de neptitels te herkennen. Door deze rechters een betere "regelset" te geven die leert van hun eigen fouten, kunnen we AI veel betrouwbaarder maken bij het uitvoeren van complexe, real-world taken.

Technische Samenvatting: SkillTV-Bench en SkillTV-Evolve

Probleemstelling

Large Language Model (LLM) agenten zijn geëvolueerd van single-turn generatoren naar interactieve systemen die in staat zijn tot langdurige taken waarbij gebruik wordt gemaakt van tools, bestandmanipulatie en interactie met de omgeving. Deze verschuiving vereist een verandering in evaluatieparadigma's: van het scoren van uiteindelijke responsen naar het verifiëren van volledige executietrajecten. Echter, bestaande judge-benchmarks vertrouwen vaak op statische trajecten of uiteindelijke responsen, waardoor ze niet in staat zijn om skill-augmented agents te accounten.

Voor agenten die zijn verbeterd met task-time skills (procedurele kennis die toolkeuzes, workflows en beperkingen codeert), is verificatie uniek uitdagend. Skills dicteren welke bewijslast moet worden geïnspecteerd en welke fouten taalkritiek zijn. Zonder toegang tot deze skills en het vermogen om actieve inspectie van executie-artefacten (bijv. logs, bestanden, database-statussen) uit te voeren, interpreteren judges het gedrag van agenten vaak verkeerd, vertrouwen ze te veel op gepolijste outputs, of missen ze verborgen procesfouten. Huidige benchmarks combineren zelangels task-time skills met direct inspecteerbare omgevingen en de multi-domein dekking die vereist is om skill-aware trajectory verification systematisch te evalueren.

Methodologie

1. SkillTV-Bench: Een Skill-Aware Verificatie Benchmark

Om het gat in bestaande evaluaties te dichten, introduceren de auteurs SkillTV-Bench, een benchmark ontworpen voor skill-aware trajectory verification.

Samenstelling: De benchmark bestaat uit 681 executiegevallen afgeleid van 50 bron-taken over 11 domeinen (waaronder cybersecurity, finance, healthcare, robotica en software engineering).
Datastructuur: Elk geval is een zelfstandige tuple $(I, \tau, S, A)$ $(I, τ, S, A)$ :
- $I$ : De originele taakinstructie.
- $\tau$ : Een genormaliseerd, stap-voor-stap executietraject.
- $S$ : De set van task-time skills die beschikbaar zijn voor de agent.
- $A$ : Inspecteerbare executie-artefacten (bestanden, logs, omgeving-statussen).
Constructie: Gegevens zijn gefilterd en genormaliseerd uit SkillsBench. Gevallen zijn verdeeld in een development set (478 gevallen) voor skill-evolutie en een disjunct evaluatie set (203 gevallen) voor finale testen.
Differentiatie: In tegen tegenstelling tot eerdere benchmarks die zich richten op respons-paren of statische tekst, ondersteunt SkillTV-Bench agentic interaction, waardoor judges actief bewijs binnen een externe omgeving kunnen inspecteren.

2. SkillTV-Evolve: Geëxternaliseerde Verificatiekennis

De auteurs stellen SkillTV-Evolve voor, een framework om de prestaties van de judge te verbeteren zonder de onderliggende modelparameters bij te werken.

JudgeSkill Concept: Verificatiekennis wordt geëxternaliseerd als een herbruikbare, menselijk leesbare JudgeSkill. Deze skill stuurt een agent-judge aan om te:
1. Plannen: Een inspectieplan genereren dat specificeert wat er gecontroleerd moet worden en waar bewijs te vinden is.
2. Executeren: Gerichte inspecties uitvoeren op artefacten en skills.
3. Oordeel vellen: Een op bewijs gebaseerd oordeel uitbrengen met een rationale.
Geautomatiseerde Evolutie-loop:
- Het systeem analyseert foutief beoordeelde gevallen (false positives/negatives) uit een development pool.
- Het synthetiseert "rewrite briefs" die foutanalyse comprimeren tot gerichte revisiedoelen (bijv. false-pass hardening).
- Een optimizer stelt revisies voor aan de JudgeSkill-tekst.
- Gating: Kandidaat-revisies worden geëvalueerd op een vaste 36-case development gate. Een kandidaat wordt alleen gepromoveerd als deze een composiete score ( $G$ ) verbetert die een balans vindt tussen balanced accuracy, recall voor fouten en precisie voor passes.
Resultaat: Dit proces verfijnt de JudgeSkill iteratief, waarbij oordeelsfouten worden omgezet in herbruikbare verificatieprocedures.

Belangrijkste Bijdragen

SkillTV-Bench: Een 681-case benchmark die 11 domeinen beslaat en ondersteuning biedt voor multi-domein, agentic, evidence-grounded, en skill-aware evaluatie. Het breidt domeindekking, agentic interactie en skill awareness uit voorbij bestaande benchmarks door task-time skills te combineren met inspecteerbare artefacten voor judge-evaluatie.
SkillTV-Evolve: Een plan-gestuurd framework dat verificatiekennis externaliseert in een JudgeSkill. Het bevat een geautomatiseerde evolutie-loop die de verificatienauwkeurigheid verbetert door iteratieve verfijning van de skill-tekst, zonder modeltraining.
Empirische Validatie: Experimenten die aantonen dat het verbinden van benchmark-gegronde evaluatie met JudgeSkill-evolutie zowel de trajectory verification als de downstream rollout selectie significant verbetert.

Experimentele Resultaten

RQ1: Benchmark Inzichten

SkillTV-Bench onthult systematische zwakheden in bestaande judges:

Prestatieplafond: Frontier modellen (GPT-5.2, Claude Sonnet 4.6, Gemini 3.1) bereiken balanced accuracies tussen de 0.478 en 0.586 op de benchmark.
Foutpatronen: De dominante foutmodus is false acceptance. Judges accepteren vaak plausibele maar gefaal celde trajecten (bijv. Claude Sonnet 4.6 heeft een hoge recall maar lage precisie).
Onvoldoende van Tools: Het louter voorzien van agenten met tools en toegang tot de omgeving (zonder een dedicated JudgeSkill) levert slechts een balanced accuracy op van 0.568, wat aangeeft dat interactie met de omgeving alleen het verificatieprobleem niet oplost.

RQ2: Benchmark-Gegronde Verbetering

SkillTV-Evolve slaagt er succesvol in om benchmark-fouten om te zetten in verificatiekennis:

Nauwkeurigheidswinst: De verfijnde JudgeSkill verhoogt de balanced accuracy van dezelfde agent-judge van 0.568 naar 0.634 en de overall accuracy met 14.8 procentpunt (van 43.8% naar 58.6%).
Domeindekking: Verbeteringen worden waargenomen in 7 van de 9 evaluatie-domeinen, met significante winsten in media/content (+36.7 pp), cybersecurity (+26.7 pp) en manufacturing (+23.1 pp).
Iteratieve Progressie: De nauwkeurigheid op de volledige evaluatie set verbeterde monotoon van versie v1 (50.8%) naar v4 (58.6%).

RQ3: Downstream Rollout Selectie

Verbeterde verificatie vertaalt zich naar een betere selectie van succesvolle trajecten in offline rollout pools:

Succespercentage: Met een budget van 10 rollouts bereikt de verfijnde JudgeSkill (v4) een selected-trajectory succespercentage van 45.5%.
Vergelijking: Dit vertegenwoordigt een winst van 22.6 procentpunt ten opzien van de single-rollout baseline (22.9%) en presteert beter dan de beste non-skill baseline (Rubric-based judge bij 38.4%) met 7.1 punten.
Mechanisme: De verbetering wordt gedreven door een reductie in false acceptances. Door plausibele fouten effectiever te filteren, behoudt de verifier een "schonere" pool van kandidaten, wat de kans vergroot om een werkelijk succesvol traject te selecteren.

Betekenis en Claims

Het paper stelt dat trajectory verification niet louter moet worden gezien als passieve evaluatie, maar als het mechanisme dat diverse agent rollouts omzet in betrouwbare taakuitkomsten.

Meetbaarheid: SkillTV-Bench maakt het probleem van skill-aware verificatie meetbaar door van judges te eisen dat zij instructies, processen, skills en artefacten met elkaar in overeenstemming brengen.
Externaliseerbaarheid: SkillTV-Evolve demonstreert dat de complexe kennis die nodig is voor verificatie kan worden geëxternaliseerd als een expliciete, auditeerbare procedure (JudgeSkill) en kan worden verfijnd vanuit fouten zonder modelparameters bij te werken.
Praktisch Gevolg: De studie valideert dat het evolueren van een expliciete JudgeSkill consistente winsten oplevert in verificatiecapaciteit, wat direct leidt tot hogere succespercentages bij het selecteren van agent trajecten.

De auteurs merken een beperking op: de huidige loop verbetert de judge, maar voert nog geen evidence-grounded feedback terug naar de task agent om toekomstige executies te verbeteren. Zij suggereren dat het sluiten van dit gat een data-flywheel zou creëren waarbij geverifieerde trajecten de benchmark uitbreiden en verdere agent- en judge-evolutie aansturen.