Technische Samenvatting: Counsel – Een Meta-Evaluatie Dataset voor Agentic Taken

Probleemstelling

Naarmate agentische systemen worden ingezet voor steeds complexere, meerstaps-taken, is de evaluatie van hun executie-trajecten een kritieke bottleneck geworden. Menselijke annotatie van een enkel agent-traject op populaire benchmarks (bijv. SWE-bench) kan uren duren, wat het moeilijk maakt om evaluaties te schalen voor prestatie-meting of het cureren van trainingsdata. Bijgevolg is het veld verschoven naar geautomatiseerde benaderingen, specifiek LLM-as-a-Judge (LLMJ), om agenten te bekritiseren op zowel procesniveau (stap-voor-stap) als uitkomstniveau.

Er bestaat echter een aanzienlijke kloof: hoewel LLMJ's breed worden gebruikt voor datacuratie, training en implementatie, wordt de betrouwbaarheid van hun kritiek zelden gemeten. Bestaande meta-evalutie-inspanningen beperken zich doorgaans tot het vergelijken van uiteindelijke oordelen (scores/voorkeuren) met de menselijke grondwaarheid. Ze missen granulaire, proces-niveau data om te bepalen of een LLMJ correct heeft geïdentificeerd waar een fout optrad en of de redenering voor die fout solide was. De afwezigheid van dergelijke meta-evalutie data belemmert het vermogen om LLMJ's direct te kalibreren, te verbeteren of te trainen om hoogwaardige diagnostische feedback te produceren.

Methodologie

De auteurs introduceren Counsel, de eerste publieke dataset van meta-evaluaties voor agentische taken. De constructie van de dataset omvat een driefasen-pipeline:

1. Generatie van Agent-trajecten

De auteurs genereerden agent-trajecten met behulp van open-weight modellen over twee verschillende benchmarks:

• $\tau$-bench (Retail): Een klantenservice-benchmark die multi-turn tool-agent-gebruiker interacties simuleert. De auteurs gebruikten de retail-subset (115 taken).
• DA-Code: Een benchmark voor data science code-generatie die complexe workflows (opschonen, analyse, modellering) bevat in een gesandboxte omgeving. De auteurs gebruikten de Data Insights en Data Manipulation subsets (50 taken).

Agent Modellen: Om heterogene foutmodi te waarborgen, werden trajecten gegenereerd met:

• GPT-OSS-20B: Een 20B-parameter mixture-of-experts (MoE) model met gemiddelde redeneerkracht.
• Qwen3-235B-A22B-Instruct-2507: Een 235B-parameter MoE-model zonder expliciete redenering (System 1 denken).

2. Generatie van Judge-kritiek

Elke stap (span) van de agent-trajecten werd geëvalueerd door open-weight LLMJ's. De judges ontvingen dezelfde context als de agent op dat moment (geen informatie over de toekomst) en kregen de taak om:

• Te identificeren of er een fout optrad in de huidige stap.
• Een beknopte, voor mensen leesbare kritiek te geven die de fout uitlegt.
• De fouttype te categoriseren (bijv. redenering, toolgebruik, workflow).

Judge Modellen: Om systematische variatie te induceren, gebruikten de auteurs:

• GPT-OSS-120B: Geëvalueerd in zowel lage als hoge redeneringsinstellingen.
• Qwen3-235B-A22B-Instruct-2507: Gebruikt als een non-reasoning baseline.
  De studie omvatte same-family (bijv. GPT die GPT beoordeelt) en cross-family koppelingen om self-preference bias te analyseren.

3. Menselijke Meta-Evaluatie

Menselijke annotatoren (drie ervaren data science professionals met 10+ jaar ervaring) beoordeelden de output van de judges. Cruciaal is dat de annotatoren toegang hadden tot het volledige traject (verleden en toekomstige stappen), in tegen tegenstelling tot de judges die alleen de huidige context zagen.

Annotatieschema: Annotatoren labelden elke gemarkeerde span in een van de drie categorieën:

1. Spot on: De locatie van de fout is correct, en de redenering is correct.
2. Correcte locatie maar gebrekkige redenering: De foutlocatie is correct geïdentificeerd, maar de uitleg is gebrekkig of ontoereikend.
3. Zou niet gemarkeerd moeten zijn: De judge heeft onterecht een fout geïdentificeerd (zowel de locatie als de redenering zijn fout).

Annotatoren bereikten een Krippendorff's $\alpha$ van 0,78, wat wijst op een hoge inter-annotator overeenstemming.

Belangrijkste Bijdragen

1. Counsel Dataset: Een publieke, permissief gelicentieerde dataset met 1.131 menselijke meta-annotaties van judge-kritieken over 225 unieke agent-trajecten.
2. Granulaire Meta-Evaluatie: In tegenstelling tot eerder werk dat zich richt op uiteindelijke scores, biedt Counsel labels voor zowel foutlokalisatie als kwaliteit van de redenering, wat de evaluatie van de diagnostische bruikbaarheid van LLMJ's mogelijk maakt.
3. Open-Weight Ecosysteem: De gehele pipeline (agents, judges en datasetgeneratie) steunt op open-weight modellen, wat breed gemeenschappelijk gebruik en reproduceerbaarheid faciliteert.

Resultaten en Analyse

De auteurs presenteren enkele belangrijke bevindingen uit de datasetanalyse:

• Variantie in Judge Prestaties:
  • Redeneringsinspanning: Judges met een hogere redeneringsinspanning (GPT-OSS-120B:high) behaalden een significant betere menselijke overeenstemming dan hun low-reasoning tegenhangers. De sterkste judge bereikte ~88% overeenstemming op foutlocatie en ~65% overeenstemming op de kwaliteit van de redenering.
  • Domeinspecificiteit: De precisie van de kritiek varieerde per domein. Zo behaalde Qwen3 43% "Spot on" precisie op DA-Code maar 63% op $\tau$-bench retail, wat suggereert dat de effectiviteit van de judge afhankelijk is van de omgeving.
• Self-Preference Bias: De studie analyseerde of judges milder waren naar agents van dezelfde modelfamilie. Statistische tests (eenzijdige normale testen voor proporties) vonden geen significante self-preference bias bij de geëvalueerde judges.
• Foutlokalisatie vs. Recall: Het ontwerp van de dataset geeft prioriteit aan precisie (het beoordelen van alleen gemarkeerde fouten) boven recall. Hoewel de dataset relatieve recall-vergelijkingen toestaat (door true positives tussen judges te vergelijken), meet het niet de snelheid waarmee judges erin slagen bestaande fouten niet te markeren.

Betekenis en Claims

Het artikel positioneert Counsel als een fundamentele bron voor de rigoureuze studie en verbetering van LLM-gebaseerde evaluatoren. De auteurs beweren dat de dataset drie primaire use-cases mogelijk maakt:

1. Evaluatie van Kritiekkwaliteit: Verder gaan dan overeenstemming in uiteindelijke scores om te beoordelen of judges correct fouten lokaliseren en hoogwaardige redenering bieden.
2. Trainen van Meta-Judges: Het optimaliseren van modellen die de output van judges scoren, rangschikken of filteren om kwalitatief betere kritieken te selecteren.
3. Trainen van Judges: Het gebruik van meta-annotaties als supervisie of reward-signalen om judges direct te optimaliseren voor betere kritiekgeneratie.

De auteurs benadrukken dat hoewel Counsel de kalibratie en training van geautomatiseerde evaluatoren ondersteunt, het bedoeld is om de menselijke beoordeling aan te vullen, niet te vervangen. Zij merken beperkingen op, waaronder de focus op precisie boven recall en de beperking tot twee specifieke agentische domeinen (retail en coding), wat de generalisatie naar andere soorten taken kan beperken.

Een voorlopig experiment in het paper demonstreert dat het gebruik van de meta-annotaties van Counsel als few-shot in-context voorbeelden de prestaties van een agent in een loop kan verbeteren, specif