💻 computer science

Benchmarking the Benchmarks: A Validity Audit of Tool-Calling Evaluation

Dit artikel presenteert een systematische validiteitsaudit van vier belangrijke tool-calling benchmarks, die een significante discrepantie tussen de evaluator en de mens onthult, evenals reproduceerbaarheidsproblemen die de huidige leaderboard-scores ondermijnen, en stelt een verenigde taxonomie van fouten voor naast nieuwe tools zoals Tool-Veritas en Harness Lab om striktere, controleerbare en op de mens afgestemde evaluatiestandaarden vast te stellen.

Oorspronkelijke auteurs: Vishvesh Bhat, Jay Vaghasiya, Muhammad Ahmed Mohsin, Asad Aali

Gepubliceerd 2026-07-07

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vishvesh Bhat, Jay Vaghasiya, Muhammad Ahmed Mohsin, Asad Aali

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een coach bent die probeert uit te zoeken welke van je atleten het beste is in het spelen van een complexe videogame die draait om het oplossen van puzzels, het beheren van een inventaris en het praten met NPC's (non-player characters). Om de winnaar te bepalen, zet je een reeks uitdagingen op en gebruik je een scorekeeper om hun prestaties te beoordelen.

Dit artikel is in feite een forensische audit van de scorekeepers zelf. De auteurs, onderzoekers van CoreThink AI en Stanford, stelden een eenvoudige maar schokkende vraag: "Meten de scores die we zien daadwerkelijk de vaardigheden van de atleten, of meten ze alleen hoe kapot de scorekeepers zijn?"

Hier is wat ze vonden, uitgelegd aan de hand van alledaagse analogieën.

1. Het probleem: De scorekeeper is onbetrouwbaar

De onderzoekers bekeken vier belangrijke "scorekeepingsystemen" (benchmarks) die momenteel worden gebruikt om AI-agenten te rangschikken. Ze namen 496 specifieke taken en lieten menselijke experts kijken naar hoe de AI speelde, en vergeleken vervolgens het oordeel van de mens met het cijfer van de computergestuurde scorekeeper.

Het resultaat: De scorekeepers zaten er 18,5% van de tijd naast.

False Negatives (Vals Negatieven): De AI loste de puzzel daadwerkelijk op, maar de scorekeeper gaf een "F" vanwege een kleine, irrelevante fout (zoals een ontbrekende komma of een iets andere manier van formuleren van een antwoord).
False Positives (Vals Positieven): De AI slaagde er niet in de puzzel op te lossen, maar de scorekeeper gaf een "A" omdat het de fout niet opmerkte.

De analogie: Stel je een student voor die een wiskundeprobleem correct oplost, maar het eindantwoord als "42" opschrijft in plaats van "42.". De docent (de AI-agent) weet dat de wiskunde klopt, maar de geautomatiseerde beoordelingsmachine (de benchmark) faalt de student omdat de machine een exacte karakterovereenkomst eist. Omgekeerd kan een student het antwoord fout hebben, maar als de beoordelingsmachine in de war is, kan deze hem per ongeluk toch volledige punten geven.

2. Twee soorten kapotte scorekeepers

Het onderzoek toonde aan dat de scorekeepers op twee zeer verschillende manieren falen, afhankelijk van hoe ze zijn gebouwd.

Type A: De "Starve Robot" (Deterministische Benchmarks)

Deze systemen zijn als een strikte beveiliger die je alleen binnenlaat als je ID exact overeenkomt met de foto, tot op de pixel nauwkeurig.

De fout: Ze zijn "broos" (brittle). Als de AI het juiste doet, maar in een iets andere volgorde, of als de database wordt bijgewerkt op een manier die de robot niet verwachtte, raakt de robot in paniek en markeert het als een fout.
Voorbeeld uit de praktijk uit het artikel: Een AI annuleerde correct twee vluchtreserveringen en berekende de kosten van de resterende vluchten. Echter, de scorekeeper verwachtte een specifiek bedrag ($1.628) dat de geannuleerde vluchten nog inbegreep. Omdat de AI het correcte antwoord gaf voor de gebruikersaanvraag, maar het foutieve getal voor het rigide script van de scorekeeper, werd de AI als falend gemarkeerd.

Type B: De "Dronken Rechter" (LLM-Judge Benchmarks)

Deze systemen gebruiken een andere AI om de eerste AI te beoordelen. Het is also[t] een student vragen om zijn eigen huiswerk te nakijken, maar de beoordelaar is ook een student die moe en inconsistent is.

De fout: Ze zijn "stochastisch" (willekeurig). Als je exact dezelfde test twee keer uitvoert, kan de "Dronken Rechter" twee totaal verschillende scores geven.
Voorbeeld uit de praktijk uit het artikel: De onderzoekers voerden deze benchmark 23 keer uit. De score schommelde wild tussen 57,9% en 76,8%. Dat is een verschil van 18,9 procentpunten! Als je deze test op een leaderboard zou draaien, zou de "winnaar" kunnen veranderen simpelweg omdat de rechter die dag een andere stemming had, en niet omdat de AI slimmer is geworden.

3. Het gevolg: Een kapotte Leaderboard

Omdat de scorekeepers zo onbetrouwbaar zijn, zijn de huidige "Leaderboards" (lijsten die de beste AI-modellen rangschikken) misleidend.

De analogie: Stel je een race voor waarbij de finishlijn telkens willekeurig verschuift wanneer een hardloper erdoorheen komt. Soms staat de lijn 10 meter naar achteren, soms 10 meter naar voren. Als je de wereld vertelt wie er gewonnen heeft op basis van één enkele run, lieg je. Het artikel betoogt dat huidige AI-ranglijsten vaak de gebreken van de test weerspiegelen in plaats van de vaardigheid van de AI.

4. De oplossing: Een nieuwe manier van beoordelen

De auteurs klaagden niet alleen; ze bouwden twee nieuwe hulpmiddelen om het probleem op te lossen.

Tool-Veritas: De "Feiten-Eerst" Beoordelaar

Dit is een nieuw scoringssysteem dat probeert het beste van beide werelden te combineren.

Hoe het werkt: Eerst controleert het de feiten met behulp van een rigide, onveranderlijke robot. Is het bestand opgeslagen? Is de bankrekening bijgewerkt? Als de feiten onjuist zijn, is de test voorbij.
Het vangnet: Alleen als de feiten perfect zijn, laat het systeem een mensachtige AI-beoordelaar kijken naar de "stijl" of "toon" van het antwoord.
Het resultaat: Dit nieuwe systeem stemde in 95,5% van de gevallen overeen met menselijke experts, een enorme verbetering ten opzichte van de 69–90% overeenkomst van de oude systemen.

Harness Lab: De "Replay Camera"

Dit is software die fungeert als een sportverslaggeving met een replay-systeem.

Wat het doet: Het slaat elke beweging die de AI maakte op, elke foutmelding en elke beslissing die de scorekeeper nam.
Waarom het belangrijk is: Als een score vreemd lijkt, kun je op "terugspoelen" drukken, het exacte moment bekijken waarop de AI of de beoordelaar een fout maakte, en dit corrigeren. Het maakt het beoordelingsproces transparant en controleerbaar, in plaats van een "black box" waar je alleen een eindcijfer krijgt.

Samenvatting

Het artikel concludeert dat we de huidige "scores" van AI-agenten niet kunnen vertrouwen omdat de tests zelf kapot zijn. Om te weten of een AI daadwerkelijk beter wordt, hebben we tests nodig die:

Reproduceerbaar zijn: Het uitvoeren van de test twee keer moet hetzelfde resultaat geven.
Controleerbaar zijn: We moeten kunnen zien waarom een cijfer is gegeven.
In lijn zijn met mensen: De test moet overeenkomen met wat een menselijke expert als een succes beschouwt.

De auteurs hebben hun nieuwe "Feiten-Eerst" test en hun "Replay Camera" software vrijgegeven om de community te helpen bij het bouwen van betere, eerlijkere benchmarks.

Technisch overzicht: Benchmarking de Benchmarks: Een validiteitsaudit van Tool-calling Evaluatie

Probleemstelling

Tool-calling benchmarks zijn het primaire mechanisme geworden voor het meten van vooruitgang in taalmodel-agenten, maar de scores worden frequent behandeld als de absolute waarheid zonder de evaluatoren zelf te valideren. Dit artikel betoogt dat huidige benchmarkscores vaak eigenschappen van de evaluator weerspiegelen in plaats van de capaciteiten van de agent. De auteurs identificeren twee primaire faalmodi binnen bestaande paradigma's:

Deterministische Benchmarks: Lijden aan breekbare state-matching, traject-lock-in, incorrecte grondwaarheid-annotaties, substring-gebaseerde communicatiefouten en mismatch in de beloningsbasis. Dit resulteert vaak in vals negatieven (geldige taken gemarkeerd als mislukkingen) of vals positieven (ongeldige taken gemarkeerd als successen).
LLM-Judge Benchmarks: Vertonen rubric-drift, gehallucineerde completions, scoring op basis van enkel het antwoord en aanzienlijke variantie tussen opeenvolgende runs. Deze introduceren score-instabiliteit die de conclusies van leaderboards kan veranderen zonder dat er een verandering is opgetreden in het geëvalueerde model.

Het kernprobleem is dat bestaande benchmarks er niet in slagen om fundamentele validiteitseisen te voldoen: het correct onderscheiden van succesvolle van onsuccesvolle executies, het getrouw vastleggen van de gebruikersintentie, en het produceren van reproduceerbare scores onder herhaalde evaluatie.

Methodologie

De auteurs voerden een systematische validiteits- en reproduceerbaarheidsaudit uit van vier belangrijke tool-calling benchmarkfamilies: BFCL v4, τ 2-Bench, LiveMCPBench en MCP-Atlas.

Audit Framework

De audit bestond uit een driefasige procedure:

Reproductie: Het reproduceren van benchmark-evaluaties om volledige executietrajecten, tool-invocatie logs, output van de evaluator en de staat van de omgeving te verzamelen.
Menselijke Adjudicatie: Drie onafhankelijke expert-annotatoren beoordeelden 496 taak-executies. Zij inspecteerden het volledige interactietraject, de tool-sequenties, de staatsovergangen en de uiteindelijke uitkomsten om een menselijk label ( $h_i \in \{PASS, FAIL\}$ ) toe te wijzen.
Root-Cause Analyse: Het vergelijken van officiële benchmark-labels ( $y_i$ ) met menselijke oordelen om discrepanties ( $\delta_i = 1[y_i \neq h_i]$ ) te identificeren. Discrepanties werden gecategoriseerd in vals negatieven en vals positieven en in kaart gebracht naar een verenigde faal-taxonomie.

Infrastructuur

De auteurs ontwikkelden Harness Lab, een open-source systeem dat werd gebruikt voor de audit. Harness Lab bewaart ruwe artefacten, biedt diagnostiek op turn-niveau, ondersteunt selectieve retries van mislukte gevallen en maakt herhaalde run-vergelijkingen mogelijk om de variabiliteit van scores te meten.

Voorgestelde Oplossingen

Om de geïdentificeerde beperkingen aan te pakken, introduceert het artikel:

Tool-Veritas: Een configureerbare benchmark die gebruikmaakt van een "deterministic-first" protocol. Het hanteert deterministische state gates om feitelijke uitkomsten te verifiëren (bijv. bestandscréatie, database-updates) en beperkt LLM-beoordeling tot kwalitatieve criteria pas nadat de deterministische gates zijn gepasseerd. Het bevat ook een begrensde herstelperiode (repair window) om het herstelvermogen van de agent te meten.
Gedecodeerde Metrieken: Een framework dat de evaluatie scheidt in drie onafhankelijke componenten: de correctheid van de tool-invocatie, de correctheid van de taakvoltooiing en de verificatie van de uitkomst.

Belangrijkste Resultaten

Misalignement tussen Evaluator en Mens

Over 496 door experts beoordeelde taken identificeerde de audit 92 discrepanties tussen evaluator en mens, wat overeenkomt met een geaggregeerde misalignment-rate van 18,5%.

BFCL v4: 20,0% foutpercentage (40 discrepanties). Falen werd gedomineerd door instance_state_mismatch (80%), waarbij de evaluator irrelevante staatverschillen of interpunctie bestrafde in plaats van het succes van de taak.
τ 2-Bench Retail: 9,8% foutpercentage (11 discrepanties). Fouten omvatten vals negatieven door breekbare substring-checks (bijv. het afwijzen van een correct antwoord omdat het een specifieke getalstring miste) en vals positieven waarbij ongewijzigde database-staten onterecht als succes werden gescoord.
MCP-Atlas: 13,5% foutpercentage (12 discrepanties).
LiveMCPBench: 30,5% foutpercentage (29 discrepanties), de hoogste onder de geauditeerde benchmarks.

Reproduceerbaarheid van LLM-Judges

De audit van LiveMCPBench onthulde significante instabiliteit. In 23 herhaalde evaluaties van dezelfde 95-taak setup varieerden de scores van 57,9% tot 76,8%, een spreiding van 18,9 procentpunt. Deze variantie is groot genoeg om de rangschikking op leaderboards te veranderen, wat aangeeft dat een score uit een enkele run onvoldoende is voor verfijnde modelvergelijking.

Prestaties van Tool-Veritas

Bij de evaluatie van 70 taken over zes modellen, bereikte Tool-Veritas een geaggregeerde overeenkomst van 95,5% met expert-trace-niveau oordelen.

Alle 19 discrepanties waren vals negatieven (de benchmark was strenger dan de menselijke expert).
Er waren nul vals positieven (de benchmark gaf nooit een uitvoering goed die door een menselijke reviewer werd afgewezen).
Dit suggereert dat het scheiden van deterministische verificatie van kwalitatieve beoordeling de ongegronde successen aanzienlijk vermindert terwijl de alignment met de menselijke intentie hoog blijft.

Betekenis en Claims

Het artikel claimt dat vooruitgang in tool-gebruikende agenten benchmarks vereist waarvan de evaluatoren zelf reproduceerbaar, auditeerbaar en in lijn zijn met menselijke oordelen over taaksucces.

Validiteit boven Schaal: De auteurs stellen dat het vergroten van de taak-schaal of dekking onvoldoende is als de evaluatielogica gebrekkig is. Huidige scores reflecteren vaak evaluator-artefacten (bijv. API-instabiliteit, judge-bias, rigide state-matching) in plaats van agent-capaciteit.
Taxonomie van Falen: Het werk biedt een verenigde taxonomie van evaluatiefouten, waarbij onderscheid wordt gemaakt tussen deterministische problemen (breekbare matching, annotatiefouten) en stochastische problemen (rubric-drift, judge-variantie).
Infrastructuur voor Debugging: Door Harness Lab en gecorrigeerde evaluatiecomponenten vrij te geven, pleit het artikel voor een verschuiving naar transparante, inspecteerbare benchmarking waarbij ruwe artefacten en menselijke adjudicaties behouden en toegankelijk blijven.
Ontwerpprincipe: De auteurs stellen voor dat toekomstige benchmarks een "deterministic-first" benadering moeten adopteren, waarbij LLM-judges alleen worden gebruikt voor criteria die niet als state-predicaten kunnen worden gerepresenteerd, om te voorkomen dat vloeiende maar incorrecte antwoorden krediet krijgen.

De bevindingen suggereren dat het vakgebied weg moet bewegen van het behandelen van benchmarkscores als de absolute waarheid, naar een model van evaluatie dat evaluator-fouten expliciet verwerkt en mitigeert.