BenchGuard: Who Guards the Benchmarks? Automated Auditing of LLM Agent Benchmarks

1. Probleemstelling

Naarmate Large Language Model (LLM)-agenten zich bezighouden met steeds complexere, op uitvoering gebaseerde taken (bijvoorbeeld wetenschappelijke ontdekking, software-engineering), zijn de benchmarks die worden gebruikt om ze te evalueren kwetsbaar geworden. In tegenstelling tot statische meerkeuzedatasets, bestaan op uitvoering gebaseerde benchmarks uit een gekoppeld artifactenstapel: natuurlijke taal-instructies, grondwaarheidsreferentieoplossingen (gouden programma's), evaluatiescripts en gecontaineriseerde omgevingen.

Het artikel identificeert een kritieke faalmodus: benchmarkdefecten ontstaan vaak niet door het onvermogen van de agent om een taak op te lossen, maar door inconsistenties binnen de benchmark zelf. Deze omvatten:

• Oplossingsfixatie en de vloek van kennis: Benchmarkmakers verankeren zich aan hun specifieke implementatie en gaan ervan uit dat impliciete keuzes vanzelfsprekend zijn. Dit leidt tot instructies die ondergespecificeerd zijn of in tegenspraak zijn met de referentieoplossing.
• Kruis-artifact misalignering: Fouten waarbij de instructie verwijst naar een bestand dat de referentieoplossing niet gebruikt, of waarbij het evaluatiescript controleert op een formaat (bijvoorbeeld drugnamen) dat de instructie expliciet in een ander formaat (bijvoorbeeld SMILES) heeft gevraagd.
• Beperkingen van menselijke review: Zelfs benchmarks met meerdere rondes van expertvalidatie (bijvoorbeeld ScienceAgentBench, SWE-bench Verified) bevatten residuele fouten die vermogensmetingen vervormen. Menselijke reviewers missen deze vaak omdat de fout verspreid is over interacterende artifacten in plaats van in een enkel label te zitten.

2. Methodologie: BENCHGUARD Framework

De auteurs stellen BENCHGUARD voor, het eerste geautomatiseerde auditframework dat specifiek is ontworpen voor taakgerichte, op uitvoering gebaseerde agentbenchmarks. Het behandelt benchmarkauditing als een kruis-artifact consistentieprobleem.

Kerncomponenten

1. Input-artifacten: Het systeem verwerkt vier componenten voor elke taak:
   • Natuurlijke taal-instructie.
   • Grondwaarheidsprogramma (Referentieoplossing).
   • Evaluatiescript (Logica).
   • Omgevingsconfiguratie (Afhankelijkheden, paden).
2. Foutentaxonomie: BENCHGUARD maakt gebruik van een gestructureerde taxonomie van 4 categorieën en 14 subcategorieën om defecten te classificeren:
   • GT (Grondwaarheid): Logicafouten, verkeerde gegevensverwerking, formatmismatches.
   • EVAL (Evaluatie): Rechterbias, mismatches tussen specificatie en evaluatie, onvolledige dekking, verkeerde toleranties.
   • INST (Instructie): Ondergespecificeerde vereisten, interne tegenstrijdigheden, onuitvoerbare taken.
   • ENV (Omgeving): Ontbrekende afhankelijkheden, padfouten, resourcebeperkingen.
3. Auditprotocollen:
   • Definitie-niveau audit: De primaire modus. Het gebruikt een geconsolideerde LLM-aanroep om alle vier artifacten simultaan te verifiëren. Het hanteert een zesfasig redeneerproces (Taakbegrip $\to$ Grondwaarheidscontrole $\to$ Evaluatielogicacontrole $\to$ Specificatiecontrole $\to$ Omgevingscontrole $\to$ Consolidatie). Het bevat deterministische statische controles en deduplicatielogica (de "one-fix test") om atomaire bevindingen te garanderen.
   • Uitvoeringsniveau audit (Optioneel): Wanneer agent-uitvoeringssporen of gegenereerde programma's beschikbaar zijn, worden deze toegevoegd als diagnostisch bewijs. Dit helpt bij het detecteren van problemen die onzichtbaar zijn voor statische review, zoals strikte tolerantiedrempels die alleen falen wanneer een geldige maar andersoortig geordende output wordt gegenereerd.
4. Mens-in-de-lus: BENCHGUARD treedt niet op als een autonome rechter. In plaats daarvan brengt het bevindingen met hoge zekerheid aan de oppervlakte, ondersteund door bewijs (codesnippers, regelnummers) voor expertadjudicatie.

3. Belangrijkste Bijdragen

1. AI-ondersteund evaluatieparadigma: Het artikel verschuift de rol van frontier-LLM's van louter onderwerpen van evaluatie naar systematische auditors van de evaluatie-infrastructuur zelf.
2. Foutentaxonomie: Een gevalideerde, empirisch onderbouwde taxonomie van benchmarkdefecten die rekening houdt met de gekoppelde aard van op uitvoering gebaseerde benchmarks.
3. Het BENCHGUARD Framework: Een open-source (geplande) pijplijn die in staat is complexe taken te auditeren met frontiermodellen tegen lage kosten (onder de $15 voor 50 taken).
4. Empirische validatie: Demonstratie dat geautomatiseerde auditing defecten kan blootleggen die door meerdere rondes van menselijke expertreview zijn gemist.

4. Experimentele Resultaten

Het framework werd ingezet op twee prominente wetenschappelijke benchmarks: ScienceAgentBench (SAB) en BIXBench.

ScienceAgentBench (SAB)

• Opzet: 102 taken, oorspronkelijk gevalideerd door 9 vakexperts.
• Bevindingen: BENCHGUARD identificeerde 12 door auteurs bevestigde defecten.
• Impact: Deze omvatten fatale fouten die taken onoplosbaar maakten (bijvoorbeeld een verkeerd invoerbestand in instructies versus referentiecode) en mismatches in metrieken.
• Prestatie: Met een ensemble van 5 frontiermodellen (Gemini, GPT-5, Claude) bereikte het systeem 100% recall op de 12 bevestigde defecten bij het combineren van resultaten. De kosten voor het auditeren van 50 taken met een ensemble bedroegen ongeveer $27,57.

BIXBench

• Opzet: 50 taken uit de "Verified-50"-subset (taken die eerder door onafhankelijke experts waren herzien).
• Grondwaarheid: 17 expertherzieningen ontbonden in 24 atomaire issues.
• Prestatie:
  • Recall: Het 5-modellenensemble bereikte 83,3% exacte alignering (20/24 issues) en 95,8% inclusief gedeeltelijke matches.
  • Precisie: Het systeem markeerde defecten met hoge zekerheid die door eerdere menselijke review volledig waren gemist (bijvoorbeeld een gouden programma dat stilzwijgend monsters verwierp die niet in de instructie werden genoemd).
  • Kosten: Een volledige audit van 50 taken kostte $14,38.
• Inzicht: De resultaten benadrukken dat menselijke experts last kunnen hebben van "oplossingsfixatie", waarbij ze structurele inconsistenties missen die door geautomatiseerde kruisverwijzingen worden gevangen. Omgekeerd kunnen geautomatiseerde tools "over-prescriptieve" beperkingen markeren die experts onnodig vonden, wat wijst op een complementaire relatie.

5. Betekenis en Toekomstige Richtingen

• Kosteneffectiviteit: Geautomatiseerde auditing blijkt een praktische, goedkope aanvulling op menselijke review, die kan schalen naar grote benchmark suites.
• Benchmarkintegriteit: De bevindingen suggereren dat "geverifieerde" benchmarks niet immuun zijn voor ruis. Continu, geautomatiseerd auditing is noodzakelijk om de integriteit van evaluatiepijplijnen te behouden naarmate modellen vooruitgang boeken.
• Verschuiving in ontwikkeling: Het artikel pleit voor het integreren van auditing in de levenscyclus van benchmarkconstructie in plaats van het te behandelen als een post-hoc herstelstap. Dit zou frontiermodellen in staat stellen te fungeren als kwaliteitspoort, waarbij impliciete aannames aan het licht komen voordat artifacten worden gepubliceerd.
• Impact op de gemeenschap: Door BENCHGUARD open source te maken, beogen de auteurs de gemeenschap in staat te stellen benchmarkontwikkeling te schalen met ingebouwde integriteitsgaranties, zodat benchmarks daadwerkelijk de vermogens meten die ze beweren te volgen.

Concluderend toont BENCHGUARD aan dat de betrouwbaarheid van LLM-agentevaluatie momenteel wordt ondermijnd door kwetsbare benchmarkinfrastructuur. Door frontiermodellen in te zetten als auditors, kan de gemeenschap systematisch deze defecten identificeren en repareren, wat leidt tot nauwkeurigere en betrouwbaardere beoordelingen van AI-vermogens.