🤖 AI

Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows

Harness-Bench is een diagnostische benchmark die bestaat uit 106 realistische, in een zandbak uitgevoerde taken en die evalueert hoe verschillende configuraties op systeemniveau (harnesses) de prestaties van LLM-agenten beïnvloeden, waarbij wordt aangetoond dat uitvoeringsresultaten aanzienlijk variëren tussen model-harness-combinaties en wordt benadrukt dat agentcapaciteiten op configuratieniveau moeten worden gerapporteerd in plaats van uitsluitend aan het basismodel te worden toegeschreven.

Oorspronkelijke auteurs: Yilun Yao, Xinyu Tan, Chao-Hsuan Liu, Yaoming Li, Zhengyang Wang, Wenhan Yu, Zhewen Tan, Yuxuan Tian, Guangxiang Zhao, Lin Sun, Xiangzheng Zhang, Tong Yang

Gepubliceerd 2026-05-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yilun Yao, Xinyu Tan, Chao-Hsuan Liu, Yaoming Li, Zhengyang Wang, Wenhan Yu, Zhewen Tan, Yuxuan Tian, Guangxiang Zhao, Lin Sun, Xiangzheng Zhang, Tong Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, wereldklasse chef-kok hebt (het AI-model). Deze kok kan alles koken als hij de juiste instructies krijgt. Maar in de realiteit staat een kok niet in een vacuüm; ze werken in een keuken met specifieke gereedschappen, een set regels, een manager die de bestellingen controleert en een systeem voor het afhandelen van fouten.

Dit paper, Harness-Bench, gaat over het testen van dat keukensysteem (de "harness" genoemd), niet alleen de kok.

Het Probleem: We Hebben de Keuken Genegeerd

Tot nu toe, toen mensen AI-agenten testten, vroegen ze vooral: "Hoe goed is de kok?" Ze keken naar het eindgerecht (heeft de AI de taak voltooid?) maar negeerden hoe de keuken was ingericht.

Had de kok het juiste messen (gereedschappen)?
Wist de kok hoe hij een verbrande pan moest aanpakken (herstel)?
Hield de keukenmanager (het systeem) de kok ervan af om de verkeerde ingrediënten te gebruiken (rechten)?

De auteurs betogen dat je het vermogen van een AI niet kunt beoordelen door alleen naar het model te kijken. Je moet kijken naar het Model + Het Keukensysteem samen. Een geweldige kok in een rommelige, kapotte keuken zal falen, terwijl een goede kok in een perfecte, goed georganiseerde keuken misschien wel slaagt.

De Oplossing: Een "Keukensimulator" voor AI

De onderzoekers bouwden Harness-Bench, een groot testterrein met 106 verschillende kookuitdagingen (taken). Dit zijn niet zomaar simpele vragen; het zijn complexe banen zoals het repareren van code, het analyseren van financiële gegevens of het beheren van een project.

Zo testten ze het:

Hetzelfde Ingrediënten, Verschillende Keukens: Ze namen dezelfde 106 taken en gaven ze aan verschillende AI-modellen.
De Variabele: Ze hielden de taak exact hetzelfde, maar wisselden het "keukensysteem" (de harness) voor elke run. Sommige keukens waren high-tech en streng; anderen waren los en simpel.
Het Resultaat: Ze draaiden meer dan 5.000 experimenten.

Wat Ze Vonden

De resultaten waren verrassend en duidelijk: De keuken is net zo belangrijk als de kok.

Enorme Verschillen: Toen ze hetzelfde AI-model gebruikten maar het in verschillende "keukens" zetten, varieerde het slagingspercentage enorm. Het ene keukensysteem behaalde een slagingspercentage van 76%, terwijl het andere slechts 52% haalde met exact hetzelfde model.
De "Slimme" Keuken Wint: De best presterende systemen waren niet alleen de systemen met de slimste AI-modellen. Het waren de systemen waarbij het systeem de AI hielp op koers te blijven, zich te herstellen van fouten en gereedschappen correct te gebruiken.
Het "Drift"-Probleem: De onderzoekers ontdekten dat AI vaak begint met een goed plan, maar dan "aflaat". Het kan logisch nadenken maar vergeten het bestand daadwerkelijk op te slaan, of het kan een gereedschapsfout negeren en doorgaan met hetzelfde te proberen. De beste "keukensystemen" vingen deze afwijkingen op en corrigeerden ze.

De Grote Conclusie

Het paper concludeert dat we moeten stoppen met zeggen "Dit AI-model is 90% goed". In plaats daarvan moeten we zeggen: "Dit AI-model is 90% goed wanneer gekoppeld aan dit specifieke systeem."

Als je een betrouwbare AI-agent wilt bouwen, kun je niet alleen de slimste hersenen kiezen; je moet het beste lichaam en zenuwstelsel (de harness) bouwen dat erbij past. Harness-Bench is het gereedschap dat ze hebben gecreëerd om ingenieurs te helpen dat lichaam te meten en te verbeteren.

In Het Kort

Denk eraan als het testen van een raceauto. Je kunt niet alleen naar de motor (het AI-model) kijken en zeggen dat het snel is. Je moet de motor testen op verschillende tracks met verschillende banden en bestuurders (de harness). Harness-Bench is het nieuwe circuit dat bewijst dat de snelheid van de auto sterk afhankelijk is van het circuit en de banden, niet alleen van de motor.

Technische Samenvatting: Harness-Bench

Probleemstelling

Grote Taalmodellen (LLM)-agenten worden steeds vaker ingezet als uitvoerbare systemen die interageren met externe omgevingen, tools gebruiken, werkruimten aanpassen en concrete artefacten produceren. In deze workflows hangt de praktische prestatie niet alleen af van de redeneercapaciteiten van het basismodel, maar ook kritiek van de harness: de systeemlaag die context, tools, staat, beperkingen, machtigingen, traceerbaarheid en herstel beheert.

Bestaande benchmarks lopen tegen een aanzienlijke beperking aan: ze abstraheren uitvoeringsdetails vaak weg, vermengen de harness met het volledige agent-systeem, of houden de harness vast terwijl modellen worden vergeleken. Bijgevolg ontbreekt het aan diagnostische protocollen om te bestuderen hoe specifieke model-harness-configuraties succespercentages, tokenkosten, robuustheid en traceerbaarheid beïnvloeden in realistische workflows. Dit vertroebelt de variatie op uitvoeringslaag die vaak bepaalt of een agent slaagt of faalt.

Methodologie

De auteurs introduceren Harness-Bench, een diagnostische benchmark ontworpen om configuratieniveau-harness-effecten te evalueren onder gedeelde externe omstandigheden.

Benchmarkontwerp

Takenpakket: De benchmark bestaat uit 106 in een zandbak gesloten offline taken die zijn opgebouwd uit praktische agent-gebruikspatronen. Deze taken omvatten acht categorieën, waaronder software-engineering, data-analyse, werkruimte-operaties, kenniswerk, kantoorcommunicatie, verticale professionele workflows, langlopende autonomie en DevOps.
Validatie: Elke taak wordt handmatig beoordeeld op vier criteria: Realisme (plausibele gebruikersworkflow), Oplosbaarheid (voltooibaar met de aangeboden middelen), Oracle-controleerbaarheid (verifieerbaar via deterministische checks of rubrieken) en Integriteit (voorkomen dat agenten beperkingen omzeilen).
Evaluatieprotocol: De benchmark fixeert externe taakvoorwaarden (taakprompt, initiële zandbakstatus, budget, time-out en evaluator) terwijl de harness-configuratie en het modelbackend worden gevarieerd.
- In tegenstelling tot eerdere werken die systemen dwingen tot een gemeenschappelijk intern beleid, behoudt Harness-Bench het native uitvoeringsgedrag van elke harness (prompting, toolinterfaces, staatsbeheer en herstelmechanismen).
- Deze benadering behandelt de harness als de primaire variabele van belang, waarbij de prestaties van de Model + Harness-koppeling worden gemeten in plaats van individuele mechanismen te isoleren.

Uitvoering en Scoren

Datacollectie: Elke run registreert finale artefacten, uitvoeringssporen, gebruiksstatistieken en validatoroutput. De studie analyseerde 5.194 uitvoeringstrajecten over 6 configureerbare harnessen en 8 modelbackends (plus een referentie-evaluatie van Codex).
Scoremetrieken: De totaalscore is een multiplicatieve combinatie van drie componenten:
1. Beveiliging ( $S$ ): Een binaire poort (0 of 1) voor machtigings- of beveiligingsschendingen.
2. Voltooiing ( $C$ ): Gemeten via taakspecifieke deterministische validators of op rubrieken gebaseerde beoordeling.
3. Proces ( $P$ ): Een aggregaat van Robuustheid, Geschiktheid van Toolgebruik en Consistentie, geëvalueerd via op LLM gebaseerde procesrubrieken.
- Formule: $TaskScore = S \cdot C \cdot P$ .
- Deze conservatieve scoring zorgt ervoor dat een hoge aggregatiescore taakvoltooiing vereist, geen beveiligingsschendingen en betrouwbaar uitvoeringsgedrag.

Belangrijkste Bijdragen

Benchmark-asset: De release van Harness-Bench, een pakket van 106 in een zandbak gesloten offline taken met taakmanifesten, fixtures, evaluators en uitvoeringssporen, ontworpen voor realistische end-to-end agentworkflows.
Evaluatieprotocol: Een nieuw protocol dat externe taakvoorwaarden fixeert terwijl native harness-gedrag wordt behouden, wat configuratieniveau-vergelijkingen mogelijk maakt over representatieve harnessen en modelbackends.
Diagnostische analyse: Een grootschalige analyse van 5.194 trajecten die aanzienlijke variatie blootlegt in voltooiing, proceskwaliteit, efficiëntie en faalmodi over verschillende model-harness-koppelingen.

Belangrijkste Resultaten

Variatie op configuratieniveau: Onder hetzelfde takenpakket en dezelfde pool van modelbackends varieerden de aggregatiescores aanzienlijk tussen harnessen. NanoBot behaalde de hoogste score (76,2%), terwijl OpenClaw de laagste behaalde (52,4%), een verschil van 23,8 punten. Dit toont aan dat de keuze van de harness een kritieke determinant is van prestaties.
Afhankelijkheid van model-harness: Sterkere modelbackends neigden tot lagere variantie tussen harnessen, wat suggereert dat ze toleranter zijn voor verschillen in prompting en staatsbeheer. Omgekeerd vertoonden zwakkere backends een hogere gevoeligheid voor het uitvoeringssubstraat.
Efficiëntie: Hoger scorende harnessen vertoonden vaak betere procesprofielen (toolgebruik, consistentie, robuustheid) en, in sommige gevallen, hogere efficiëntie (minder tokens/turns) in vergelijking met lager scorende tegenhangers.
Faalmodi: Analyse van gefaalde trajecten identificeerde terugkerende "uitvoerings-uitlijningsfouten" waarbij plausibel redeneren losraakte van toolfeedback of verifieerbare output. De meest voorkomende fout was Contract-/Formaat-schendingen (36,4%), gevolgd door Tool-/Herstelproblemen (24,6%) en Bewijs/Grondslag-gaten (14,6%).

Betekenis en Beweringen

Het artikel betoogt dat agentcapaciteit moet worden gerapporteerd op het niveau van de model-harness-configuratie in plaats van alleen aan het basismodel te worden toegeschreven. De resultaten suggereren dat de uitvoeringslaag niet slechts een implementatiedetail is, maar een fundamenteel onderdeel van agentprestaties dat bepaalt hoe capaciteit wordt blootgelegd, beperkt en gerealiseerd.

Harness-Bench biedt een reproduceerbare basis voor:

Het diagnosticeren van terugkerende uitvoerings-uitlijningsfouten waarbij redenering losraakt van bewijs of staat.
Het verbeteren van betrouwbare, efficiënte, machtigingsbewuste en controleerbare agent-uitvoeringsstapels.
Het verschuiven van het evaluatieparadigma van "alleen-model"-metrieken naar "systeemniveau"-diagnostiek die rekening houdt met de wisselwerking tussen modelredenering en de uitvoeringsomgeving.

De auteurs houden een bescheiden standpunt aan, waarbij zij opmerken dat de benchmark complete harness-configuraties evalueert onder gecontroleerde, in een zandbak gesloten omstandigheden. Derhalve worden de resultaten gepresenteerd als diagnostische metingen onder een vast protocol in plaats van statistische garanties voor alle mogelijke real-world implementaties.