🤖 AI

The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation

Dit artikel toont aan dat de evaluatie-harness de prestaties en efficiëntie van coding agents aanzienlijk beïnvloedt — vaak meer dan de onderliggende modelkeuze — door variaties in tokengebruik tot wel 40x en modelonafhankelijke foutpatronen te onthullen, waarmee wordt geargumenteerd voor het rapporteren van volledige harness-specificaties en token/latentie-metrieken naast modelvergelijkingen.

Oorspronkelijke auteurs: Naman Vats, Oleg Golev

Gepubliceerd 2026-07-28

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Naman Vats, Oleg Golev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Onzichtbare Hand Achter de Robot-Coder

Stel je voor dat je naar een kookwedstrijd kijkt. Je ziet twee briljante chefs, Chef A en Chef B, die allebei proberen het perfecte chocoladegebak te bakken. De jury kijkt meestal alleen naar het uiteindelijke gebak en zegt: "Chef A heeft een beter gebak gemaakt!" Maar wat als de jury vergeten was te vermelden dat Chef A een hightech, geautomatiseerde keuken gebruikte die elke ingrediënt al voorverwerkte en de oven tot op de seconde nauwkeurig voorverwarmde, terwijl Chef B werkte in een stoffige schuur met een roestig mes en een kapotte oven? Het resultaat gaat niet alleen over het talent van de chefs; het gaat over de keuken die ze gekregen hebben.

In de wereld van kunstmatige intelligentie, specifiek bij "coding agents" (AI-programma's die software schrijven), hebben we precies dat gedaan. We hebben AI-modellen gerangschikt op basis van hoeveel programmeerproblemen ze oplossen, terwijl we de "keuken" waarin ze werken negeerden. Deze keuken wordt een harness genoemd. Denk aan een harness als de onzichtbare assistent die de AI zijn gereedschap overhandigt, het geheugen beheert en beslist wanneer het werk gestopt moet worden. Sommige harnesses zijn als een superefficiënte robot-butler die alles perfect organiseert; andere zijn als een chaotische stagiair die steeds opnieuw dezelfde vraag stelt, waardoor tijd en energie verspild worden. De grote vraag die onderzoekers stellen is: doet het brein van de AI er meer toe, of de kwaliteit van zijn assistent?

Het Grote "Keuken"-Experiment

Een team van onderzoekers besloot te stoppen met gissen en te beginnen met meten. Ze zetten een enorme experiment op om te zien wat er gebeurt als je de "keuken" (de harness) vervangt terwijl je de "chef" (het AI-model) exact hetzelfde houdt. Ze kozen twee zeer slimme AI-modellen voor coderen, Qwen 3.6 Plus en MiniMax M2.5, en vroegen hen om 50 verschillende programmeerpuzzels op te lossen. Maar hier is de twist: ze draalden deze zelfde modellen door drie verschillende open-source harnesses, genaamd Goose, OpenCode en OpenHands-SDK.

De resultaten waren, om het gezegd te hebben, schokkend.

Toen de onderzoekers keken naar hoeveel puzzels de AI oploste (de "pass rate"), was het verschil tussen de harnesses minimaal. Of de AI nu Goose, OpenCode of OpenHands-SDK gebruikte, hij loste ongeveer hetzelfde aantal problemen op — meestal tussen de 38% en 50%. Het veranderen van de harness maakte de AI niet plotseling een genie of een mislukking; het succespercentage bleef grotendeels vlak.

Echter, wanneer ze naar de kosten keken voor het oplossen van die problemen, veranderde het verhaal volledig. De onderzoekers maten dit in "tokens", wat in feite de eenheden van data zijn die de AI verwerkt (zoals woorden of stukjes code). Ze ontdekten dat de keuze van de harness de kosten met een verbijsterende factor 40 veranderde.

Om dat in perspectief te plaatsen: als de Goose-harness de AI hielp een puzzel op te lossen met ongeveer 28.000 tokens, dan zorgde de OpenCode-harness ervoor dat exact dezelfde AI meer dan 1,1 miljoen tokens gebruikte om diezelfde puzzel op te lossen. Dat is een 40-voudig verschil in kosten voor exact hetzelfde resultaat! Het is alsof de ene chef één ei gebruikt om een cake te bakken, terwijl de andere chef 40 eieren gebruikt voor exact dezelfde cake, simpelweg omdat de keukengereedschappen van de tweede chef inefficiënt zijn.

De "Idle Turn" Belasting

Waarom liepen de kosten zo hoog op? De onderzoekers ontdekten een verborgen boosdoener: idle turns (onwerkzame beurten).

Stel je voor dat je praat met een vriend die probeert je computer te repareren. Soms zit hij daar gewoon te denken: "Hm, laat me even kijken..." zonder daadwerkelijk iets te typen of iets op het scherm te veranderen. In de AI-wereld worden dit "no-action turns" genoemd. De OpenCode-harness zorgde ervoor dat de AI ongeveer 2 keer per taak in deze denk-lussen terechtkwam, terwijl de Goose-harness dit slechts ongeveer 0,2 keer deed.

Elke keer dat de AI in een van deze lussen zit, moet hij de volledige gesprekshistorie terugsturen naar de server om bij te houden waar hij is gebleven. Dit is alsof je een 100-pagina's tellend dagboek verstuurt telkens wanneer je even pauzeert om na te denken. Omdat OpenCode de AI veel vaker liet pauzeren en nadenken, verbruikte het tokens op een enorme snelheid. De onderzoekers noemen dit de "per-task wait tax" (wachtbelasting per taak). Het is niet alleen een kostenpost in geld; het is een kostenpost in tijd. Een menselijke ontwikkelaar die de AI observeert, moet wachten op deze idle-lussen, starend naar een scherm dat niets doet, terwijl er simpelweg geld en geduld wordt verbrand.

De "Vingerafdruk" van Falen

De studie vond ook dat elke harness zijn eigen unieke manier van falen had, zoals een vingerafdruk. Deze patronen veranderden niet op basis van welk AI-model werd gebruikt; ze werden veroorzaakt door de harness zelf.

Goose was de voorzichtige variant. Wanneer het vastliep, stopte het en zei: "Ik kan dit niet doen," in plaats van te gokken. Het verspilde zelden tijd aan het verifiëren van een slecht idee.
OpenHands-SDK was de volhardende variant. Het bleef antwoorden verifiëren of doorgaan tot het een harde limiet bereikte op het aantal pogingen (de "max turns" limiet).
OpenCode was degene die in lussen vastliep. Het liep de tijd uit (de "wall-time" limiet) of kwam in een "hang" staat terecht, waarbij het rondjes draaide zonder ooit af te ronden.

Dit betekent dat als je een ontwikkelaar bent, je niet alleen een AI kiest; je kiest een stijl van falen. Wil je een AI die snel en eerlijk opgeeft, of een die blijft rondjes draaien totdat je je geduld verliest?

De Belangrijkste Les

De belangrijkste les uit dit paper is dat we AI-benchmarks verkeerd bekeken. We hebben modellen zoals Qwen of MiniMax gerangschikt alsof zij de enige zijn die er toe doen. Maar deze studie laat zien dat de harness (de keuken) net zo belangrijk is als het model (de chef).

Als je wilt weten hoeveel een AI je daadwerkelijk zal kosten of hoe lang het zal duren om een klus te klaren, kun je niet alleen naar de naam van het model kijken. Je moet naar het paar kijken: het model en de harness waarin het draait. Een slim model in een slechte harness kan 40 keer duurder zijn dan een slim model in een goede harness.

De onderzoekers suggereren dat we in de toekomst niet alleen de "Pass Rate" moeten rapporteren. We moeten ook de kosten per opgeloste taak, het aantal idle turns en de falen-patronen rapporteren. Want voor een echte menselijke ontwikkelaar is het verschil tussen een succespercentage van 50% dat $1 kost en een succespercentage van 50% dat $40 kost, het verschil tussen een nuttig hulpmiddel en een bodemloze put van geld. Het "Scaffold Effect" is echt, en het is tijd dat we stoppen met het negeren van de onzichtbare hand die de robot begeleidt.

Technische Samenvatting: Het Scaffold-effect in Coding Agents

Probleemstelling
Huidige publieke leaderboards voor coding agents rangschikken systemen primair op basis van modelnaam en pass rate (geslaagde voltooiingspercentage), waarbij de omringende "harness"—de scaffold die tools aanstuurt, context beheert en terminatie bepaalt—wordt behandeld als een vaste of ondergespecificeerde constante. Deze benadering vervlecht modelprestaties met de efficiëntie van de scaffold. Wanneer harnesses variëren, raken prestatie-indicatoren (pass rate) en efficiëntie-indicatoren (tokenverbruik, latentie) met elkaar verstrengeld, waardoor de werkelijke kosten en de noodzakelijke menselijke supervisie worden vertroebeld. Het paper betoogt dat, voor mensgerichte evaluatie, de eenheid van vergelijking de harness–model-combinatie moet zijn, en niet het model alleen, aangezien de harness de werkelijke kosten en de aard van de menselijke supervisie bepaalt.

Methodologie
De auteurs voerden een gecontroleerde studie uit om het effect van de harness te isoleren van het model.

Modellen: Twee recente agentische coding-modellen werden geëvalueerd: Qwen 3.6 Plus en MiniMax M2.5.
Harnesses: Drie verschillende open-source harnesses werden getest, elk met een andere scaffolding-filosofie:
- Goose: Een zware IDE-agent met een proactieve injectie van de file-tree.
- OpenCode: Een persistente tool-loop agent zonder automatische context pre-loading.
- OpenHands-SDK: Een micro-agent architectuur met sub-agent delegatie, interne retries en expliciete verificatiestappen.
Taken: Een gestratificeerde subset van 50 taken werd getrokken uit de Terminal-Bench Pro dataset, verdeeld over acht archetypen (Bug fix, Build, Data, Implementation, ML, Puzzle, Security, System). Alle taken maakten gebruik van deterministische pytest evaluatiesets.
Protocol: Alle trials draaiden via de OpenRouter API met identieke instructies en system prompts (variërend enkel in tool-specifieke vocabulaire). De studie hield het taakmanifest, de sandbox-omgeving en de maximale looptijd (900 seconden) constant, terwijl elke harness de vrijheid kreeg om met zijn eigen native tool-API's, contextbeheer en interne retry-logica te opereren.
Metrieken: De studie mat pass rates, totale tokens per opgeloste taak, gemiddeld aantal turns, "no-action turns" (beurten zonder bestandswijzigingen of nieuwe commando's) en een zes-klasse falen-taxonomie (REASON, VERIFY, TIME, MAX TURNS, HANG, ERROR). Statistische significantie werd beoordeeld met behulp van 95% paired-task bootstrap betrouwbaarheidsintervallen ( $B=10.000$ ).

Belangrijkste Resultaten

Token Kosten Dispariteit (De 40× Kloof): De keuze van de harness veroorzaakte een enorm verschil in efficiëntie. OpenCode verbruikte ongeveer 40× meer tokens per opgeloste taak dan Goose (bijv. ~1,5M tokens vs. ~37K tokens voor MiniMax). In tegenstelling hiertoe resulteerde het upgraden van het model bij een gelijkblijvende harness slechts in een verschil van 1,0–1,3× in tokengebruik.
Stabiliteit van de Pass Rate: Binnen een vaste model-omgeving waren de verschillen in pass rate tussen de harnesses klein, variërend van 0 tot 8 procentpunten. De meeste paarwijze verschillen waren statistisch ononderscheidbaar van nul (95% CI's bevatten nul), behalve bij de grootste kloof.
Falen-fingerprints: Specifieke faalmodi kwamen in beide modellen terug, wat aangeeft dat dit eigenschappen van de harness zijn en niet van het model:
- Goose: Gedomineerd door REASON-fouten (stoppen wanneer vastgelopen) met nul VERIFY-fouten.
- OpenHands-SDK: Gekenmerkt door VERIFY en MAX TURNS fouten, wat wijst op een neiging om door te gaan richting afsluiting of het uitputten van iteratielimieten.
- OpenCode: Gekenmerkt door TIME en HANG fouten (het overschrijden van de wall-time cap) met nul MAX TURNS (vanwege het ontbreken van een turn-budget flag) en nul VERIFY.
No-Action Turns als Supervisie-belasting: OpenCode vertoonde 10× meer no-action turns (inactieve reasoning loops) dan Goose. Deze beurten accumuleren context-tokens zonder vooruitgang te boeken, wat een "per-taak wachttaks" creëert voor menselijke gebruikers die deze inactieve loops moeten monitoren.
Pareto-efficiëntie: Goose domineerde de Pareto-front, waarbij het vergelijkbare pass rates bood aan andere harnesses tegen een fractie van de tokenkosten. OpenCode werd door beide andere harnesses Pareto-gedomineerd.

Belangrijkste Bijdragen

Kwantificering van het Scaffold-effect: De studie levert gecontroleerd bewijs dat de keuze van de harness een 40× kloof in tokenkosten drijft terwijl de pass rates met maximaal 8 procentpunten verschuiven, wat aantoont dat efficiëntie grotendeels een eigenschap van de scaffold is.
Model-onafhankelijke Falen-fingerprinting: De auteurs identificeren dat specifieke faalmodi (bijv. REASON vs. VERIFY vs. TIME) consistent zijn over verschillende modellen wanneer de harness vaststaat, wat bewijst dat dit structurele biases van de scaffold zijn.
Mechanische Proxy voor Supervisie: Het paper introduceert "no-action turns" als een proxy voor de menselijke supervisie-last, waarbij ze worden geframed als een kostenpost (zowel financieel als temporeel) die een mens-in-de-loop gebruiker moet absorberen, los van de eenvoudige tokenkosten.
Voorgestelde Evaluatie-eenheid: De auteurs stellen dat de harness–model-combinatie de juiste eenheid van vergelijking is voor mensgerichte evaluatie, in plaats van de modelnaam alleen.

Betekenis en Claims
Het paper claimt dat de huidige rapportage van benchmarks incompleet is omdat het het model isoleert van de scaffold. Door enkel pass rates te rapporteren, verhullen leaderboards de werkelijke kosten, latentie en supervisie-inspanning die nodig is voor de inzet van een agent. De auteurs stellen dat ontwikkelaars voor praktische implementatie harness–model-paren moeten evalueren onder specifieke token/latentie-budgetten. Ze bevelen aan dat toekomstige evaluaties naast de pass rates ook tokens per opgeloste taak, gemiddelde no-action turns en faal-categorie vectoren rapporteren om een holistisch beeld te geven van de inzetbaarheid van een agent. De studie claimt niet het probleem van agent-evaluatie op te lossen, maar systematiseert de observatie dat de "keuze van de scaffold" een primaire drijfveer is voor efficiëntie en faalprofielen, die vaak zwaarder weegt dan model-upgrades.