Don't Blame the Large Language Model: How Agent Harness Evolution Shapes Coding Agent Quality
Dit artikel presenteert de eerste gecontroleerde longitudinale studie die aantoont dat de snelle evolutie van agent-harnesses, in plaats van de onderliggende grote taalmodellen, een primaire drijfveer is van kwaliteitsschommelingen in programmeeragenten, zoals aangetoond door een diepgaande analyse van 35 opeenvolgende releases van de Qwen Code CLI.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin je computer niet alleen wacht tot jij commando's typt, maar ook daadwerkelijk het werk voor je doet. Dit is het tijdperk van "coding agents"—slimme, autonome programma's die code kunnen lezen, bugs kunnen oplossen en zelfs zelfstandig nieuwe software kunnen schrijven. Maar hier zit het geheime ingrediënt: deze agents zijn niet alleen het brein (het gigantische AI-model); ze hebben ook een lichaam en een zenuwstelsel nodig om te kunnen functioneren. Dit lichaam wordt de "agent harness" genoemd. Denk aan het AI-model als een briljante maar luie genie die een manager nodig heeft om hem de juiste gereedschappen aan te reiken, hem aan de regels te herinneren en zijn gedachten te ordenen. De harness is die manager. Het bepaalt welke tools de AI mag gebruiken, hoeveel informatie het te zien krijgt en hoe het terug moet koppelen en opnieuw moet proberen als de eerste poging mislukt. Iedereen gaat ervan uit dat als je steeds betere managers aanneemt en het kantoor upgradet, het genie slimmer en sneller zal worden. Maar wat als de manager de boel juist erger maakt door te veel regels toe te voegen of verwarrende instructies te geven? Dat is de grote vraag die dit artikel stelt: naarmate deze "manager"-systemen constant worden bijgewerkt, helpen ze de AI dan echt om een beter werk te leveren, of maken ze het alleen maar trager en duurder?
De auteurs van dit artikel besloten een detective te spelen om een mysterie op te lossen waar softwareontwikkelaars tegen klagen. Ze merkten op dat wanneer deze coding agents een update kregen, ze vaak meer fouten gingen maken of veel langer deden over het voltooien van taken. Mensen gaven meestal de AI-hersenen de schuld, denkend dat het model dommer was geworden. De onderzoekers vermoedden echter dat de echte boosdoener de "manager" (de harness) was die te vaak van gedachten veranderde. Om dit te bewijzen, zetten ze een zeer strikt experiment op. Ze kozen één specifiek AI-model en sloten het in een kooi zodat het niet kon veranderen. Vervolgens namen ze de "manager"-software (specifiek de Qwen Code CLI) en draalden deze door 35 verschillende versies, van de allereerste release tot de nieuwste versie. Voor elke versie gaven ze de agent 50 echte programmeer-puzzels om op te lossen, waarbij ze telkens exact hetzelfde AI-brein gebruikten.
De resultaten waren verrassend en een beetje grappig. Ondanks dat de "manager"-software constant werd bijgewerkt—soms werden er zelfs meer dan twee keer per dag nieuwe versies uitgebracht—werd de capaciteit van de AI om de puzzels daadwerkelijk op te lossen niet beter. Sterker nog, het succespercentage bleef ongeveer gelijk en schommelde rond de 30%, ongeacht hoe vaak ze de software bijwerkten. De vroege versies waren net zo goed in het oplossen van bugs als de chique, nieuwe, complexe versies. Er zat echter een enorme adder onder het gras: de nieuwere versies waren ongelooflijk verspillend. De nieuwste versies van de manager zorgden ervoor dat de AI bijna twee keer zoveel "tokens" gebruikte (wat als de brandstof of valuta is die de AI verbruikt om na te denken) en twee keer zoveel tool-aanroepen deed als de oude versies. Het was alsof je een automotor upgrade naar een supercomplexe versie die twee keer zoveel benzine verbruikt, maar de auto niet sneller laat rijden.
De onderzoekers groeven dieper om uit te zoeken waarom dit gebeurde. Ze bekeken de code-wijzigingen in de manager-software en ontdekten dat wanneer ontwikkelaars veel nieuwe functies toevoegden of probeerden veel kleine bugs tegelijk te repareren, de AI in de war raakte en meer energie verspilde. Ze ontdekten ook dat bepaalde onderdelen van het "lichaam" van de manager gevaarlijk waren om aan te raken. Het veranderen van hoe de AI met zijn brein communiceert (de "LLM Provider"-laag) of hoe hij dingen onthoudt (de "Context Management"-laag), zorgde er vaak voor dat de agent struikelde en faalde. Aan de andere kant leken het repareren van beveiligingslekken of het toevoegen van eenvoudige extensies veilig. De grootste schok? Het softwareteam had geen enkele manier om te weten dat deze problemen plaatsvonden. Hun automatische tests controleerden alleen of de software crashte, niet of de AI daadwerkelijk een goede baan deed of geld verspilde. Het was als een fabriek die alleen controleert of de lopende band beweegt, maar nooit controleert of de auto's die van de lijn komen wel wielen hebben.
Uiteindelijk suggereert het artikel dat we moeten stoppen met de AI-hersenen de schuld te geven van deze fouten. Het echte probleem is dat de "manager"-software te snel evolueert zonder een goede kwaliteitscontrole. De ontwikkelaars voegen zoveel functies en wijzigingen toe dat de AI vertraagt, waarbij meer middelen worden gebruikt om exact dezelfde resultaten te behalen als voorheen. De auteurs pleiten voor een nieuwe vorm van "kwaliteitsborging" die specifiek controleert of de agent nog steeds efficiënt en effectief is na elke update, in plaats van alleen te controleren of hij nog steeds opstart. Tot die tijd is het upgraden van deze coding agents misschien gewoon meer betalen voor dezelfde prestatie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.