Can your AI agent be cheaper? Investigating the effects of task specifications on token spend in agentic coding tasks
Dit artikel onderzoekt hoe taakspecificaties de tokenconsumptie in agentic coding-workflows beïnvloeden, waarbij wordt aangetoond dat te beknopte prompts de kosten aanzienlijk verhogen, terwijl er een voorspellende methode wordt geïntroduceerd om het tokenverbruik over verschillende configuraties heen met hoge nauwkeurigheid te schatten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld van softwareontwikkeling is een nieuw soort werker opgekomen: de kunstmatige intelligentie-agent. In tegenstelling tot een eenvoudige chatbot die een enkele vraag beantwoordt, zijn deze agenten ontworpen om complexe, meerstaps-taken aan te pakken, zoals het oplossen van een bug in een computerprogramma of het bouwen van een nieuwe functie vanaf nul. Ze doen dit door een taakbeschrijving te lezen, over het probleem na te denken, digitale hulpmiddelen te gebruiken om code te schrijven en te testen, en dit proces te herhalen totdat de klus geklaard is. Deze autonomie komt echter met een prijskaartje. Elke keer dat de AI denkt, leest of schrijft, verbruikt het digitale middelen die worden gemeten in "tokens", de basisunits van tekst die het model verwerkt. Deze tokens vertalen zich direct naar geld. Naarmate deze agenten gebruikelijker worden in real-world systemen, staan ingenieurs voor een prangende vraag: hoeveel zal het kosten om een AI een probleem te laten oplossen, en kan die kost beheerst worden?
Het antwoord is niet zo eenvoudig als het kiezen van een goedkoper computermodel. Recente studies hebben aangetoond dat zelfs wanneer een AI exact dezelfde instructies krijgt, de hoeveelheid die het uitgeeft enorm kan variëren van de ene poging naar de volgende. Soms kan de kosten van twee identieke runs van dezelfde taak verschillen met een factor dertig. Deze onvoorspelbaarheid maakt budgetteren moeilijk. Bovendien hebben onderzoekers weliswaar gekeken naar hoe verschillende AI-modellen presteren, maar ze hebben grotendeels genegeerd hoe de manier waarop een mens de taak beschrijft, de prijs verandert. Een senior engineer schrijft misschien een gedetailleerde, gestructureerde specificatie voor een softwarefix, terwijl een junior engineer misschien een ruwe foutmelding plakt. Leiden deze verschillende beschrijvingen tot andere kosten, of doet de AI gewoon dezelfde hoeveelheid werk ongeacht hoe de aanvraag geformuleerd is?
Om dit uit te zoeken, voerde een onderzoeker aan Stanford University een grootschalig experiment uit met een specifiek AI-model dat bekend staat als Kimi K3. Het team selecteerde vijf verschillende softwareherstel-taken uit een standaard testsuite die door ontwikkelaars wordt gebruikt. Voor elke taak maakten ze een grote verscheidenheid aan instructies, variërend van een volledig, hoogst gestructureerd document met elk mogelijk detail tot een kale beschrijving met bijna geen informatie. Ze testten ook drie verschillende niveaus van "denkinspanning", wat in essentie bepaalt hoe hard de AI probeert na te denken over het probleem voordat hij handelt. In totaal draaide het systeem 2.700 keer, waarbij nauwgezet werd bijgehouden hoeveel geld er per poging werd uitgegeven en hoe vaak de agent naar de computer moest grijpen om taken uit te voeren.
De resultaten toonden een duidelijk en verrassend patroon. De manier waarop een taak wordt beschreven, heeft een enorme impact op de gemiddelde kosten. Wanneer de onderzoekers een volledige, gedetailleerde specificatie hadden teruggebracht tot een simpel, in gewone taal geschreven verhaal over wat de gebruiker wil, steeg de kosten van het oplossen van het probleem met bijna dertig procent. Dit gebeurde consistent bij elke geteste taak. Het lijkt erop dat wanneer de AI niet genoeg specifieke details krijgt, het meer tijd en geld moet besteden aan het zelf uitzoeken van de ontbrekende stukjes. De studie vond echter ook dat de instructies de onvoorspelbaarheid van de kosten niet veranderden. Ongeacht hoe gedetailleerd of vaag de prompt ook was, het verschil tussen de ene run en de volgende bleef ongeveer hetzelfde. De kosten van een enkele poging zijn inherent instabiel, en de enige manier om de totale rekening voorspelbaarder te maken, is door de individuele pogingen goedkoper te maken.
Een andere belangrijke ontdekking was dat het detailniveau in de instructies het meest ertoe doet wanneer de AI een beperkt budget heeft voor het nadenken. Wanneer de AI de ruimte krijgt om diep en uitgebreid na te denken, krimpt het verschil in kosten tussen een gedetailleerde prompt en een vage een. Dit suggereert dat als je de AI genoeg tijd geeft om te redeneren, het de gaten in een gebrekkige beschrijving zelfstandig kan opvullen, maar als je de denktijd beperkt, een duidelijke en gedetailleerde prompt essentieel is om geld te besparen. De onderzoekers ontdekten ook dat het verwijderen van specifieke secties uit een taakbeschrijving, zoals de lijst met randgevallen of de succes-criteria, op zichzelf een klein effect had, maar het verwijderen van de gehele "user story" of de testscenario's veroorzaakte een dramatische stijging in de kosten.
Misschien wel de meest praktische bevinding voor iedereen die deze tools gebruikt, is een methode om kosten te voorspellen voor nieuwe taken. Het team liet zien dat je een taak niet tientallen keren hoeft uit te voeren om te weten wat het zal kosten. Door een enkele, goedkope test op een nieuw probleem uit te voeren, konden zij de kosten van datzelfde probleem onder veel verschillende instructiestijlen en denkinstellingen met redelijke nauwkeurigheid voorspellen. Zonder deze enkele test zou elke schatting over de kosten van een nieuwe taak waarschijnlijk meer dan honderd procent naast de werkelijkheid zitten. Met slechts één kleine meting daalde de foutmarge naar ongeveer zesendertig procent. Dit betekent dat ingenieurs snel de financiële impact van hun keuzes kunnen peilen zonder middelen te verspillen aan uitgebreid trial-and-error-onderzoek.
De studie concludeert dat hoewel het gedrag van de AI van nature onvoorspelbaar is, de kosten van het werk zwaar worden beïnvloed door hoe mensen de aanvraag inkaderen. Een goed gestructureerde, gedetailleerde taakbeschrijving kan het geld dat wordt uitgegeven aanzienlijk verminderen, vooral wanneer de AI niet over onbeperkte tijd beschikt om na te denken. Het onderzoek suggereert dat de meest effectieve manier om deze kosten te beheren niet is om de willekeur van de AI te elimineren, maar om de taalinstructies zorgvuldig te ontwerpen en een enkele, goedkope test te gebruiken om de verwachtingen voor nieuwe taken te kalibreren. Naarmate deze agenten meer geïntegreerd raken in het dagelijkse werk, zal het begrijpen van de relatie tussen de woorden die we gebruiken en het geld dat we uitgeven, net zo belangrijk zijn als de code die ze schrijven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.