💬 NLP

How Do AI Agents Spend Your Money? Analyzing and Predicting Token Consumption in Agentic Coding Tasks

Dit onderzoek analyseert het tokenverbruik van AI-agenten bij programmeertaken en concludeert dat deze taken extreem kostbaar en onvoorspelbaar zijn, waarbij modellen hun eigen kosten systematisch onderschatten en een hogere uitgave niet noodzakelijkerwijs leidt tot betere prestaties.

Oorspronkelijke auteurs: Longju Bai, Zhemin Huang, Xingyao Wang, Jiao Sun, Rada Mihalcea, Erik Brynjolfsson, Alex Pentland, Jiaxin Pei

Gepubliceerd 2026-04-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Longju Bai, Zhemin Huang, Xingyao Wang, Jiao Sun, Rada Mihalcea, Erik Brynjolfsson, Alex Pentland, Jiaxin Pei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente digitale assistent inhuurt om een ingewikkelde verbouwing aan je huis te doen. Je verwacht dat hij een paar uurtjes werkt, maar plotseling komt hij terug met een rekening van duizenden euro's, terwijl het huis nog steeds niet af is.

Dit is precies het probleem waar dit wetenschappelijke onderzoek naar kijkt. De onderzoekers hebben onderzocht hoe "AI-agenten" (slimme software die zelfstandig taken uitvoert, zoals programmeren) hun geld – in dit geval 'tokens' (de digitale brandstof van AI) – uitgeven.

Hier is de uitleg van de belangrijkste bevindingen, vertaald naar het dagelijks leven:

1. De "Onzichtbare Brandstofslurper" (Waar gaat het geld heen?)

Normaal gesproken praten we met een AI zoals met een vriend: je stelt een vraag, hij geeft antwoord. Dat is goedkoop. Maar een AI-agent is meer als een detective. Hij moet niet alleen antwoorden, maar ook dossiers lezen, gereedschap gebruiken en steeds opnieuw de hele situatie bekijken.

De metafoor: Stel je voor dat je een kok vraagt een recept te maken (goedkoop). Een AI-agent is echter een kok die niet alleen het recept maakt, maar ook de hele voorraadkast doorzoekt, elke ingrediënt drie keer leest, de handleiding van de oven opzoekt en telkens de hele keuken opnieuw moet ordenen voordat hij een hapje kan bakken.
De schok: De onderzoekers ontdekten dat deze agenten 1000 keer meer brandstof verbruiken dan een gewone AI-chat. En het ergste? Het meeste geld gaat niet naar het antwoorden (de output), maar naar het telkens opnieuw lezen van alle informatie (de input). Het is alsof je een boek leest, maar elke keer dat je een nieuwe pagina omslaat, je het hele boek vanaf het begin opnieuw moet lezen.

2. De "Dwaalende Detective" (Waarom is het zo onvoorspelbaar?)

Je zou denken: hoe moeilijker de taak, hoe meer tokens hij gebruikt. Maar dat is niet zo. De AI gedraagt zich soms als een onhandige stagiair.

De metafoor: Soms krijgt de stagiair een simpele opdracht, maar raakt hij in paniek, gaat hij in cirkeltjes lopen en begint hij steeds hetzelfde document te lezen en te herschrijven zonder echt vooruitgang te boeken.
De ontdekking: De onderzoekers zagen dat een AI soms 30 keer meer tokens verbruikt voor precies dezelfde taak. En het meest frustrerende: meer uitgeven betekent niet dat hij het beter doet. Vaak bereikt de AI een piek in slimheid, maar als hij daarna nog meer tokens gaat verbruiken, wordt hij eigenlijk alleen maar "dommer" of inefficiënter. Hij blijft maar rondjes rennen in de digitale keuken zonder het gerecht af te maken.

3. De "Onbetrouwbare Schatter" (Kunnen we de rekening voorspellen?)

Het grootste probleem voor gebruikers is: je weet pas wat het kost als de taak klaar is. Je kunt niet van tevoren een budget instellen. De onderzoekers vroegen de AI: "Hoeveel gaat dit je kosten?"

De metafoor: Het is alsof je een aannemer vraagt: "Wat gaat de verbouwing kosten?" en hij antwoordt: "Ik denk ongeveer 100 euro," terwijl hij ondertussen al een graafmachine heeft gehuurd en een heel team heeft ingeschakeld.
De conclusie: De AI-modellen zijn terecht optimistisch. Ze schatten de kosten bijna altijd veel te laag in. Ze hebben simpelweg geen goed besef van hoe diep ze in de "digitale konijnenhol" gaan duiken.

Samenvatting voor de gewone mens:

Dit onderzoek laat zien dat AI-agenten fantastisch zijn in wat ze doen, maar dat ze momenteel nog een beetje als onbeheerste zak geld met benen werken. Ze zijn duur, onvoorspelbaar en ze hebben nog geen idee van hun eigen uitgavenpatroon.

Voor de toekomst betekent dit dat we niet alleen slimme AI nodig hebben, maar vooral "budgetbewuste" AI die weet wanneer hij moet stoppen met zoeken en wanneer hij moet zeggen: "Ho even, dit wordt te duur, zullen we het anders aanpakken?"

Technische Samenvatting: Hoe AI-agenten je geld uitgeven

1. Probleemstelling

Met de opkomst van autonome AI-agenten (zoals coding agents) voor complexe workflows, explodeert het verbruik van LLM-tokens. Dit creëert drie fundamentele uitdagingen voor zowel gebruikers als aanbieders:

Gebrek aan transparantie: Gebruikers weten de uiteindelijke kosten pas nadat een taak is voltooid.
Onzekerheid over succes: Gebruikers moeten betalen voor de verbruikte tokens, zelfs als de agent de taak niet succesvol voltooit.
Onvoorspelbaarheid: Er is geen duidelijk verband tussen de complexiteit van een taak (zoals ingeschat door mensen) en de werkelijke computationele inspanning (tokens) die een agent nodig heeft.

Het onderzoek richt zich op de vraag: Waar gaan de tokens naartoe, welke modellen zijn efficiënt, en kunnen agenten hun eigen kosten voorspellen voordat ze een taak uitvoeren?

2. Methodologie

De onderzoekers voerden een systematische studie uit met de volgende opzet:

Framework & Benchmark: Gebruik van het OpenHands agent-framework op de SWE-bench Verified benchmark (echte GitHub-issues).
Modellen: Evaluatie van acht state-of-the-art (frontier) modellen, waaronder diverse versies van Claude (Sonnet 3.7/4/4.5), GPT (5/5.2), Qwen3-Coder, Kimi-K2 en Gemini-3-Pro.
Dataverzameling: Analyse van volledige trajecten (trajectories) waarbij de agent autonoom tools gebruikt en bestanden aanpast. Er werd gekeken naar verschillende soorten tokens: non-cached input, cache creation, cache read en output tokens.
Voorspellingsopgave: Een experiment waarbij de agent zelf wordt gevraagd om de verwachte input- en output-tokens te schatten voordat de eigenlijke taak wordt uitgevoerd (self-prediction).

3. Belangrijkste Bijdragen

De eerste grootschalige empirische studie naar het tokenverbruik van AI-agenten.
De formulering en benchmarking van de taak "pre-execution token consumption prediction".
Het openbaar maken van alle agent-trajecten om toekomstig onderzoek naar de economie van AI-agenten te ondersteunen.

4. Belangrijkste Resultaten

A. Tokenverbruikspatronen:

Extreme kosten: Agentic coding taken verbruiken tot 1000x meer tokens dan eenvoudige code-redenering of chat-taken.
Input-dominantie: In tegenstelling tot chat, wordt de kost bij agenten gedreven door input tokens (vooral door het herhaaldelijk meegeven van de context/historie), niet door output tokens.
Stochastische variabiliteit: Dezelfde taak kan bij verschillende runs leiden tot een verschil in tokenverbruik van wel 30x.
Diminishing returns: Meer tokens leiden niet direct tot hogere nauwkeurigheid. De nauwkeurigheid piekt vaak bij een gemiddeld kostenniveau en neemt zelfs af bij extreem hoge kosten, wat duidt op inefficiënte "looping" (het herhaaldelijk bekijken en aanpassen van dezelfde bestanden).

B. Model-efficiëntie:

Er is een groot verschil in efficiëntie tussen modellen. Bijvoorbeeld: Kimi-K2 en Claude-Sonnet-4.5 verbruiken gemiddeld 1,5 miljoen meer tokens dan GPT-5 voor dezelfde taken.
Inefficiënte modellen hebben de neiging om te blijven "zoeken" (redundante tool-calls) wanneer een taak onoplosbaar blijkt, wat de kosten onnodig opdrijft.

C. Voorspelbaarheid:

Zwakke correlatie: Modellen zijn slecht in het voorspellen van hun eigen kosten. De correlatie (Pearson $r$ ) is slechts matig (maximaal 0,39).
Systematische onderschatting: Alle geteste modellen onderschatten consequent de werkelijke tokenkosten, vooral bij de input-tokens.
Menselijke perceptie vs. Realiteit: De door mensen ingeschatte moeilijkheid van een taak correleert slechts zwak met de werkelijke tokenkosten.

5. Betekenis en Implicaties

Het onderzoek heeft belangrijke gevolgen voor de industrie:

Voor gebruikers: Het benadrukt de noodzaak van budgetbeheer en het begrijpen dat "hardere" taken niet altijd meer tokens betekenen, maar dat de variabiliteit enorm is.
Voor aanbieders: Het suggereert dat traditionele abonnementsmodellen moeilijk schaalbaar zijn voor agenten. Er is behoefte aan nieuwe prijsmodellen, zoals budgetlimieten, vroege waarschuwingen bij hoge kosten en betere mechanismen voor token caching.
Voor onderzoek: Het opent een nieuw veld: het ontwikkelen van agenten die niet alleen taken kunnen uitvoeren, maar ook hun eigen computationele middelen en kosten effectief kunnen plannen en beheren.