Tokenomics: Quantifying Where Tokens Are Used in Agentic Software Engineering
Dit artikel analyseert patronen van tokenconsumptie in op LLM gebaseerde multi-agent software engineering systemen, waarbij wordt onthuld dat de iteratieve code review-fase en input tokens het grootste deel van het resourcegebruik domineren, waardoor wordt benadrukt dat de primaire kosten liggen bij automatische verfijning en verificatie in plaats bij de initiële codegeneratie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een team van AI-robots inhuurt om software voor je te bouwen. Je zou kunnen denken dat het duurste deel van de klus het daadwerkelijke "bouwen" is (het schrijven van de code). Echter, dit artikel suggereert dat dit is alsof je denkt dat het duurste deel van het bouwen van een huis het leggen van de stenen is, terwijl de kosten in werkelijkheid komen door de eindeloze vergaderingen waarin het team erover debatteert of de kleur verf wel juist is.
Hier is een eenvoudige uitsplitsing van wat de onderzoekers hebben gevonden:
Het Grote Idee: "Tokenomics"
De auteurs hebben een nieuwe term bedacht, "Tokenomics," om de "economie" van AI te beschrijven. Net zoals een menselijk team geld uitgeeft aan salarissen en koffie, verbruiken AI-teams "tokens" (de valuta die AI gebruikt om na te denken en te communicen). Elke keer dat de AI een prompt leest of een regel code schrijft, kost dat tokens. De onderzoekers wilden één simpele vraag beantwoorden: Waar gaat dit geld precies naartoe?
Het Experiment: Een Virtuele Softwarefabriek
Om dit te ontdekken, richtten de onderzoekers een virtueel softwarebedrijf op genaamd ChatDev. Ze gaven dit AI-team 30 verschillende opdrachten, variërend van eenvoudige wiskundige problemen tot het bouwen van een schaakspel. Ze gebruikten een zeer intelligent AI-model (GPT-5) om het team aan te sturen.
Ze volgden het AI-team stap voor stap tijdens het werk, waarbij ze elke gebruikte token bijhielden, en brachten deze stappen in kaart naar echte softwarefasen:
- Ontwerp: Plannen wat er gebouwd gaat worden.
- Codering: De eerste versie schrijven.
- Code Review: Het werk controleren en fouten herstellen.
- Testen: Het kapot maken om te zien of het werkt.
- Documentatie: De handleiding schrijven.
De Verrassende Resultaten
1. De "Code Review" is de Geldverslinder
Je zou verwachten dat de "Codering"-fase het duurste deel is. Dat is het niet.
- De Analogie: Stel je een bouwploeg voor. Het daadwerkelijke hameren van de spijkers (Codering) is snel en goedkoop. Maar het deel waar de voorman en de architect rond de bouwplaats lopen, naar dezelfde muur wijzen, de plannen steeds opnieuw herschrijven en de afmetingen telkens weer controleren? Dat is de Code Review.
- De Bevinding: De onderzoekers ontdekten dat 59,4% van alle tokens (geld) werd uitgegeven aan enkel deze "Code Review"-fase. De AI-agenten waren constant met elkaar in gesprek om de code te verfijnen en te corrigeren, wat ongelooflijk duur was.
2. De "Luister"-belasting
AI-tokens zijn verdeeld in drie typen: Input (wat de AI leest), Output (wat de AI schrijft) en Redeneren (wat de AI denkt).
- De Analogie: Stel je een groep mensen voor die een puzzel probeert op te lossen. Ze besteden 2 minuten aan het lezen van de instructies en het bekijken van de stukjes (Input), maar slechts 1 minuut aan het daadwerkelijk plaatsen van de stukjes (Output).
- De Bevinding: De AI besteedde 53,9% van haar tijd aan het simpelweg lezen van de context (Input). De onderzoekers noemen dit de "Communicatiebelasting." Omdat de agenten in een lus met elkaar communiceren, blijven ze de volledige conversatie en de code telkens naar elkaar doorsturen. Ze geven het grootste deel van hun budget uit aan het herhalen van wat ze al weten, in plaats van aan het creëren van iets nieuws.
3. Verschillende Banen, Verschillende Kosten
- Codering: Dit was eigenlijk het goedkoopste deel. Het was "Output-zwaar", wat betekent dat de AI druk bezig was met het schrijven van nieuwe zaken.
- Documentatie & Review: Deze waren "Input-zwaar". De AI moest enorme hoeveelheden bestaande code lezen om een kleine samenvatting te schrijven of een kleine bug te vinden.
De Kern van de Zaak
Het artikel concludeert dat de hoge kosten van het gebruik van AI voor softwareontwikkeling niet komen doordat de AI slecht is in het schrijven van code. Het komt doordat de AI-teams inefficiënt met elkaar communiceren.
Ze besteden het overgrote deel van hun middelen aan een lus van controleren en herhaaldelijk controleren van werk (Code Review) en het herhaaldelijk lezen van dezelfde context (Input). De onderzoekers suggereren dat als we AI-softwareontwikkeling goedkoper en sneller willen maken, we ons niet moeten richten op het sneller laten schrijven van code door de AI; we moeten ons richten op het laten stoppen van de AI-teams met het eindeloos discussiëren en herhaaldelijk lezen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.