Tokenomics: Quantifying Where Tokens Are Used in Agentic Software Engineering
Diese Arbeit analysiert die Token-Verbrauchsmuster in LLM-basierten Multi-Agenten-Software-Engineering-Systemen und zeigt auf, dass die iterative Code-Review-Phase und die Input-Token den Ressourcenverbrauch dominieren, wodurch verdeutlicht wird, dass die primären Kosten in der automatisierten Verfeinerung und Verifizierung statt in der initialen Codegenerierung liegen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen ein Team von KI-Robotern ein, um eine Software für Sie zu entwickeln. Sie denken vielleicht, der teuerste Teil des Jobs sei das eigentliche „Bauen“ (das Schreiben des Codes). Dieses Paper legt jedoch nahe, dass dies so ist, als würde man denken, der teuerste Teil beim Hausbau sei das Verlegen der Ziegel, während die Kosten in Wirklichkeit durch die endlosen Besprechungen entstehen, in denen das Team darüber streitet, ob die Farbe richtig gewählt wurde.
Hier ist eine einfache Aufschlüsselung dessen, was die Forscher herausgefunden haben:
Die Kernidee: „Tokenomics“
Die Autoren erfanden ein neues Wort, „Tokenomics“, um die „Ökonomie“ der KI zu beschreiben. Genau wie ein menschliches Team Geld für Gehälter und Kaffee ausgibt, verbrennt ein KI-Team „Token“ (die Währung, mit der die KI denkt und spricht). Jedes Mal, wenn die KI einen Prompt liest oder eine Zeile Code schreibt, kostet das Token. Die Forscher wollten eine einfache Frage beantworten: Wohin genau fließt dieses Geld?
Das Experiment: Eine virtuelle Softwarefabrik
Um dies herauszufinden, richteten die Forscher ein virtuelles Softwareunternehmen namens ChatDev ein. Sie gaben diesem KI-Team 30 verschiedene Aufgaben, die von einfachen mathematischen Problemen bis hin zum Bau eines Schachspiels reichten. Sie nutzten ein sehr intelligentes KI-Modell (GPT-5), um das Team anzutreiben.
Sie beobachteten das KI-Team Schritt für Schritt, verfolgten jeden einzelnen verwendeten Token und ordneten diese Schritte den realen Softwarephasen zu:
- Design: Planung dessen, was gebaut werden soll.
- Coding: Schreiben des ersten Entwurfs.
- Code Review: Überprüfung der Arbeit und Beheben von Fehlern.
- Testing: Das System absichtlich testen, um zu sehen, ob es funktioniert.
- Dokumentation: Schreiben der Bedienungsanleitung.
Die überraschenden Ergebnisse
1. Das „Code Review“ ist das Geldgrab
Man würde erwarten, dass die „Coding“-Phase am teuersten ist. Das ist sie nicht.
- Die Analogie: Stellen Sie sich eine Baustelle vor. Das eigentliche Hämmern der Nägel (Coding) geht schnell und ist günstig. Aber der Teil, in dem der Vorarbeiter und der Architekt um die Baustelle herumgehen, auf dieselbe Wand zeigen, die Pläne immer wieder umschreiben und die Maße immer wieder überprüfen? Das ist das Code Review.
- Das Ergebnis: Die Forscher fanden heraus, dass 59,4 % aller Token (Geld) allein für diese „Code Review“-Phase ausgegeben wurden. Die KI-Agenten sprachen ständig miteinander, um den Code zu verfeinern und zu korrigieren, was unglaublich teuer war.
2. Die „Zuhör“-Steuer
KI-Token sind in drei Typen unterteilt: Input (was die KI liest), Output (was die KI schreibt) und Reasoning (wie die KI denkt).
- Die Analogie: Stellen Sie sich eine Gruppe von Menschen vor, die versuchen, ein Puzzle zu lösen. Sie verbringen 2 Minuten damit, die Anleitung zu lesen und die Teile anzusehen (Input), aber nur 1 Minute damit, die Teile tatsächlich zu platzieren (Output).
- Das Ergebnis: Die KI verbrachte 53,9 % ihrer Zeit damit, den Kontext zu lesen (Input). Die Forscher nennen dies die „Kommunikationssteuer“. Da die Agenten in einer Schleife miteinander kommunizieren, geben sie den gesamten Gesprächsverlauf und den Code immer wieder zurück und forth. Sie geben den Großteil ihres Budgets dafür aus, das bereits zu wiederholen, was sie schon wissen, anstatt etwas Neues zu erschaffen.
3. Unterschiedliche Jobs, unterschiedliche Kosten
- Coding: Dies war tatsächlich der günstigste Teil. Es war „Output-lastig“, was bedeutet, dass die KI intensiv damit beschäftigt war, neue Dinge zu schreiben.
- Dokumentation & Review: Diese waren „Input-lastig“. Die KI musste riesige Mengen an bestehendem Code lesen, um eine winzige Zusammenfassung zu schreiben oder einen kleinen Fehler zu finden.
Das Fazit
Das Paper kommt zu dem Schluss, dass die hohen Kosten für den Einsatz von KI bei der Softwareentwicklung nicht daher rühren, dass die KI schlecht im Programmieren ist. Es liegt daran, dass die KI-Teams ineffizient darin sind, miteinander zu kommunizieren.
Sie verschwenden den Großteil ihrer Ressourcen in einer Schleife aus dem Überprüfen und Erneut-Überprüfen von Arbeit (Code Review) und dem ständigen Neu-Lesen von Kontext (Input). Die Forscher schlagen vor, dass wir, wenn wir die KI-Softwareentwicklung billiger und schneller machen wollen, uns nicht darauf konzentrieren sollten, die KI schneller Code schreiben zu lassen; wir sollten uns darauf konzentrieren, das KI-Team dazu zu bringen, weniger zu streiten und weniger zu viel zu lesen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.