Tokenomics: Quantifying Where Tokens Are Used in Agentic Software Engineering
本文分析了基于大语言模型的多智能体软件工程系统中的 Token 消耗模式,揭示了迭代代码审查阶段和输入 Token 占据了主要资源消耗,从而强调了主要的成本在于自动化优化与验证,而非初始代码生成。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你雇佣了一支 AI 机器人团队来为你开发一款软件。你可能会认为最昂贵的部分是实际的“构建”(编写代码)过程。然而,这篇论文指出,这种想法就像是在认为盖房子最贵的部分是铺设砖块,而实际上,成本来自于那些团队为了讨论油漆颜色是否正确而进行的无休止的会议。
以下是研究人员发现的简单拆解:
核心概念:“代币经济学”(Tokenomics)
作者发明了一个新词——“Tokenomics”,用来描述 AI 的“经济学”。就像人类团队会把钱花在薪水和咖啡上一样,AI 团队也在消耗“代币”(AI 用来思考和交流的货币)。AI 每读取一个提示词或编写一行代码,都会消耗代币。研究人员想要回答一个简单的问题:这些钱到底花到哪里去了?
实验:虚拟软件工厂
为了找出答案,研究人员建立了一家名为 ChatDev 的虚拟软件公司。他们给了这个 AI 团队 30 个不同的任务,从简单的数学问题到构建一个国际象棋游戏。他们使用了一个非常聪明的 AI 模型(GPT-5)来驱动这个团队。
他们观察了 AI 团队逐步工作的过程,追踪了它们使用的每一个代币,并将这些步骤映射到现实世界的软件阶段:
- 设计: 规划要构建的内容。
- 编码: 编写初稿。
- 代码审查: 检查工作并修复错误。
- 测试: 通过破坏程序来查看其是否正常运行。
- 文档: 编写说明书。
出人意料的结果
1. “代码审查”是吞金黑洞
你可能会预期“编码”阶段是最昂贵的。事实并非如此。
- 类比: 想象一支建筑队。实际敲钉子(编码)既快又便宜。但如果包工头和建筑师围着同一个墙面,指指点点,反复争论、重写计划并一遍又一遍地检查尺寸,那个部分呢?那就是代码审查。
- 发现: 研究人员发现,59.4% 的所有代币(钱)都仅仅花在了这个“代码审查”阶段。AI 智能体不断地相互交流以完善和修正代码,这极其昂贵。
2. “倾听”税
AI 代币分为三种类型:输入(AI 阅读的内容)、输出(AI 编写的内容)和推理(AI 思考的内容)。
- 类比: 想象一群人试图解决一个拼图。他们花了 2 分钟阅读说明书并观察碎片(输入),但只用了 1 分钟来实际放置碎片(输出)。
- 发现: AI 花费了 53.9% 的时间仅仅是在阅读上下文(输入)。研究人员称之为**“沟通税”**。因为智能体在循环中进行对话,它们不断地将整个对话内容和代码反复传递。它们的大部分预算都花在了重复已知信息上,而不是创造新的东西。
3. 不同任务,不同成本
- 编码: 这实际上是最便宜的部分。它是“输出密集型”的,意味着 AI 忙于编写新内容。
- 文档与审查: 这些是“输入密集型”的。AI 必须阅读大量的现有代码,才能写出微小的摘要或寻找一个小漏洞。
总结
论文得出结论:使用 AI 开发软件成本高昂,并不是因为 AI 不擅长编写代码,而是因为 AI 团队在交流方面效率低下。
它们将绝大部分资源浪费在检查和反复检查工作的循环中(代码审查),以及反复阅读相同的上下文(输入)中。研究人员建议,如果我们想要让 AI 软件开发变得更便宜、更快速,我们不应该专注于让 AI 写代码更快;我们应该专注于让 AI 团队停止如此多的争论和重复阅读。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。