The Best Programming Language for Tokenmaxxing: An Investigation of Coding Agent Behavior Across Programming Languages
本文研究了编码智能体在不同编程语言中如何表现出显著且持续的 Token 消耗差异，揭示了这些低效行为源于诸如在不熟悉的语言中生成无法编译的代码、不信任提供的测试以及使用 Python 进行原型设计等行为，从而确立了以语言为维度的 Token 效率作为基准测试和成本优化的关键指标。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你雇佣了一位才华横溢、不知疲倦的机器人助手来为你编写计算机程序。你给它一个谜题，它就开始打字、运行测试、修复错误并不断尝试，直到把它做对为止。这就是“编程智能体”（coding agents）的世界——一种新型的人工智能，它们不仅仅是回答问题，而是真正构建软件。但问题在于：这些机器人工作不是免费的。它们每思考一次、每打一个字或每检查一次成果，都会消耗“Token（令牌）”。把 Token 想象成汽车的燃料或手机套餐里的分钟数。机器人思考和重写得越多，消耗的燃料就越多。
现在，想象一下你要求这个机器人解决完全相同的谜题，但这一次你告诉它要用一种不同的语言来编写解决方案。也许它用 Python（一种看起来很像英语的语言）编写，或者也许它用 OCaml（一种看起来更像秘密数学代码的语言）编写。你可能会认为，只要谜题相同，无论使用哪种语言，机器人消耗的燃料都是一样的。但如果语言本身会让机器人绊到自己的脚呢？如果有些语言对机器人来说像是平坦的高速公路，而另一些语言则像是泥泞的沼泽，让它陷入困境、原地打转，并仅仅为了弄清楚如何走路就消耗额外的燃料呢？这正是研究团队想要回答的问题：你选择的编程语言是否会改变你的 AI 助手完成任务时消耗的“燃料”（Token）？
研究人员 Zixuan Wu、Carolyn Jane Anderson 和 Arjun Guha 决定通过让他们的编程智能体在大量的 100 个编程谜题上进行测试来调查这个问题。他们不仅观察机器人是否得到了正确答案，还像侦探查看监控录像一样，观察机器人的每一个步骤。他们在四种语言（Python、Java、Rust 和 OCaml）上测试了五种不同的 AI 模型。
他们最大的发现是，语言的影响非常巨大。即使谜题的难度完全相同，机器人在使用 OCaml 和 Rust 时消耗的 Token 也明显多于使用 Python。事实上，对于某些模型来说，用 OCaml 编写的成本几乎是 Python 的 1.7 倍。作者认为，这并不是因为最终的代码变长了，而是因为机器人在处理这些不太熟悉的语言时变得困惑了，犯了更多的错误，并且必须更加努力地去修复它们。
但真正有趣的是观察机器人是如何“卡住”的。研究人员发现，当机器人在像 OCaml 这样棘手的语言中遇到障碍时，它们并不会直接放弃。相反，它们会开始表现得有些古怪。有时，它们会得到一个通过了所有测试的解决方案，但随后又会不停地重写它，添加不必要的注释或改变风格，仿佛无法信任自己的成功。还有时候，它们会卡在一个简单的语法错误（比如漏掉了一个分号）上，原地打转，一遍又一遍地重写同样出错的代码，却意识不到问题出在哪里。
或许最有趣的现象是，当机器人遇到不太熟悉的语言时，它们会稍微“作弊”。它们会先在感到舒适且自信的 Python 中秘密解决问题，然后再尝试将 Python 方案翻译成目标语言（如 OCaml 或 Rust）。这就像一个在脑海中已经解出了数学题的学生，但在试图用一种自己几乎不精通的语言写下过程时，尽管知道数学逻辑，却被语法搞得晕头转向。
这项研究还探讨了一个被称为“Token 最大化”（tokenmaxxing）的概念，作者戏称这是在尽可能让 AI 花钱的一种方式。他们发现，如果你真的想耗尽预算，你应该选择 OCaml。机器人会挣扎、重做并过度思考，从而在解决问题时消耗大量的 Token。相反，如果你希望你的 AI 高效且廉价，Python 显然是赢家。
最后，论文指出，编程语言的选择不仅仅关乎代码看起来是什么样的；它改变了 AI 的思考方式。有些语言像是一位温柔的向导，而另一些语言则像是一个让机器人原地打转的迷宫。作者希望通过理解这些行为，我们可以构建出更好的、更高效的机器人，让它们无论被要求使用哪种语言，都不会浪费这么多“燃料”。他们也提醒道，虽然他们在特定的实验中发现了这些模式，但未来的机器人可能会变得更聪明，能更好地处理这些棘手的语言，因此这些结果是目前情况的一个快照，而非宇宙的永久法则。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。