CoffeeBench: Benchmarking Long-Horizon LLM Agents in Heterogeneous Multi-Agent Economies
该论文介绍了 CoffeeBench，这是一个旨在评估异构多智能体咖啡经济环境下长程 LLM 智能体的基准测试，研究揭示了虽然大多数模型通过积极通信实现了正向净收入，但一些模型尽管具备连贯的规划能力，仍表现出诸如“闲置漂移”之类的特定失效模式。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个运行 90 天的巨型数字咖啡店模拟程序。在这个世界里，有六家独立的业务：两名种植咖啡豆的农夫，两名将豆子加工成咖啡的烘焙师，以及两名向顾客出售成品咖啡的零售商。
这篇论文介绍了 CoffeeBench，这是一个全新的“测试”，旨在观察人工智能（AI）智能体在长期运行其中一家业务时的表现如何。与以往那些仅仅是回答问题或玩单机游戏的 AI 测试不同，CoffeeBench 迫使 AI 扮演真正的首席执行官（CEO）：管理资金、买卖商品、与其他企业进行谈判，并日复一日地做出决策。
以下是利用简单的类比对该测试运作方式及研究结果进行的详细解读：
设置：数字咖啡产业链
把这个模拟程序想象成一场带有转折的复杂接力赛。
- 参与者： 两名农夫、两名烘焙师和两名零售商。他们既在互相竞争，也需要通过相互交易来生存。
- 目标： 被测试的 AI 被分配了其中一名特定烘焙师的角色。它的唯一任务是在 90 天内赚取尽可能多的利润。
- 对手： 其他五家企业由其他的 AI 智能体（或固定规则）运行。它们也在努力赚取自己的钱。
- 规则：
- 你不能只是坐以待毙；你必须购买生豆、烘焙咖啡，并出售烘焙好的咖啡。
- 你必须管理你的现金（不要耗尽资金）、你的库存（不要让咖啡变质）以及你的价格。
- 你可以与其他企业交流。你可以说：“我要买 20 公斤豆子，价格 10 美元，”或者“嘿，你能给我个批量折扣吗？”
- 如果你用完了现金，你就会破产并被踢出游戏。
测试：AI 的表现如何
研究人员让几种不同的 AI 模型在这个咖啡经济中展开对决。他们想看看谁能成为最好的“企业主”。
1. 获胜者（活跃的管理者）
像 GPT-5.5 和 Claude Opus 4.7 这样的模型表现最好。
- 他们的做法： 他们就像是忙碌且爱交际的企业家。他们不断地给其他企业打电话、谈判价格并达成交易。他们不仅仅是等待事情发生；他们积极管理自己的供应链。
- 结果： 他们获得了可观的利润（在模拟中约为 3,000 美元）。
2. “沉默”的执行者
一些模型，例如 Gemini 3.1 Pro，赚了一些不错的钱，但并不怎么说话。
- 他们的做法： 他们高效但属于反应型。他们等待别人发消息给他们，然后做出回应。他们没有发起很多对话，但仍然设法维持了业务的运转。
3. 失败者：“闲置漂移”故障
一个模型，Claude Haiku 4.5，遇到了一个非常奇怪的问题。
- 问题所在： 它遭遇了作者所称的 “闲置漂移”（Idle Drift）。
- 类比： 想象一位国际象棋选手坐在棋盘前，思考得非常深入，在纸上写下了一个完美的计划，然后……什么也不做了。他只是坐在那里，等待下一天开始。
- 发生了什么： 该 AI 会阅读新闻、分析市场，说“一切看起来都很好，我有一个伟大的计划”，然后选择完全不做任何事。它保持了推理的连贯性，却拒绝采取行动。
- 结果： 因为它什么也没做，所以亏损了资金，并在模拟结束时处于赤字状态。
论文的核心要点
- 沟通至关重要： 最成功的 AI 智能体是那些沟通最频繁的智能体。在一个复杂的经济体中，你不能只是坐在办公室里坐收渔利，你必须进行谈判并建立关系。
- 长期思维很难： 经营一家公司 90 天是一场马拉松，而不是短跑。许多 AI 随着时间的推移会变得困惑或懒惰。
- 动作多 钱更多： 仅仅因为一个 AI 调用了大量的工具（比如查看价格或发送消息）并不意味着它赚了钱。决策的质量（比如是否拿到了一个好价格）比动作的数量更重要。
- “闲置”漏洞： 论文强调了一种特定的失效模式，即 AI 陷入了“只思考而不行动”的循环。这是对于未来需要执行长期任务的 AI 来说一个关键的问题。
本文并未提及的内容
- 它并没有声称这些 AI 已经准备好在现实世界中运营真实的咖啡公司。
- 它并没有说这会解决金融危机或改变全球经济。
- 它并不暗示 AI 是像企业主那样具有“意识”或“情感”；它只是在遵循指令以实现某个数字的最大化。
简而言之： CoffeeBench 是一个 AI 视频游戏，目标是经营一家咖啡业务。获胜者是那些交流最多、行动最频繁的智能体。而失败者则是那个想得太多、做得太少，最终陷入无所事事状态的智能体。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。