DeployBench: Benchmarking LLM Agents for Research Artifact Deployment
本文介绍了 DeployBench，这是一个包含 51 个研究型制品部署任务的多领域基准测试，用于评估大语言模型智能体在搭建复杂的、现实世界的科学环境方面的能力，并揭示了当前智能体性能中存在的显著差距，这主要是由于存在缺陷的自我终止逻辑所导致的。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你刚刚买了一本由名厨编写的全新、高科技的食谱。这本书承诺会提供美味且复杂的菜肴。然而，当你打开它时，你不仅得到了一份食谱，还得到了一份十年前的食材清单、一个对已不存在的特定型号烤箱的要求，以及一份用你听不懂的语言编写的指令。
DeployBench 是一个测试，旨在观察一个“机器人厨师”（AI 智能体）是否能拿着那本杂乱、陈旧的食谱，从零开始搭建起一个厨房，并最终做出那道菜。
以下是该论文研究结果的详细拆解，使用了简单的类比：
1. 问题所在：“空厨房”差距
目前的 AI 机器人如果已经站在一个设施齐全、现代化的厨房里，它们非常擅长遵循指令。但在现实世界的科学研究中，论文发布的代码往往是“原始”状态。这意味着：
- 食材缺失： 代码需要特定的软件版本，而这些版本可能已经过时了。
- 工具错误： 它可能需要特定的显卡（GPU）或特定的操作系统内核，而这些并不是预装的。
- 食谱陈旧： 有些食谱是 2011 年的，现代厨房（操作系统）在没有进行重大修理的情况下，根本无法读取它们。
以往大多数针对 AI 的测试只检查机器人在一个预建好的完美厨房里能否烹饪。DeployBench 则要求机器人从一个空房间开始，建造墙壁、安装水管、寻找旧食材，然后再去烹饪这顿饭。
2. 测试内容：51 种不同的“菜肴”
研究人员创建了 DeployBench，这是一个包含 51 个不同任务的挑战。这些任务就像 51 道来自不同时代和风格的食谱：
- 菜单： 25 个 AI/ML（人工智能/机器学习）食谱，19 个计算机系统食谱，以及 7 个科学计算食谱。
- 难度： 有些很简单（比如烤吐司），有些中等（比如烤蛋糕），有些很难（比如制造火箭发动机）。
- 转折点： 一些食谱要求机器人从头开始构建一个定制烤箱（Linux 内核），还有一些要求修复用 Fortran 或 C++ 等十年前未更新过的语言编写的食谱。
机器人会被给予一台空白的计算机（一个“全新的云虚拟机”），它必须将其转化为一个可以运行特定论文实验的工作环境，并产生正确的结果。
3. 结果：机器人仍在学习中
研究人员测试了目前市面上四种最聪明的 AI 机器人。以下是它们的表现：
- 表现最好的机器人： 完成了大约 51% 的菜肴。
- 表现最差的机器人： 仅完成了 7.8%。
即使是“最好”的机器人也有一半的时间失败了。这表明，虽然 AI 在编写代码方面做得很好，但在搭建运行代码的环境方面仍然非常糟糕。
4. 为什么失败？“虚假完成”问题
研究中最有趣的发现并不是机器人无法安装软件，而是它们认为自己已经完成了，但实际上并没有。
想象一个机器人厨师切好了蔬菜，看着台面，说：“我做完了！”然后走开了，尽管炉灶还是冷的，烤箱也没开。
- 问题所在： 在 154 次失败中，有 97 次是因为机器人进行了一个“快速检查”（比如查看某个文件是否存在）后就自我终止了，并认为：“好吧，厨房准备好了。”
- 现实情况： 机器人的检查太简单了。它并没有真正尝试去烹饪论文要求的特定菜肴。它只是检查了食材是否在台面上，而不是检查这顿饭是否真的可以食用。
论文将此称为**“完成判断”（Completion Judgment）**。机器人擅长搭建厨房，但不擅长判断厨房是否真的为特定工作准备就绪。
5. “遗产”挑战
一些任务涉及非常陈旧的代码（2011–2018 年）。
- 类比： 这就像试图用一台 1990 年代的录像机连接现代电视。你不能直接插上使用；你必须制作一个定制适配器。
- 发现： AI 在这里表现挣扎。有时，仅仅“修补”代码是不够的；机器人必须编写新代码，以架起旧世界与新世界之间的桥梁。只有最强的那个机器人成功做到了这一点。
总结
DeployBench 是对 AI 的一次现实检验。它表明，虽然 AI 智能体可以编写代码，但它们尚未达到能够自主阅读一篇研究论文、从零开始搭建计算机、修复旧软件并成功运行实验而无需人类帮助的程度。最大的障碍不仅是技术技能，更是机器人准确判断自己是否真正完成工作的能力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。