The Scaffolding Matters More Than the Interface: A Controlled Comparison of MCP and CLI Tool Use Across Seven Agent Scaffoldings, Five Language Models, and One Software Task
这项研究表明，智能体脚手架（agent scaffolding）的选择对 AI 编程智能体的成本和可靠性的影响远大于底层工具接口（MCP 与 CLI）的影响，从而揭示了 MCP 支持通常是不必要的，并且可能比直接的 CLI 执行要昂贵得多。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
数字工作坊：搭建舞台
想象你有一个聪明但非常刻板的机器人助手。这个机器人可以写故事、解数学题，也可以聊任何话题，但它住在一个密封的房间里。它无法看到你的电脑屏幕，无法打开你的文件，也无法点击网站上的按钮。为了完成实际的工作，你需要一个“工头”站在机器人与现实世界之间。这个工头被称为智能体脚手架（agent scaffolding）。它的工作是倾听机器人的想法，将它们转化为行动（比如“打开这个文件”或“发送这封邮件”），然后将结果带回，以便机器人继续思考。
长期以来，人们一直在争论构建这个工头的最佳方式。一种流行的方法叫做 MCP（模型上下文协议），它就像是给机器人一本涵盖了它可能需要的所有工具的详尽百科全书。每当机器人请求帮助时，工头都会再次把整本百科全书递给它，以防万一。另一种方法 CLI（命令行界面） 则更简单：工头只给机器人一个基础工具箱，并说：“你知道怎么使用锤子和螺丝刀吧？自己去搞清楚如何使用具体的工具。”
大家都在问的一个大问题是：哪种方法成本更低？ 由于机器人每次与计算机交谈时，都必须为发送和接收的词汇（token）付费，因此人们认为“巨型百科全书”方法（MCP）会极其昂贵，因为它发送了大量的额外文本。一些专家甚至猜测，它可能比简单的工具箱方法贵 35 倍。但从未有人公平地测量过这一点，数据一直很混乱。
工具箱大对决
在一项研究中，一个研究小组决定通过进行一次大规模、受控的实验来解决这场争论。他们并没有仅仅靠猜测，而是构建了一个数字障碍赛道——一个包含六个步骤的具体任务，例如发现代码中的漏洞、修复它并将其发送给团队。然后，他们将同一个任务通过 七种不同的“工头”（智能体脚脚手架） 和 五种不同的机器人大脑（AI 模型） 进行测试，以观察完成这项工作实际需要多少成本。
这里有一个转折：研究人员发现，工头本身的重要性远超工具箱本身。
最令人惊讶的发现是，在他们测试的七个工头中有两个甚至不具备“巨型百科全书”（MCP）的功能。它们只使用简单的工具箱（CLI）。然而，它们完美地完成了每一项任务。不仅完成了任务，而且它们的成本比那些拥有百科全书的高级工头要低 5 到 28 倍。事实上，对于某一个特定的微型机器人大脑，仅仅因为更换了一个不同的工头，成本就飙升了 139 倍，尽管机器人和任务本身完全相同。
那么，关于“巨型百科全书”（MCP）很贵的说法呢？
研究人员尝试在同一个工头内部直接比较这两种方法，但结果非常混乱且不一致。有时百科全书成本更高，有时更低，有时则持平。数据太不稳定，无法得出其中一种肯定比另一种更便宜的结论。然而，他们确实发现了一个明显的区别：当出现错误时，百科全书方法的成本要高得多。 在 MCP 运行中，大约有 12.9% 的支出“买不到任何东西”（因为任务失败了），而简单的工具箱运行中这一比例仅为 2.2%。但机器人在两种方法下的失败率其实差不多；区别在于，当 MCP 机器人失败时，它们浪费了更多的钱。
“工头”的“魔法”
研究还揭示了一个隐蔽的细节。研究人员明确告诉了机器人应该使用哪种工具箱。但当他们检查日志时，发现机器人经常忽略这些指令！有些机器人被赋予了“巨型百科全书”，却悄悄地使用了简单的工具箱。另一些则恰恰相反。这意味着，如果你只是询问机器人“这花了多少钱？”而不去检查它实际做了什么，你测量的可能是一个混合了两种方法的数值，这会让数据变得毫无意义。
核心结论
主要的启示并不是说一种工具是神奇的，而另一种是垃圾。相反，研究表明，你如何构建机器人的工头，是决定成本的最重要因素。
- 对于简单的、重复性的工作： 一个只使用基础工具箱（CLI）的小型定制化工头，比一个携带庞大百科全书的通用型助手要廉价且可靠得多。
- 对于小型机器人大脑： 如果你在自己的电脑上运行较小的、较便宜的 AI 模型，通用的工头可能会因为过于话痨以及携带过多不必要的负担，导致任务成本增加近 140 倍。
研究人员总结道，对于特定的、定义明确的任务，我们不需要沉重且昂贵的“巨型百科全书”方法。我们可以构建更精简、更廉价的系统，在完成工作的同时不增加额外的负担。而且，如果你打算使用那种高级的百科全书方法，你需要确保你的机器人确实在使用它，否则你可能是在为一件你从未触碰过的工具买单。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。