Just A Rather Very Intelligent Spoken Agent
本文介绍了 JarvisBench，这是一个全新的基准测试和模块化原型，旨在通过基于追踪的响应和主动引导，提升实时用户交互、任务透明度和整体性能，从而评估始终在线的语音中介在增强长程 AI 智能体工作流方面的有效性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
AI 时代的缺失中间人
想象一下，你雇佣了一位才华横溢、速度极快的实习生来为你建造一座复杂的树屋。你把蓝图交给他，说：“开始吧！”然后你就走开了。接下来的几个小时里，你只能听到偶尔传来的锤子敲击声或锯木头的声音。你完全不知道他是否在正确地建造树屋，是否撞到了腐烂的树枝，或者是否决定改建一个滑梯而不是梯子。你不能直接走过去看一眼，以免打断他的工作流；如果你等到他完成后再提问，可能那时已经太晚了，你会发现整个结构已经倾斜得非常危险。这就是目前许多先进 AI 智能体（AI Agents）的现状：它们是极其出色的“工人”，但在长时间、无声的运作中，让身为人类老板的你处于信息真空状态。
这篇论文处于**人工智能（AI）**领域，特别关注 AI 智能体。不要把 AI 智能体仅仅看作是一个回答单个问题的聊天机器人，而要把它看作是一个数字员工，它能够进行规划、使用工具（如浏览器或代码编辑器），并在较长一段时间内解决多步骤的问题。这里的核心概念是“长程”（long-horizon）任务：这类工作耗时较长，需要许多步骤，并且容易在细微之处出错。论文指出，虽然我们的 AI 工人变得越来越聪明，但我们与它们沟通的方式却还停留在过去。我们需要一种全新的交互界面——不仅是一种下达指令的方式，更是一种能够保持连接、提问并实时引导工人，且不会中断其工作流程的方式。
遇见 Jarvis：始终在线的耳语者
来自 NVIDIA 的作者 Chen 和 Chen 提出了一个解决这种“脱离循环”问题的方案。他们引入了一个名为 JarvisBench 的概念，这本质上是一个测试新型 AI 助手的新型试验场。可以将这个助手想象成一个“调解员”或“中间人”，坐在你（用户）和你的 AI 工人之间。
在电影《钢铁侠》中，角色 J.A.R.V.I.S. 就是作者想要构建的完美典范。他不仅仅是在等待托尼·斯塔克提问；他会倾听、观察托尼在做什么，能瞬间回答问题，甚至在托尼即将犯错时主动提醒。论文指出，目前的 AI 智能体缺乏这种“Jarvis 层”。通常情况下，你给出一个指令，AI 便开始沉默地工作，只有在出现问题时你才会收到一条文本更新。作者认为这种连接过于单薄。他们想要的是一个“始终在线”的智能体，能够进行语音交互，随时准备解释正在发生的事情，并能在遇到困难时请求人类给予快速的指引。
为了证明这个想法的可行性，团队构建了一个原型系统和一套测试规则，称之为 JarvisBench。他们不仅仅是构建了一个特定的机器人，而是创建了一个灵活的框架，可以将不同的“大脑”（AI 模型）和不同的“工人”接入其中，以观察它们如何协同工作。
双轨测试：它有助于工作吗？它有助于人类吗？
研究人员设置了一个两部分的挑战，以观察他们的“Jarvis”理念是否真的带来了改变。
第一轨：工人的好伙伴（智能体协作）
在这一轨中，目标是观察拥有 Jarvis 调解员是否能帮助 AI 工人更好地完成任务。想象一下 AI 工人正试图解开一个复杂的谜题或编写一段代码。如果没有 Jarvis，工人可能会陷入错误循环，或者走错路而直到太晚才意识到。有了 Jarvis，调解员会观察工人的每一个动作。如果工人两次犯了同样的错误或看起来很困惑，Jarvis 会暂停动作（或模拟暂停），并向人类专家寻求一个快速的小贴士。随后，它会将这个贴士传递回给工人。
测试结果令人振奋。他们使用不同的 AI 工人运行了 34 个不同的长期任务（如搜索信息、整理文件或编写代码）。当加入 Jarvis 调解员后，工人的任务完成率提升了。例如，使用“Claude Opus 4.7”作为大脑的工人，其成功率从 64.01% 提升到了 75.79%。调解员本身并不从事工作，它只是作为一个桥梁，识别问题点，并引入恰到好处的人类指导，让工人重回正轨。论文表明，这种“中间层”对于帮助 AI 智能体从错误中恢复，而无需对其进行彻底重构至关重要。
第二轨：人类的好伙伴（用户交互）
第二轨提出了一个不同的问题：这种调解员是否让人的体验变得更好？想象你是老板，你想知道：“你现在在做什么？”或者“你为什么选择那个文件？”在旧模式下，你必须翻阅日志或等待报告。有了 Jarvis，你可以直接问：“嘿，进展如何？”并立即得到语音回答。
研究人员通过让一个模拟的“非专家”用户在 AI 工作时进行提问来测试这一点。他们衡量了调解员根据所见内容解释工人进度的能力，以及回答有关任务背景问题的能力。他们发现，调解员背后的“大脑”质量至关重要。一个非常聪明的“大脑”（如 GPT-5.4）在回答背景问题方面表现出色，得分高达 3.91 分（满分 5 分）。然而，即使是较小、较快的“大脑”在解释工人当前正在做什么方面也表现良好。关键结论是，一个优秀的调解员可以让你保持知情并参与其中，而无需成为技术专家或盯着满屏的代码。
这意味着什么（以及它不意味着什么）
论文谨慎地指出，这些都是基于模拟和特定测试的初步结果。他们并未声称已经解决了所有 AI 问题或制造出了完美的机器人管家。他们明确排除了调解员应该接管工作或解决任务本身的设想。调解员的任务严格限定为观察、倾听和引导。
他们还发现，调解员的“大脑”质量至关重要。如果大脑不够聪明，它可能会不必要地中断工人或给出错误的建议。但当大脑足够强大时，一个聪明的工人与一个聪明的调解员的结合，会创造出一个更加透明、更有帮助且更有可能成功的团队。
简而言之，这篇论文表明，AI 的未来不仅仅在于让工人变得更聪明，更在于建立人类与机器之间更好的对话。通过增加一个“Jarvis 层”，我们或许终于能获得不仅是为我们工作，而且是与我们共同工作的 AI 智能体，让它们让我们保持在知情范围内，并在情况变得棘手时随时准备提供帮助。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。