The Reliability Gap: Repeated-Trial Consistency and the Deployable Autonomy Horizon of Frontier AI Agents
本文通过分析前沿人工智能智能体（AI agent）的性能数据，揭示了一个显著的“可靠性差距”，即智能体能够持续完成的任务时长大约仅为其平均能力水平的 2.4 倍，这主要是因为失败在特定任务内具有强相关性而非随机发生，从而表明必须将评估指标从平均成功率转向面向安全部署的可靠性调整后水平。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速演进的人工智能领域，一种新型软件已经出现：这类智能体（agents）不仅能回答问题，还能采取行动。这些系统可以规划一系列步骤，使用数字工具，并在软件代码或网络浏览器等复杂环境中进行导航，且通常只需极少或无需人类监督。为了追踪这些智能体的能力演进，研究人员开发了一种衡量其进展的方法，即使用“时间跨度”（time horizon）。这一概念描述了任务的长度，以人类专家完成该任务所需的时间来衡量，指智能体能够成功完成该任务的概率达到一半时所对应的时长。如果一个智能体的时间跨度为一个小时，这意味着它能够可靠地解决人类大约需要一小时才能完成的问题，但对于需要两个小时的任务，它很可能会失败。这一指标已成为描述人工智能进展的标准语言，报告显示，这一跨度大约每七个月就会翻倍，预示着一个机器可以处理日益复杂工作的未来。
然而，在智能体“平均能做什么”与“被信任能做到什么”之间存在着关键的区别。对于分配重复性工作的人类管理者或监管自主系统的监管者而言，50% 的成功率往往是不够的。如果一项任务反复出现，目标不是让智能体一半的时间成功，而是要让它在每次任务出现时都成功。一个在两次尝试中失败一次的系统，对于许多现实世界的应用来说还不够可靠，然而标准的“时间跨度”指标并未捕捉到这种风险。它衡量的是能力的边界，而非可靠性的底线。这种平均表现与一致表现之间的差距是新研究试图解决的核心谜题，该研究探讨了这些智能体的真实可靠性与其引人注目的能力得分相比，究竟落后了多少。
为了回答这个问题，研究人员转向了来自 METR 组织的庞大公开记录库，该组织自 2023 年以来一直在对人工智能智能体进行数百种不同任务的评估。这项研究重点分析了 2023 年至 2026 年初发布的 30 种不同模型，分析了超过 60,000 次针对各种任务的单次尝试。研究人员并没有仅仅观察智能体是成功还是失败了一次，而是检查了当同一个智能体多次尝试同一项任务时会发生什么。他们特别观察了这样一个临界点：即智能体在有 50% 的总成功概率下，能够连续完成四次同一项任务的情况。这个“可靠性跨度”（reliability horizon）代表了智能体可以被预期能够稳定处理的任务长度，而非仅仅是偶尔完成。
结果显示，在智能体“能做到的事”与“能被信任去做的事”之间存在显著且持久的差距。对于测试的每一个模型而言，实现可靠、重复成功的可靠性跨度都远短于标准的容量跨度。直观来看，如果一个顶尖模型能够以 50% 的成功率处理一项人类需完成 715 分钟的任务，那么该模型也只能被信任去连续四次完成一项约 355 分钟的任务。这种差距在过去三年中并未显著缩小；尽管模型变得更加强大，但其平均表现与一致表现之间的距离始终保持在大致相同的水平。
人们可能会认为，如果一个智能体失败了，那仅仅是运气不好或随机故障，再次尝试很可能会得到不同的结果。研究发现，这一假设是不正确的。研究人员发现，重复尝试的结果与特定任务本身强相关，而非随机现象。当智能体在某项任务上失败时，它在尝试该项任务时往往每次都会失败。反之，当它成功时，它在尝试该项任务时往往每次都会成功。这意味着，智能体的可靠性并非取决于每次尝试时的“掷骰子”结果，而是取决于任务相对于智能体技能的内在难度。由于这种强关联性，观察到的可靠性要比每次尝试都是独立事件时要高得多。如果尝试确实是随机且互不相关的，可靠性跨度将会大幅缩短，但现实情况是，智能体的表现是在特定问题的语境下具有一致性的。
研究还精准定位了这些不一致性发生的地方。最不可预测的行为既不在于那些智能体持续失败的最难任务上，也不在于那些智能体持续成功的最易任务上。相反，“混合结果”（即智能体有时成功有时失败的情况）紧密地聚集在智能体能力的边缘。这正是处于标准时间跨度之下的一类区域，这里的任务足够难，足以挑战智能体，但又不至于难到无法完成。正是在这个区域，新分配的任务最有可能落入其中，因此它也是理解风险最关键的领域。
尽管有明确的证据表明存在差距，但研究人员发现，这种差距缩小速度在统计学上并不显著。虽然数据表明可靠性跨度有追赶容量跨度的微弱趋势，但在目前测试的模型数量下，这种趋势过于微小，无法与随机波动区分开来。这表明，虽然人工智能智能体在解决更难的问题方面变得越来越好，但它们在执行的一致性方面并不一定以同样的速度提升。研究结论指出，对于部署这些系统的任何人来说，仅依赖平均成功率会对未来产生过于乐观的看法。为了真正了解一个智能体可以被信任做多少事，报告必须包含一个经过可靠性调整后的跨度，以考虑到重复、一致成功的需求。如果没有这一调整，自主智能体的承诺仍然仅仅是对潜力的衡量，而非对性能的保证。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。