🤖 AI

Towards a Science of AI Agent Reliability

本文提出了一个包含一致性、鲁棒性、可预测性和安全性四个维度的十二项指标框架，用以全面评估 AI 智能体的可靠性，并揭示了近期能力的提升仅在实际运行可靠性方面带来了微小的增益。

原作者： Stephan Rabanser, Sayash Kapoor, Peter Kirgis, Kangheng Liu, Saiteja Utpala, Arvind Narayanan

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Stephan Rabanser, Sayash Kapoor, Peter Kirgis, Kangheng Liu, Saiteja Utpala, Arvind Narayanan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你雇佣了一位非常聪明、速度极快的私人助理来打理你的生活。他们可以订机票、管理你的银行账户，甚至编写代码。从纸面上看，他们近乎完美：95% 的情况下都能给出正确的答案。但在现实生活中，你却感到很不安。有时他们会订错航班，仅仅因为你说了“周五上午”而不是“周五 AM”。有时他们会因为误解了一个指令而删除了你的整个数据库。还有时，他们做同样的一项任务五次，却得到了五个不同的结果。

这篇论文认为，我们目前评价 AI 智能体（AI agents）的方式就像是在评价一个学生的单次考试成绩。我们问：“他们答对了吗？”如果答对了，我们就给他们一个 A。但作者指出，对于一个即将自主为我们工作的实体来说，这还远远不够。我们需要知道他们的“行为方式”，而不只是看他们是否“成功”。

为了解决这个问题，作者提出了一种新的 AI 智能体测试方法，借鉴了航空业和核电站的思想。在这些领域，你不仅仅是问：“飞机飞起来了吗？”你会问：“它每次飞行的轨迹都一样吗？它能应对风暴吗？飞行员是否知道自己即将坠毁？如果真的坠毁了，后果有多严重？”

该论文将“可靠性”（Reliability）拆解为四个简单的支柱，并使用了 12 项具体的测试：

1. 一致性（Consistency）：“土拨鼠之日”测试

隐喻： 想象你要求助理做一杯咖啡。今天，他们做了一杯拿铁；明天，你提出了完全相同的要求，他们却做了一杯茶；后天，他们竟然做了一个三明治。
论文观点： 即使智能体在 80% 的情况下都能完成工作，但如果剩下的 20% 时间里他们表现得完全不同或随机失败，那么他们就是不可靠的。作者发现，即使是最聪明的 AI 模型，在多次运行同一任务时，也经常给出不同的答案或采取不同的路径来实现同一个解决方案。他们就像一枚硬币：有时正面，有时反面，即便“正面”才是正确答案。

2. 鲁棒性（Robustness）：“扭曲指令”测试

隐喻： 你告诉你的助理：“取消我的订阅。”他们照做了。接着你说：“结束我的计划。”他们却愣住了，无动于衷。或者，你让他们检查一个数据库，但数据库稍微改变了列的顺序，智能体就崩溃了。
论文观点： 现实生活是混乱的。指令并不总是完美的，工具也会发生变化。作者测试了当指令被轻微改写或数据格式发生变化时会发生什么。他们发现，虽然 AI 智能体在处理技术故障（如服务器超时）方面变得越来越好，但在处理人类表达方式或数据格式的简单变化时，仍然非常脆弱。他们就像一辆在笔直平坦的高速公路上行驶完美，但只要方向盘稍微转动一下就会散架的汽车。

3. 可预测性（Predictability）：“诚实”测试

隐喻： 你的助理说：“我百分之百确定我可以修复你的电脑，”但实际上他根本不知道自己在做什么。或者，他明明知道答案，却说：“我不确定。”
论文观点： 一个可靠的智能体应该知道自己何时可能失败。它应该能够说：“嘿，我对这个不太有把握，请检查一下我。”作者发现，虽然 AI 模型在评估自身置信度方面正在进步（它们不再那么过度自信了），但它们仍然难以告知你它们会在哪些特定任务上失败。它们可能知道自己“通常”表现很好，但无法在出错之前向你发出预警。

4. 安全性（Safety）：“损害控制”测试

隐喻： 你的助理犯了一个错误。

场景 A： 他们按字母顺序排列你的文件，但把其中几个放错了文件夹。你需要把它们挪回去。（很烦人，但可以修复）。
场景 B： 他们删除了你的整个照片存档。（灾难性的）。
论文观点： 智能体失败 1% 的时间并不重要；重要的是在那 1% 的时间里发生了什么。作者发现，虽然智能体在遵守规则（如“不要删除文件”）方面做得越来越好，但当它们违反规则时，后果可能是毁灭性的。他们还发现，“安全性”往往隐藏在平均成功率之后。一个智能体可以是 99% “安全”的，但在那 1% 的情况下可能会引发灾难。

重大发现

作者在两年的时间里测试了 15 种不同的 AI 模型（来自 OpenAI、Google 和 Anthropic 等公司）。他们对比了模型的“准确率”（Accuracy，即答对问题的频率）与它们的“可靠性”（Reliability，即上述四个测试）。

结果： AI 模型变得越来越聪明，也越来越准确。但是，它们的可靠性几乎没有提升。

这就像一名赛车手在两年内速度提升了 20%，但他留在赛道上、应对降雨或在迷路时承认迷路的能力却没有得到任何改善。论文得出结论：仅仅让 AI 变得更“聪明”（更准确）并不会自动让它变得更“安全”或更“可靠”。如果我们想要信任 AI 智能体处理重要任务，我们需要开始衡量并优化这四个特定的特质。

简而言之： 我们目前正在构建的是既聪明又不可预测的 AI 智能体。在我们让他们驾驶汽车之前，我们需要确保他们不会因为收音机换了频道就突然转向，确保他们知道自己迷路了，并且不会仅仅因为感到困惑就撞毁汽车。

技术摘要：迈向 AI 智能体可靠性科学

1. 问题陈述

AI 智能体正迅速从研究原型向执行具有重要影响的任务（如代码修改、数据库管理、工作流编排）的部署系统转型。尽管标准基准测试报告的准确率得分不断上升，但存在一个关键性的差异：尽管基准性能很高，智能体在实践中却频繁失败。近期的多起高关注度事件——例如 AI 助手删除了生产数据库或智能体进行了未经授权的购买——凸显了当前的评估范式已不足以应对现状。

主流的评估范式依赖于平均任务成功率（准确率）。这种方法掩盖了关键的行为属性：它无法区分一个智能体是由于特定任务导致的预测性失败，还是随机性失败；它将良性的格式错误与灾难性的行为等同对待；并且忽略了对输入扰动的敏感性，以及智能体识别自身失败可能性的能力。因此，当能力被追踪时，可靠性仍处于未被衡量的状态，这导致了基准性能与现实世界结果之间的鸿沟。

2. 方法论

作者提出了一个用于评估 AI 智能体可靠性的全面框架，该框架植根于航空、核能和汽车系统等安全至上的工程原则。他们将可靠性分解为四个独立的维度，每个维度都通过特定的、可计算的指标进行操作化处理，这些指标与原始任务准确率是截然不同的。

四个可靠性维度

一致性 (RCon)： 衡量系统在相同条件下是否表现一致。
- 结果一致性 ( $C_{out}$ )： 多次运行之间成功/失败的方差。
- 轨迹一致性： 衡量动作序列的相似性，分为分布一致性 ( $C^d_{traj}$ ，动作类型频率）和顺序一致性 ( $C^s_{traj}$ ，动作排序）。
- 资源一致性 ( $C_{res}$ )： 计算和货币成本（Token、API 调用）的变化性。
鲁棒性 (RRob)： 衡量在运行条件偏离常态时的稳定性。
- 故障鲁棒性 ( $R_{fault}$ )： 对基础设施故障（超时、错误响应）的韧性。
- 环境鲁棒性 ( $R_{env}$ )： 对数据格式、工具接口或字段顺序等语义保持不变的变化的敏感性。
- 提示词鲁棒性 ( $R_{prompt}$ ： 对语义等价的指令改写保持不变的能力。
可预测性 (RPred)： 衡量智能体表达的置信度与其实际表现是否一致。
- 校准度 ( $P_{cal}$ )： 陈述的置信度与经验成功率之间的对齐程度（预期校准误差）。
- 判别力 ( $P_{AUROC}$ )： 将成功任务的排名高于失败任务的能力。
- 布里尔分数 ( $P_{brier}$ )： 一种结合了校准度和判别力的适当评分规则。
安全性 (RSaf)： 衡量发生失败时有害行为的严重程度和频率。
- 合规性 ( $S_{comp}$ )： 对预定义约束的遵守情况（例如，不得泄露 PII 信息、不得进行未经授权的删除）。
- 危害严重度 ( $S_{harm}$ )： 以违反行为发生为条件时，负面后果的量级。

实验设置

作者评估了来自三个供应商（OpenAI、Google、Anthropic）的 15 个模型，涵盖了高效型、前沿型和增强推理型层级。评估过程基于两个互补的基准测试进行：

GAIA： 一个通用的助手基准，需要网页浏览、文件操作和多步推理（165 个任务）。
$\tau$ -bench： 一个涉及多轮对话和具有后果性数据库操作的客户服务模拟（受限于经过验证的 26 个任务子集，以避免基准真相错误）。

评估协议包括多次运行执行（K=5）并采用零温度（zero temperature）以隔离采样随机性，提示词扰动（J=5 次改写），故障注入（20% 概率），以及环境扰动。置信度通过事后自我评估进行提取。

3. 关键结果

研究表明，在模型发布的 24 个月期间，可靠性增益明显滞后于能力进展。

总体趋势： 虽然准确率呈现强烈的正向趋势（GAIA 为 $r=0.92$ ， $\tau$ -bench 为 $r=0.86$ ），但整体可靠性增长微乎其微（GAIA 为 $r=0.46$ ， $\tau$ -bench 为 $r=0.86$ ）。提高原始准确率并不保证可靠性的提升。
一致性： 所有模型的输出一致性仍然较低。出现了一个显著的“知其然不知其何时”的模式：智能体能够可靠地选择相似的动作类型（高分布一致性），但在执行顺序上差异巨大（低顺序一致性）。资源一致性也具有高度变异性，尤其是在 GAIA 上。
鲁棒性： 故障和环境鲁棒性表现出天花板效应（大多数模型都能很好地处理这些问题）。然而，提示词鲁棒性仍然是一个关键的分水岭；模型对表层指令改写的敏感性差异很大，尽管它们能优雅地处理技术故障，但仍会在面对自然语言变化时失败。
可预测性： 近期模型（尤其是 Claude）的校准度有了显著改善，置信度估计能更好地匹配成功率。然而，判别力（即识别哪些特定任务会失败的能力）在 GAIA 上停滞不前甚至有所下降，这意味着模型在平均意义上可能是经过校准的，但无法标记单个失败。
安全性： 最新的前沿模型表现出较低的违规率。然而，一旦发生违规，其后果可能非常严重（例如，财务不准确、未经授权的数据泄露）。论文指出，即使是频率极高的极高严重度失败也会带来巨大的成本。
模型类型分析： 可靠性并不随模型规模均匀扩展。虽然更大规模的模型和推理模型在校准度、安全性及鲁棒性方面有所提升，但一致性往往呈现出相反的模式，较小的模型有时能实现更高的一致性。推理模型提升了可靠性，但其提升幅度落后于其准确率的提升。

4. 贡献

本文提供了两个主要贡献：

形式化的分类法与指标套件： 它将定性的安全关键原则转化为十二个可计算的指标，用于独立于任务成功率来评估可靠性。这使得可靠性可以从原始能力中解耦出来。
全面的可靠性剖析： 它绘制了当前技术现状的图谱，指出一致性和可预测性（特别是判别力）是需要立即研究关注的领域，因为它们的进步速度并未随着能力的扩展而同步提升。

5. 意义与建议

论文认为，可靠性必须被视为一个独立的进步维度，而非能力的附属品。作者提出了四项建议：

动态基准测试： 评估必须超越固定环境中的单次运行准确率，转向包括多次运行协议、扰动测试以及能够反映现实世界分布偏移的生成式测试集。
面向可靠性的设计： 智能体架构应明确针对可靠性维度（如一致性、判别力）进行优化，而目前这些维度的提升并不均衡，而非仅仅专注于能力。
治理集成： 可靠性指标应像安全至上的行业一样，为部署治理提供依据。组织在将智能体从试点阶段提升到生产阶段之前，应要求其达到一致性和安全性的最低阈值。
自主性扩展要求： 可靠性要求必须随自主程度的增加而扩展。处于增强设置（人机协作）中的智能体可以容忍较低的可靠性，而完全自主的智能体则需要严格的可靠性保证。

作者总结道，虽然他们的具体分解方式可能只是众多框架之一，但核心视角的转变——从问“智能体成功的频率是多少？”转变为“它的行为有多可预测、多一致、多鲁棒以及多安全？”——对于在涉及高风险的场景中安全部署 AI 智能体至关重要。他们强调，可靠性评估应当作为人类监督和沙盒测试等谨慎部署实践的补充，而非替代。