A live agent benchmark of independent action authorization for healthcare AI agents

在人工智能新兴的世界中，一场显著的变革正在发生。计算机不再仅仅是回答问题，它们正开始行动。它们可以调取医疗记录、规划复杂的任务序列，并使用数字工具来完成工作。这种新的能力引发了一场构建基准测试（benchmarks）的竞赛，即旨在衡量这些数字智能体表现如何的标准测试。然而，在如何评估它们方面仍存在一个关键差距。目前大多数测试完全侧重于能力：智能体能否得出正确答案或完成任务？它们很少衡量授权（authorization）：智能体是否有权采取该行动，以及在什么条件下可以采取该行动？在医疗领域，由于失误可能导致严重的后果，了解一个智能体“能”做什么是不够的；我们必须知道它被“允许”做什么。问题在于，添加一个外部安全层——一个在每一步行动发生前进行检查的数字守门员——究竟是让系统变得更安全了，还是仅仅减慢了速度并产生了新的问题。

最近的一项研究试图通过在模拟医疗环境中对人工智能智能体进行实地实验来回答这个问题。研究人员创建了一个受控场景，其中他们保持一切不变——特定的任务、AI模型、给计算机的指令以及可用的数字工具。他们唯一改变的是是否存在一个独立的安全性层来批准或拦截智能体的行动。他们运行了数百个此类模拟护理协调环节，创造了一种让安全层必须基于不完全信息做出决策的情境，就像人类监督员一样。目标是观察这个额外的监督层究竟是防止了危险错误，还是引入了新的错误和延迟。

该实验涉及四种不同的设置。一组智能体遵循严格且不可更改的规则，表现得像一个简单的计算器。另一组是无约束的智能体，可以自由使用任何它想要的工具而没有任何外部检查。第三组使用了相同的无约束智能体，但将其置于一个“安全网关”之后，该系统会在允许行动继续进行之前，根据一套规则审查每一个提议的动作。第四组在那个网关之上增加了一个动态控制器，它可以根据智能体最近的表现来调整其自由度。研究人员在这些设置中运行了576个不同的环节，确保每个场景都在完全相同的条件下进行测试，以进行公平比较。

结果呈现出一个令人惊讶且细致入微的图景。主要的衡量标准是危险行为率，定义为智能体采取的任何违反安全政策的步骤，例如尝试更改明确禁止的药物或在没有适当授权的情况下联系患者。在设有完整安全系统的组别中，危险行为发生的比例为0.7%。而在没有任何安全检查的组别中，该比例略低，为0.4%。两者的差异如此之小，完全可能是由偶然因素造成的，这意味着安全层在统计学上并未减少错误数量。事实上，无约束的智能体甚至从未尝试过测试场景中隐藏的特定违规行为，这表明该AI本身就已经表现得非常谨慎。

虽然安全层并未提高安全性，但它确实带来了明显的成本。在全套治理系统下运行的智能体完成任务所需的时间更长，且需要更多的人力管理。它们在常规任务中的成功率显著下降，并且在决定何时将病例升级给人类医生时准确性降低。此外，系统运行的成本也变得更高。研究人员发现，安全网关和动态控制器增加了可衡量的延迟和工作量，却未能提供可衡量的安全收益。这表明，对于一个已经具备良好对齐性且不太可能犯危险错误的AI模型，添加一个外部的权限检查层可能是一种不必要的负担，它在不捕捉新错误的情况下拖慢了性能。

该研究还强调了此类测试的局限性。这些环节是合成的，意味着它们是计算机生成的场景，而非真实的患者记录，且安全规则是基于固定的指南而非人类医生的复杂判断。研究人员指出，他们测试的AI模型恰好具有极低的基准错误率，这使得安全层很难展示出改进空间。他们警告说，这一结果可能并不适用于其他更容易出错的AI模型或不同类型的医疗任务。研究结果并非证明安全层是无用的，而是表明它们并非一种免费或自动的解决方案。在机构决定为AI智能体添加复杂的安全系统之前，应当首先测量该特定智能体在自身运行时的错误频率。如果智能体本身已经足够安全，那么安全层可能仅仅是一个增加了时间和精力的成本，而无法改变结果。

最终，这项研究为医疗领域AI自主性的权衡提供了一个罕见的受控视角。它挑战了“更多监督等于更安全”的假设。相反，它表明外部安全闸门的价值完全取决于它所守护的智能体的行为。如果智能体已经足够谨慎，闸门可能就是一个瓶颈；如果智能体容易出错，闸门则可能是必不可少的。研究结论认为，机构不应假设安全层是一份无成本的保险单；它们必须测试自己的特定智能体，以观察该层级究竟是捕捉到了错误，还是仅仅减慢了一个本已运作良好的系统。