Fail-Closed Authorization for Tool-Using AI Agents: A Capability Contract and Case Study
本文介绍了智能体安全合约（Agent Security Contract, ASC），这是一种针对使用工具的 LLM 智能体的“默认拒绝”授权框架，该框架通过受策略约束的工具白名单和经过完整性检查的证据来执行执行前门控，并通过静态追踪评估证明了更新后的策略版本在有效阻断对抗性攻击的同时，与早期迭代相比最大限度地减少了误报。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下这样一个数字助手：它不仅仅能回答问题，还能实际打开文件、发送电子邮件并在你的电脑上运行命令。这就是现代 AI 智能体（AI agents）所承诺的前景，但这也带来了一个危险的新现实：如果攻击者诱导 AI 将一个有害的命令误认为是合法的建议，AI 可能会毫不犹豫地执行。核心问题不在于 AI 产生了困惑，而在于它缺乏一个可靠的守门人来在每一步行动发生前进行检查。在计算机安全领域，最安全的方法是假设在获得明确许可之前，任何操作都是被禁止的，这一原则被称为“失效关闭”（fail-closed）。如果守门人无法验证请求，它必须直接拒绝，而不是冒着让黑客窃取数据或删除重要系统的风险去尝试。
一位名叫安德烈·莱斯尼科夫（Andrey Lesnikov）的研究员构建了一个名为“智能体安全契约”（Agent Security Contract）的系统来充当这个守门人。该系统并不试图猜测 AI 的想法或分析对话的语气，而是作为一个严格的、执行前的检查点。在 AI 被允许使用工具之前，系统会检查一份数字契约，其中准确列出了哪些工具是被允许的、它们可以接受哪些参数，以及哪些操作需要人类先签字批准。该系统通过将 AI 提议的操作与一份固定的、不可更改的已批准工具列表进行比对来工作。如果工具不在列表中，或者参数看起来可疑，该操作会被立即拦截。如果涉及危险操作，例如删除文件或转账，系统会暂停并要求进行带外（out-of-band）的人类审批，从而确保高风险决策绝不会仅由机器独自做出。
为了测试这种方法是否真的有效，莱斯尼科夫并没有在真实的实时环境中运行 AI，因为那太危险了。相反，他创建了一系列记录好的场景，包括无害的任务和旨在绕过安全机制的复杂攻击。他在这些记录的场景中逐版本运行他的系统，观察守门人的反应。在初始版本中，系统拦截了大多数明显的攻击，但漏掉了一些巧妙的诡计，例如将恶意命令隐藏在文件路径中，或使用特殊字符来逃避安全规则。在发现这些漏洞后，研究人员收紧了规则。更新后的系统学会了识别并拦截这些特定的绕过手段，例如防止 AI 读取敏感的密码文件，或使用 shell 命令在允许的工作空间之外进行导航。
结果表明，该系统在阻止未经授权的操作方面非常有效，但也伴随着权衡。在一次涉及一百多个记录任务的测试中，严格的新规则拦截了几乎所有的攻击尝试。然而，由于一些任务使用的参数超出了严格规则的预期，系统也拦截了大量的无害任务。例如，如果一个任务尝试在不附带文件的条件下发送电子邮件，而系统配置为必须附带文件，那么该任务就会被拦截，尽管它是安全的。研究人员发现，仅仅列出允许的工具名称是不够的；系统需要检查每个参数的细节。然而，当规则调整到能够理解哪些参数是可选的时，系统就能区分安全与不安全的行为，而不会拦截那些无害的操作。
最重要的发现之一是，该系统拦截攻击的能力完全取决于规则编写得多么仔细。当研究人员使用来自另一个项目的真实世界攻击目标来测试该系统时，系统成功阻挡了几乎所有攻击，但这仅仅是因为规则要求任何改变数据或发送消息的行为都必须经过人类批准。系统并没有神奇地理解什么是合法的电子邮件，什么是网络钓鱼攻击；它只是执行了这样一条规则：任何此类行为都需要人类说“是”。这凸显了一个关键的局限性：系统的强度完全取决于它所执行的契约。如果契约过于宽松，AI 仍可能造成伤害；如果契于过于严格，则会阻碍 AI 完成其工作。
该研究还测量了这种安全检查为过程增加了多少时间。该系统运行速度极快，决定允许或拦截一个动作所需的时间不到百分之一秒。这意味着这种速度上的提升意味着安全检查不会减慢 AI 的工作进度，使其在实际应用中具有可行性。然而，研究人员指出，该系统并非一个完整的解决方案。它无法阻止 AI 以一种有害的方式使用被允许的工具，例如向一个安全的地址发送包含病毒的消息。它也无法保护那些已经被黑客控制了运行 AI 的计算机。该系统是一个针对特定任务的特定工具：确保每一次工具调用都符合预先批准的计划。
最终，这篇论文证明了，一套简单、僵化的规则可以有效地防止 AI 执行未经授权的命令。该系统通过在不确定时拒绝行动来运作，这是一种优先考虑安全性而非便利性的策略。虽然当前版本需要精心的设置，并且有时会显得过于谨慎，但研究表明，通过更好的规则和人类监督，我们完全可以构建一道可靠的屏障，将 AI 与其控制的系统隔离开来。这项工作表明，安全 AI 智能体的未来不在于更聪明的 AI，而在于更严格、更简单且更透明的守门机制。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。