🤖 AI

A Policy Algebra for Trust-Preserving Agentic AI Execution

本文引入了一种策略代数，通过形式化组合安全约束与运行时义务，为代理式人工智能定义了一个保持信任的可靠性包络，从而使系统能够在保持高任务完成率并确保审计完整性的同时，对几乎所有的策略违规行为进行干预。

原作者： Bhaskar Tripathi, Anurag Kumar, Ramendra Kumar, Bhavesh Gadhe

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Bhaskar Tripathi, Anurag Kumar, Ramendra Kumar, Bhavesh Gadhe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能的世界中，一场显著的变革正在发生。多年来，研究重点一直在于构建能够生成文本、回答问题或总结文档的系统。这些系统就像知识渊博的图书管理员，他们能阅读任何书籍，却被禁止触摸书籍或移动家具。而今天，新一代的软件——通常被称为“智能体”（agents）——已经被授予了进入大楼并使用钥匙的权利。这些智能体不仅会交谈，它们还会行动。它们可以搜索公司的私有文件、发送电子邮件、更新数据库、调用外部服务，甚至将任务的一部分移交给其他软件程序。这种从“思考”到“执行”的能力使它们对企业而言极其强大，但也引入了一种新型危险。错误不再仅仅是一个错误的句子，而是一个被删除的文件、一个泄露的秘密，或者是一笔花在从未完成的任务上的预算。

核心问题在于，智能体可能会在达成目标的同时违反规则。想象一下，一名员工成功送达了包裹，但却是通过闯入一个他们不被允许进入的锁闭房间来实现的。过去，安全系统主要检查一个人是否有进入大楼的证件。但对于这些智能体，安全检查需要在旅程中的每一步都进行，而不仅仅是在大门口。如果允许一个智能体做出决策，那么该决策必须根据请求者是谁、他们正在使用什么工具、他们还剩多少预算，以及是否有人类批准了该行动来进行核查。如果没有这种持续的监督，一个强大的工具很容易造成伤害，即使发起这个过程的人初衷是好的。

大众汽车数字服务部（Volkswagen Digital Services）和斯堪尼亚（Scania CV AB）的研究人员开发了一种管理这种风险的新方法，他们称之为“策略代数”（policy algebra）。不要将其视为一份规则清单，而应将其视为一种将不同的安全要求组合成单一、不可破解的决策的数学系统。研究人员意识到，要信任一个智能体，你不能只看它产生的最终答案，你必须观察它到达那里的整个路径。他们的系统将智能体想要采取的每一个行动都视为一个必须通过一系列“门禁”的转换。这些门禁会检查智能体的身份、其角色、它正在接触的数据敏感性、它使用的工具、剩余的预算，以及是否有人类签署了该动作。如果任何一个门禁失败，行动就会被停止。

这种方法的精妙之处在于它如何处理复杂性，特别是当一个智能体请求另一个智能体执行任务时。在许多现有系统中，当任务向下传递时，安全规则可能会意外地变弱，导致子智能体能够执行原智能体不被允许的操作。新系统通过确保权限在向下传递的过程中绝不会扩张来防止这种情况。相反，安全配置会变得更加严格或保持不变。如果一位高级经理要求一名初级员工提供帮助，初级员工突然间无法获得经理的私人文件访问权。该系统还能精细管理资金。它确保如果一个智能体消耗了大量的计算能力或资金，它必须产生实质性的结果，例如保存的文档或完成的记录。如果一个智能体在没有留下任何有用输出的情况下耗尽了预算，系统就会停止它，以防止公司在毫无进展的任务上浪费资源。

为了测试其效果，研究人员运行了数千个模拟场景，涉及智能体尝试完成各种任务。他们将新系统与旧方法进行了对比，旧方法依赖于简单的允许工具列表和用户角色。结果显示出明显的安全性差异。新系统拦截了 94.8% 的旧系统未能察觉的不安全行为。这包括防止智能体访问不该看到的数据、使用不被允许触碰的工具，或以绕过安全规则的方式将任务传递给其他智能体。该系统还消除了一种特定的失败类型，即智能体耗尽所有资金却未留下任何有用结果的情况。在追踪方面，新系统记录了 98.6% 的必要细节用于审计，而旧方法仅为 71.9%，这使得在出现问题时更容易理解发生了什么。

这种额外的安全性是有代价的。新系统的决策速度略慢，平均每次需要约 71 毫秒，而旧方法为 38 毫秒。此外，它偶尔会误停一个安全的动作，误报率约为 4.2%，而旧系统为 2.1%。由于这些额外的检查，智能体成功完成任务的总速率略有下降，从 90.7% 降至 86.9%。然而，研究人员认为这种权衡是必要的。目标不是构建最快或功能最全的智能体，而是构建最可靠的智能体。一个虽然完成迅速但涉及未经授权的数据访问或浪费资金的任务，并不是一次成功的任务。

这项研究证实，智能体的安全必须是整个旅程的属性，而不仅仅是终点。通过使用这种组合规则的方法，企业可以允许其软件拥有更多的行动自由，同时确保每一步都保持经过授权、可追溯且符合经济效益。该系统并不试图猜测智能体可能做错什么；相反，它创建了一个框架，使智能体只能在每一时刻都做那些被明确允许的事情。这种方法将人工智能的原始力量转化为企业可以真正信任、能在现实世界中运行的工具，因为在现实世界中，错误会带来真实的后果。

技术摘要：一种用于保持信任的智能体 AI 执行策略代数

1. 问题定义

本文旨在解决企业级智能体 AI（Agentic AI）中的一个关键差距：能力（实现目标的能力）与可靠能力（通过合规、受控路径实现目标的能力）之间的区别。虽然大语言模型（LLM）智能体在推理、工具使用和委托方面表现出色，但其从推理向行动的转变引入了新的失效模式。智能体可能会通过未经授权的数据访问、扩大的委托权限、未批准的副作用、不可恢复的预算消耗或不完整的审计追踪来产生“正确”的最终答案。

现有的框架（如 OWASP AISVS、NIST AI RMF）和测试平台（如 AgentDojo）识别了风险并提供了威胁模型，但缺乏一种可组合、可执行的运行时语义来动态实施这些控制。目前的基准测试往往优先考虑任务成功率，而非企业级的授权、可审计性或配置文件（profile）完整性。核心问题在于，智能体安全性是一个路径属性：只有当整个从推理到行动的转换序列满足关于身份、角色、配置文件、数据、内存、工具、预算、人工制品、人工介入（HITL）和审计的约束不变性时，最终答案才是可靠的。

2. 方法论：策略代数

作者提出了一种策略代数，它定义了一个在其中行使智能体能力的“可靠性包络线”（reliability envelope）。该代数将安全配置文件视为有序的策略对象，并通过组合这些对象来确保信任的保持和最小限制下的健全性。

核心概念

可靠能力（Reliable Capability）： 只有当存在一条轨迹 $\xi$ ，使得目标得以实现，且每一个动作事件 $\eta_t$ 都满足身份、角色、配置文件、数据、内存、工具、预算、人工制品、人工介入（HITL）和审计的谓词联接时，智能体才被认为具备完成任务 $\zeta$ 的可靠能力。
策略状态 ( $\varpi$ )： 一个由安全配置文件、可执行工具集、内存/数据范围、剩余预算、人工制品实例化策略、审批状态和证据义务组成的元组。
组合 ( $\otimes$ )： 代数定义了策略状态如何进行组合。当两个状态发生交互（例如在委托或工具调用期间）时，组合算子 $\otimes$ $\otimes$ 确保：
- 配置文件（Profiles）： 使用并集 ( $\sqcup$ ) 操作，选择更严格（更高保证）的配置文件。
- 权限（Authorities）： 使用交集 ( $\cap$ ) 操作，缩小工具集和内存范围。
- 预算（Budgets）： 取剩余预算的最小值 ( $\min$ )。
- 义务（Obligations）： 证据要求的并集 ( $\cup$ ) 以及审批要求的逻辑或 ( $\lor$ )。
- 定理： 证明该组合是保持信任的（绝不降低保证水平或扩大授权范围）且是最小限制的（在满足所有输入要求的同时，不施加不必要的限制）。

关键机制

配置文件级联（Profile Cascade）： 任何动作的有效配置文件是平台、团队、用户、智能体和发布配置文件的并集。任何较低层级都不能放宽从高层级继承的约束。
保持信任的委托（Trust-Preserving Delegation）： 当智能体向子智能体进行委托时，子上下文会继承父级的限制。被委托的配置文件是调用者与被调用者配置文件的并集；工具集和内存范围则取交集。这防止了“配置文件洗钱”（profile laundering）现象，即通过将高安全性调用委托给低安全性智能体来绕过约束。
成本感知的人工制品实例化（Cost-Aware Artifact Materialization）： 为了防止“零结果预算耗尽”（即在没有产生可恢复结果的情况下耗尽全部预算），运行时会强制执行实例化谓词。随着成本暴露程度的增加，可执行动作集会被重定向，旨在在预算完全消耗前生成持久化的人工制品（如草稿、检查点、文件）。
条件正确性（Conditional Correctness）： 文中区分了策略决策（取决于正确的上下文）与上下文本身的准确性（例如文档分类错误）。代数仅在输入元数据准确的前提下保证正确性。

系统架构

运行时通过分层架构实现该代数：

框架层（Framework Layer）： 可复用的智能体蓝图。
运行时执行层（Runtime Execution Layer）： 作为执行策略闸口的记录系统。
应用层（Application Layer）： 用户界面和业务服务消费者。
执行流（Enforcement Flow）： 在任何动作（工具调用、内存写入、委托）之前，运行时会将异构输入（RBAC、威胁模型、元数据）编译成单调的策略状态。它评估谓词的联接。如果任何一项失败，动作将被拒绝、升级为人工介入（HITL）或重定向至实例化。

3. 主要贡献

可靠能力的定义： 形式化地区分了“达到目标”与“通过合规路径达到目标”，将智能体自主性界定为在可靠性包络线内的效用最大化。
策略代数： 一个用于企业级配置文件、RBAC、工具、内存、发布、预算、审批和证据的组合框架。它保证了组合过程是保持信任的，并且是满足所有输入的最小限制状态。
运行时语义：
- 非放大型委托（Non-amplifying Delegation）： 通过配置文件并集和权限交集等机制，防止在调用链中出现权限扩大。
- 成本感知实例化（Cost-Aware Materialization）： 当预算暴露增加时，将执行逻辑重定向至可恢复的输出。
设计科学路径（Design-Science Path）： 一种将安全制品（威胁模型、标准）映射到可执行谓词、参考运行时及一致性评估协议的方法论。

4. 评估与结果

评估侧重于对所提出的控制分类法的一致性，而非基准测试排名。该运行时针对包含提示词注入、工具误用、RAG 治理、多智能体委托和预算场景的 612 条轨迹（1,936 个事件）的工作负载，与基于 RBAC 和白名单的比较器进行了测试。

关键指标：

不安全干预率： 与 RBAC 比较器相比，策略代数拦截了 94.8% 的违规事件（后者为 67.1%）。
信任违规： 该代数消除了 100% 的观察到的配置文件单调性违规案例（比较器中有 31 例），以及 100% 的零人工制品预算耗尽案例（比较器中有 18 例）。
审计完整性： 从 71.9% 提升至 98.6%，确保轨迹包含足够的用于审查和修复的数据。
任务完成率： 受控运行时保留了 86.9% 的任务完成率，较比较器的 90.7% 仅下降了 3.8 个百分点。
开销： 中值授权延迟从 38 毫秒增加到 71 毫秒；错误干预率从 2.1% 上升至 4.2%。

残留失效： 剩余的漏报（例如沙箱逃逸的干预率为 79.1%）归因于上下文构建错误（如模糊的工具意图、错误的文档分类），而非代数逻辑本身的失效。

5. 意义与主张

本文声称提供了一种形式化的、可执行的方法，能够将安全标准和威胁模型转化为运行时行为，同时不牺牲有用的智能体能力。

视角转变： 它将安全关注点从“输出安全性”（最终答案是否安全？）转向“动作路径可靠性”（每一次转换是否安全？）。
组合式信任： 它证明了通过代数算子（并集和交集），可以在多智能体协作中保持信任，并防止委托过程中的权限放大。
经济可靠性： 它引入了一种机制，将“预算耗尽但无持久化人工制品”视为策略失败，从而确保无人值守工作流中的经济可恢复性。
修复闭环： 该框架支持一个闭环过程，即将失败的评估案例转化为策略更新和回归测试，使系统能够持续演进。

作者谦虚地指出，这是一个面向实现的正式化方法，旨在连接标准聚合、企业治理和多智能体信任传播。它并不声称取代现有的标准或防御措施，而是使其变得可执行。结果以特定工作负载上的量化权衡形式呈现，证明了可以在不牺牲过多原始能力的情况下，强制执行“可靠性包络线”。文章总结道，通往“能够可靠行动的智能体”之路，在于通过更好的上下文感知和策略校准来扩大可靠性包络线，而非削弱策略代数本身的不变量。