💻 computer science

Position: A Three-Layer Probabilistic Assume-Guarantee Architecture Is Structurally Required for Safe LLM Agent Deployment

本立场论文认为，大语言模型代理的安全部署在结构上需要一种基于三层、基于合同的概率架构，以分别保障语义意图、环境有效性和动态可行性这三个不同的安全维度，因为没有任何单一抽象层能够同时保证这三者。

原作者： S. Bensalem, Y. Dong, M. Franzle, X. Huang, J. Kroger, D. Nickovic, A. Nouri, R. Roy, C. Wu

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： S. Bensalem, Y. Dong, M. Franzle, X. Huang, J. Kroger, D. Nickovic, A. Nouri, R. Roy, C. Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对该论文的解读。

核心问题：一道安全护栏远远不够

想象你正在雇佣一位非常聪明但稍显不可预测的机器人管家来打理你的家。你给它列出了一份任务清单：“去厨房，拿水，然后带给奶奶。”

论文认为，试图仅靠一道安全检查（比如一个单一的“停止”标志或一本单一的规则手册）来确保这个机器人的安全，在结构上是不可能的。无论你让这道检查变得多么智能，它总会在某个时刻失效，因为该机器人在三个不同的时间点面临着三种不同类型的危险。

这就像机场的三级安检通道。你无法在同一瞬间检查乘客的护照、行李以及他们驾驶飞机的能力。你必须按顺序逐一进行。

三层安全架构

作者提出，我们需要三个 distinct 的“安全层”，每一层在不同的时间检查不同的事物。他们将其称为三层概率架构。

1. 用户层：“意图检查”（在机器人移动之前）

检查内容：计划是否合理？是否有礼貌？是否遵守了规则？
类比：想象一位人类编辑在你发布故事之前阅读它。他们会检查：“你让机器人去拿水了吗？是的。你让它伤害奶奶了吗？没有。这个计划合乎逻辑吗？”
为何需要独立的一层：机器人尚未移动。它不知道走廊是否被堵塞，也不知道外面是否在下雨。它只知道你说了什么。这一层能阻止机器人甚至开始执行一个糟糕的计划（例如“带着摄像头进入浴室”）。

2. 操作层：“世界检查”（在机器人行动之前）

检查内容：此时此刻，这个世界对该计划是否安全？
类比：想象一位交通指挥官正在查看实时雷达。编辑已经批准了“开车去厨房”的计划，但交通指挥官看到一棵大树倒在了走廊里。他们会说：“停下！你现在不能去那里。”
为何需要独立的一层：编辑（第 1 层）看不到那棵树，因为在制定计划时它还不存在。机器人需要观察当前的世界（传感器、摄像头），以确认是否安全可行。

3. 功能层：“动作检查”（在机器人移动过程中）

检查内容：机器人此刻的移动是否安全？
类比：想象车内的安全带和安全气囊系统。即使计划是好的，道路也是畅通的，一阵突如其来的狂风也可能把车推偏。这一层是能够瞬间纠正机器人移动以避免碰撞的物理机制。
为何需要独立的一层：交通指挥官（第 2 层）无法预测机器人此刻是否会突然打滑，或者是否有人突然走到机器人面前。这一层会对物理现实做出即时反应。

为何不能将它们合并

论文提出了一个强有力的数学主张：你不能将这三层合并为一层。

“时间旅行”问题：要检查“世界”（第 2 层），你需要看到世界。但要检查“意图”（第 1 层），你需要在看到世界之前完成检查。如果你试图同时做这两件事，你要么是在检查意图时太晚了（机器人可能已经开始移动），要么是在检查世界时太早了（在你真正知道世界看起来像什么之前）。
“黑盒”问题：机器人（大语言模型）是不可预测的。它可能会产生幻觉或犯错。如果你依赖一张巨大的安全网，而这张网有一个洞，整个系统就会失败。通过设置三张独立的网，如果其中一张有洞，其他的网仍可能 catches 住错误。

“契约”系统

作者建议这些层之间应通过契约进行交互。

第 1 层签署一份契约，承诺：“我保证该计划在思考层面是安全的。”
第 2 层签署一份契约，承诺：“我保证该世界在进入层面是安全的。”
第 3 层签署一份契约，承诺：“我保证该动作在执行层面是安全的。”

如果第 1 层违反了契约，第 2 层甚至无需进行检查。如果第 2 层违反了契约，第 3 层会立即停止机器人。这就形成了一个安全链条，其中总安全性是三层协同工作的乘积。

剩余的挑战

论文承认，这是一份蓝图，而非成品。在将其投入实际应用之前，还有三大障碍需要解决：

概率计算：很难计算出每一层“有多安全”的确切数学值，因为机器人的行为每次都在变化（它不像抛硬币那样固定）。
规则漂移：如果机器人的环境发生变化（例如家具移动了），安全规则可能需要优雅地调整，而不会破坏整个系统。
团队协作：该系统是为单个机器人设计的。如果你有一个机器人团队彼此交流，它们可能会互相欺骗，而我们目前还没有针对这种情况的安全层。

总结

论文指出：停止尝试为 AI 机器人构建一个巨大的“安全盾牌”。 相反，应构建三个独立的、专业化的盾牌，并按特定顺序工作：

检查计划（这个想法好吗？）
检查世界（环境安全吗？）
检查动作（移动安全吗？）

只有将这些检查分开，我们才能真正保证 AI 机器人不会伤害任何人。

技术摘要：面向安全大语言模型（LLM）代理部署的三层概率性假设 - 保证架构

1. 问题陈述

在安全关键场景中部署大语言模型（LLM）代理，对运行时保障提出了结构性挑战，这一问题无法通过单层执行机制解决。与静态文本生成不同，LLM 代理参与闭环执行，其生成的计划会影响物理世界及未来的观测。本文认为，安全运行需要同时满足三个截然不同的维度：

语义意图与策略合规性：与用户指令、伦理约束及领域规则保持一致。
环境有效性：验证当前世界状态是否处于运行设计域（ODD）内。
动力学可行性：确保执行轨迹满足物理安全约束（例如，避障、力限制）。

核心问题在于，这三个维度依赖于严格不同的信息集，且这些信息集在执行的各个阶段依次可用。语义意图是先验已知的；环境有效性需要执行时的传感器数据；而动力学可行性则取决于执行过程中的控制回路轨迹。本文提出，任何将这些维度坍缩为单一抽象层的架构，必然导致至少一个维度无法获得认证，因为没有任何单一护栏能同时获取所有三个维度所需的信息。来自基准测试（如 AgentSafetyBench）的经验证据支持了这一观点，显示安全故障主要集中在环境和物理维度，这些维度超出了纯语义控制的能力范围。

2. 方法论：基于合同的三层架构

为了解决这种结构性不足，本文提出了一种三层概率性假设 - 保证（A/G）架构。该框架将安全视为概率性合同的组合，而非确定性证明，其中每一层基于该阶段可用的信息来执行特定的安全维度。

该架构由三个顺序组合的层组成，每层由一个合同 $\Sigma_i = (A_i, \Gamma_i)$ 定义，其中 $A_i$ 是对输入的假设， $\Gamma_i$ 是对输出的概率性保证：

第 1 层：用户保障层（ $\Sigma_U$ ）
- 信息集（ $I_U$ ）：用户意图、策略、角色元数据及伦理规则。此时尚无世界观测数据。
- 功能：根据语义对齐（认知、监管、伦理）和用户授权，验证生成的计划 $p$ 。
- 合同：如果请求已获授权（ $A_U$ ），该层保证计划仅针对授权位置且不包含任何策略违规（ $\Gamma_U$ ）。此保证作为下一层的假设。
- 机制：利用神经符号方法将非正式的意图和策略约束形式化。
第 2 层：运行保障层（ $\Sigma_O$ ）
- 信息集（ $I_O$ ）：估计的世界状态 $\hat{w}$ 、传感器数据 $\xi$ 及 ODD 规范。
- 功能：确定代理是否被认证可在当前世界状态下行动，并定义自主性包络（例如，速度限制、允许执行的动作）。
- 合同：假设计划已通过用户层（ $A_O \equiv \Gamma_U$ ），该层保证执行保持在 ODD 内（ $W_{ODD}$ ），并阻止违反 ODD 约束的子计划（ $\Gamma_O$ ）。
- 机制：采用对世界状态估计的确定性有效性检查以确保可审计性，同时处理上游的概率不确定性。
第 3 层：功能保障层（ $\Sigma_F$ ）
- 信息集（ $I_F$ ）：完整状态轨迹 $x(t)$ 、控制输入 $u(t)$ 及系统动力学。
- 功能：在执行过程中以控制回路频率强制执行安全。
- 合同：假设运行层有效（ $A_F \equiv \Gamma_O$ ），该层保证无碰撞并遵守物理约束（例如，力限制）（ $\Gamma_F$ ）。
- 机制：结合基于规范的运行时监控（信号时序逻辑）、用于最小干预的控制障碍函数（CBFs）以及基于仿真的综合方法。

组合安全边界：
系统级安全概率通过概率链式法则推导得出。由于 $\Gamma_U \implies A_O$ 且 $\Gamma_O \implies A_F$ ，系统安全的概率为：
$Pr(\text{safe}) = p_U \cdot p_{O|U} \cdot p_{F|OU}$
其中 $p_{O|U}$ 和 $p_{F|OU}$ 是反映上游过滤有效性的条件概率。本文提供了该边界的四种表征（B1–B4），范围从保守的 Fréchet–Bonferroni 下界（仅使用边缘概率）到精确的链式法则分解（B4），后者允许进行模块化、逐层的认证。

3. 主要贡献

三层结构的论证：本文提供了形式化证明（附录 B），表明三个独立认证的阶段在结构上是必要的。它证明，任何少于三层的架构要么违反信息可用的因果时间线（例如，在传感器数据存在之前就认证运行安全），要么在单一组件内隐式重构三阶段结构，从而丧失组合可验证性。
信息驱动的分解：与以往基于流水线工件（如目标、计划、工具）的分类法不同，该架构由信息可用的时间顺序（ $I_U \subset I_O \subset I_F$ ）驱动。这一区别确保了各阶段的认证依赖于正确的信息域。
概率性假设 - 保证框架：本文将 A/G 合同适应于 LLM 代理的非平稳、非独立同分布（non-i.i.d.）特性。它超越了二元保证，转向概率边界，承认 LLM 输出本质上是随机的，且环境是不确定的。
双向保障回路：该架构被设计为一个实时回路，其中安全信号（ $s_F, s_O$ ）自下向上传播。如果底层检测到违规（例如，碰撞风险），它将触发用户层的计划重算，而不仅仅是停止执行。

4. 结果与分析

作为一篇立场论文，该工作未提出新的经验基准，而是综合现有文献以支持其结构性主张：

基准一致性：本文指出，当前代理（如在 AgentSafetyBench 上）在行为和环境安全方面（30.4%）的失败率显著高于内容安全（68.4%），这与单层语义护栏不足的论点一致。
理论边界：本文推导了系统安全的数学边界（B1–B4）。通过一个运行示例（护理机器人）说明，如果上游过滤有效，链式法则边界（B4）可产生显著更高的安全概率（例如 0.857），而朴素边缘概率乘积仅为 0.787。
敏感性分析：分析表明，系统对最薄弱的层敏感；某一层概率的下降会以乘积方式降低整个系统边界，其他层的加强无法弥补某一层的缺口。

5. 意义与开放问题

本文声称，所提出的三层架构是安全 LLM 代理部署的最小可行认证结构。它认为，该领域目前产生安全机制的速度快于对其进行组合和认证的理论基础设施。

本文明确指出了从该理论框架过渡到可部署标准必须解决的三个开放问题：

从非独立同分布轨迹中估计边界：标准统计方法（如 PAC 边界）失效，因为 LLM 轨迹是非平稳且相关的。需要新方法（例如，鞅边界、针对非交换数据的保形预测）来估计条件概率 $p_{O|U}$ 和 $p_{F|OU}$ 。
部署漂移下的优雅降级：当前合同是脆弱的；如果假设被违反，保证将变得空洞。本文提出了“鲁棒合同”，允许在假设轻微被违反时按比例降级保证，从而在分布偏移期间实现受控运行。
扩展到多代理场景：当前框架针对单代理。多代理系统引入了新的故障模式（例如，跨代理的信念操纵），这需要第四个信息域（代理间消息的溯源）以及修订后的认证结构。

总之，本文断言，安全的 LLM 代理部署不仅仅是构建更强护栏的工程挑战，更是对尊重信息因果顺序的分阶段、基于合同的架构的结构性要求。所提出的框架为动态、不确定环境中的模块化、组合式安全认证提供了必要的理论基础。