🤖 AI

Efficient and Sound Probabilistic Verification for AI Agents

本文引入了一个基于分布鲁棒优化的可靠且高效的框架，该框架通过计算策略违规概率的严格上界，实现了对人工智能智能体的概率验证，且无需依赖独立性假设，从而在安全性与效用权衡方面优于以往的方法。

原作者： Alaia Solko-Breslin, Pramod Kaushik Mudrakarta, Mihai Christodorescu, Somesh Jha, Krishnamurthy Dj Dvijotham

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Alaia Solko-Breslin, Pramod Kaushik Mudrakarta, Mihai Christodorescu, Somesh Jha, Krishnamurthy Dj Dvijotham

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一个智商极高但有点紧张的小型机器人助手来帮你管理数字生活。这个机器人可以读取你的文件、发送电子邮件并与其他计算机交谈。你希望它能提供帮助，但你也必须确保它绝不会不小心把你的秘密食谱或私人银行详情发给错误的人。

问题在于，机器人用来检查秘密的工具（比如“敏感数据检测器”）并不完美。有时它们会说：“我有 60% 的把握认为这是一个私密文件”，有时又会说：“我有 40% 的把握”。

旧方法：“非黑即白”的守门人

以前，安全系统就像是一个严格的夜店保安。如果机器人的检测器说：“有 40% 的概率这是私密的”，保安必须做一个二元选择：

选项 A： 忽略这 40% 的风险，让机器人发送文件（这很危险！）。
选项 B： 假设最坏的情况并拦截文件，即使它可能原本是安全的（这很烦人！）。

为了做出这种决定，保安必须设定一个人为的“切分线”。如果风险高于 50%，他们就拦截；如果低于 50%，就放行。这就像试图仅通过说“热”或“冷”来测量房间的温度。你会失去所有的细微差别。如果你有两个消息，每个消息都有 40% 的概率是秘密，旧系统可能会让两个消息都通过，因为它们都没有超过 50% 的界限。但如果你把它们结合起来，泄露秘密的总风险实际上可能会非常高。旧系统漏掉了这一点，因为它是在孤立地观察每一项证据。

新方法：“天气预报员”

这篇论文介绍了一种更聪明、更智能的安全系统。它不再是一个保安，而是一个观察全天预报来预测暴风雨发生概率的天气预报员。

倾听完整的故事： 该系统不再一次只检查一个文件，而是观察机器人的整个旅程（其“轨迹”）。它会问：“如果机器人执行了 A，接着做 B，然后做 C，那么秘密泄露的总概率是多少？”
处理未知情况： 系统知道机器人的工具之间可能是相关的。例如，如果“敏感数据检测器”在处理一个文件时失败了，它在处理下一个类似文件时也可能再次失败，因为它们很相似。旧系统假设每一次错误都是完全随机且独立的“抛硬币”事件。这个新系统则说：“我们不确定这些错误是如何关联的，所以让我们假设最坏的情况，即它们同时发生。”
“可靠性（Sound）”保证： 作者称其方法为“可靠的（sound）”。你可以把它想象成一个安全网。系统计算的是最大可能的风险。如果系统说“风险至多为 30%”，那么你可以 100% 确定实际风险等于或低于 30%。实际风险可能更低（比如 10%），但绝不会更高。这防止了危险行为溜掉导致的“假阴性”问题。

它是如何工作的（神奇的数学）

为了不在计算时冻结机器人的大脑，作者使用了一个被称为**半正定规划（SDP）**的巧妙数学技巧。

问题： 计算每种可能事件组合的精确风险，就像是在涨潮时试图数清沙滩上的每一粒沙子一样，耗时太长。
解决方案： 系统不再去数每一粒沙子，而是观察沙堆的“形状”。它追踪风险的平均值和离散度（方差）。通过关注这些“二阶矩”（一种高级说法，意指“风险是如何波动的”），它可以非常快速地在危险区域周围画出一个紧凑且安全的边界。

结果：更好的平衡

研究人员在机器人必须管理文件和发送电子邮件的真实场景中测试了该系统。他们将这个新的“天气预报员”与以下对象进行了对比：

旧的保安（确定性方法）： 经常拦截安全的动作或错过危险的行为。
“抛硬币者”（蒙特卡洛方法）： 假设所有错误都是随机且独立的。这往往会低估危险，导致安全漏洞。
“超级计算机”（精确优化方法）： 非常准确，但在实时使用时太慢。

胜出者： 这个新的 SDP 系统找到了“金发姑娘区”（即最理想的中间地带）。它运行速度快，足以进行实时操作；它足够安全，能捕捉到几乎所有的泄露（匹配了“超级计算机”）；同时它又足够聪明，能让安全的动作通过（提升了实用性）。

缺陷（局限性）

论文承认了两个主要局限性：

漫长的旅程： 如果机器人的任务非常漫长且复杂，包含许多步骤，那么“最坏情况”的估计会变得非常保守，以至于它直接判定“风险为 100%”，从而拦截一切。这就像一个天气预报员，在经历了一周的阴天后，就开始预测接下来的一个月“一定会下雨”，即便太阳正照耀着大地。
工具混淆： 系统需要确切知道每个工具的功能（例如，“如果我复制一个文件，那么这个副本与原件一样敏感”）。如果机器人使用了一个安全系统无法理解的奇怪自定义脚本，系统就无法进行安全的验证。

总结

简而言之，这篇论文为 AI 智能体提供了一种新型的“安全头盔”。它不再基于摇摆不定的数据做出僵化的二元决策，而是计算出一个保证的风险上限。它通过观察全局情况，并考虑到不同风险之间可能存在的关联，利用智能数学手段来保持快速且安全。这使得 AI 智能体能够既高效有用，又不至于鲁莽行事。

技术摘要：面向 AI Agent 的高效且稳健的概率验证

问题陈述

在复杂的数字环境中部署基于大语言模型（LLM）的 AI Agent 会引入关键的安全风险，特别是当这些 Agent 拥有对终端（terminal）和文件系统等系统接口的程序化访问权限时。虽然通过参考监视器（reference monitors）进行运行时监控是执行安全策略的一种解决方案，但现有方法局限于确定性策略。在实际场景中，Agent 通常依赖于上游组件（例如 PII 检测器、脱敏工具或分类器），这些组件会产生具有固有失败率的概率性输出。

当前的确定性监视器通过应用局部阈值将概率输出转换为二值决策来处理这种歧义性。这种离散化造成了安全与效用（utility）之间脆弱的权衡：

高阈值面临未拦截有害行为的风险（假阴性/漏报）。
低阈值面临拦截安全行为的风险（假阳性/误报）。
独立性假设： 标准的概率推理技术（如加权模型计数，Weighted Model Counting）通常假设基础事实是相互独立的。在 Agent 场景中，这一假设经常失效；例如，脱敏工具在处理一个文件时失败，可能与其在处理另一个文件时失败具有完全的相关性，这是由于共享的内容或工具行为导致的。依赖独立性可能导致在多步工具链调用过程中严重低估风险。

本文旨在提出一种验证框架，该框架能够保留连续的概率上下文，处理谓词之间任意的相关性（而不假设独立性），并在实时环境下提供严谨且稳健的策略违规概率上界。

方法论

所提议的框架将 Agent 的执行过程建模为执行轨迹上的分布鲁棒优化问题（distributionally robust optimization problem）。该方法由四个阶段组成：

1. 概率 Datalog 建模

Agent 的执行轨迹被编译为一个 Datalog 程序，其中：

基础事实 ( $F$ )： 代表初始环境观测（例如“文件 A 包含 PII”），由源自经验工具失败率的边际概率区间 $[\ell_f, u_f]$ 参数化。
规则 ( $R$ )： 将状态转换逻辑（例如数据传播、合并、去标识化）编码为内涵规则（intensional rules）。
推导图： 执行轨迹被转化为一个有向无环图（DAG），其中的节点代表事实，边代表规则的应用。作者证明，任何 Datalog 策略执行都可以被重写，使得每个推导出的事实最多依赖于两个父事实（元数 $\le 2$ ），从而允许通过多线性多项式来表达该逻辑。

2. 精确优化公式化（理论界限）

为了计算策略违规的最坏情况概率，作者在联合概率测度 $\mu$ 的空间上构建了一个精确线性规划（LP）。

目标： 最大化达到不安全状态（例如敏感数据传递给外部接收者）的概率。
约束条件：
- 结构一致性： 测度 $\mu$ 必须将零概率分配给违反 Datalog 规则确定性转换逻辑的状态。
- 边际界限： 测度必须符合已知的基础事实下界和上界。
- 分布鲁棒性： 至关重要的是，该公式对联合分布不做任何假设（不假设独立性、正相关或负相关），除非明确指定。它寻找与边际分布一致的“最坏情况”联合分布。
局限性： 该精确 LP 的规模是指数级的（ $2^{|V_F|}$ ），在实时监控中计算上是不可行的。

3. 半正定规划（SDP）松弛

为了实现运行时的效率，作者引入了一个多项式规模的半正定规划（SDP）松弛。

矩追踪（Moment Tracking）： SDP 不再优化完整的联合分布，而是仅追踪状态分布的一阶和二阶矩（期望和两两相关性）。
线性化： 利用边际区间的 McCormick 包络（McCormick envelopes）对来自协方差约束的非凸二次项进行线性化。
相关性类别： 该框架支持在特定谓词之间设置显式的相关性约束（正相关、负相关、独立），从而允许在拥有领域知识时收紧界限。
稳健性（Soundness）： 作者证明了 SDP 松弛产生的 $R^*_{SDP}$ 是真实执行风险 $R^*$ 的一个稳健上界（ $R^*_{SDP} \ge R^*$ ）。这确保了监视器绝不会漏掉违规行为，即使它偶尔会过度拦截（降低效用）。

4. 运行时强制执行

计算出的上界与全局安全阈值 $\tau$ 进行比较。如果估计风险超过 $\tau$ ，参考监视器将拦截提议的工具调用；否则，允许执行。

核心贡献

概率验证模型： 识别了确定性引擎在处理模糊环境时的安全风险，并引入了一种避免过早二值化的概率验证模型。
精确风险形式化： 通过 Datalog 推导图对多步 Agent 轨迹进行建模，并将计算最坏情况策略违规风险的形式化为对联合测度的精确优化问题。
稳健的 SDP 松弛： 引入了通过追踪二阶矩来高效近似风险的、多项式规模的 SDP 松弛。论文正式证明了该松弛是执行风险的严格上界，在无需独立性假设的情况下确保了稳健性。
实证验证： 在终端 Agent 基准测试（Intercode-NL2Bash, ATBench）和侧信道漏洞任务（Praline）上进行了评估，证明了其相比于现有技术在安全-效用权衡方面的改进。

结果

该框架与三个基准进行了对比评估：Praline（一种具备相关性处理能力的先进 Datalog 推理引擎）、**蒙特卡洛（Monte Carlo）采样（假设严格独立）以及带有局部阈值的确定性（Deterministic）**引擎。

安全-效用权衡： SDP 方法在安全-效用权衡的曲线下面积（AUC）方面始终优于基准。
- 对比蒙特卡洛： 蒙特卡洛实现了高效用，但在安全性方面表现不佳（高漏报率），因为独立性假设低估了最坏情况下的风险，尤其是在输入呈正相关时。
- 对比 Praline： 虽然 Praline 实现了完美的安全性，但它面临求解器超时和在复杂任务中界限过松的问题，导致过多的假阳性（低效用）。SDP 方法在保持完美安全性的同时，实现了更高的效用和更低的延迟。
- 对比确定性引擎： 确定性引擎在两项指标上表现均较差，要么未能拦截不安全行为，要么因阈值处理导致信息丢失而拦截了安全行为。
延迟： SDP 松弛展示了多项式可扩展性。在 Intercode 和 ATBench 基准测试中，SDP 的速度显著更快（例如，在 Intercode 上约为 221ms，而 Praline 约为 1015ms）。在具有许多相关性约束的复杂侧信道任务中，SDP 延迟有所增加，但仍保持可预测性，避免了与精确 SMT 推理相关的指数级尾部延迟和超时问题。
相关性敏感度： 实验表明，随着输入相关性的增加，独立性假设（蒙特卡洛）会导致效用大幅下降（假阳性增加），因为它在高相关性设置中高估了风险（即认为真实的最坏情况界限比实际更紧）。SDP 框架能有效地适应这些约束。

意义与主张

该论文声称提供了从确定性验证到概率验证的范式转变。其主要意义在于弥合了在存在歧义时，稳健性（严谨的安全保证）与可处理性（实时性能）之间的鸿沟。

鲁棒性： 通过利用分布鲁棒优化，该框架确保了无论谓词之间的相关性是否已知，安全保证始终成立，这对于现实世界中 Agent 部署（其中工具失败可能是耦合的）至了一种关键要求。
实用性： SDP 松弛使得在处理连续概率输入时，能够执行复杂的、多步的安全策略，而不会面临精确推理的计算不可行性或独立性假设带来的安全风险。
基础性： 这项工作为保障在模糊环境中运行的自主 Agent 建立了可扩展的基础，超越了启发式防御，转向了形式化的概率强制执行。

作者也承认了局限性，具体而言，在具有高度事实合并的极长执行周期内，风险界限可能会退化（收敛至 1.0），且该方法依赖于预定义的工具语义，这对于 Agent 生成的任意脚本来说可能具有挑战性。然而，该框架被视为迈向实现严谨、可扩展的 Agent 安全的重要一步。