🤖 AI

ProbGuard: Probabilistic Runtime Monitoring for LLM Agent Safety

本文提出了 ProbGuard，一种针对大语言模型代理的主动式运行时监控框架，它通过构建离散时间马尔可夫链来预测未来行为的安全风险，从而在自动驾驶和家庭机器人等场景中提前干预并显著减少不安全行为。

原作者： Haoyu Wang, Christopher M. Poskitt, Jiali Wei, Jun Sun

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoyu Wang, Christopher M. Poskitt, Jiali Wei, Jun Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 ProbGuard 的新系统，它的任务是给那些由大语言模型（LLM）驱动的“智能体”（Agent）穿上**“防弹衣”，并且是主动式**的防弹衣。

为了让你更容易理解，我们可以把这篇论文的核心思想想象成给一个刚拿到驾照、有点莽撞的“天才司机”配一位经验丰富的“老练副驾”。

1. 背景：为什么需要这位“副驾”？

现在的 AI 智能体（比如能帮你订机票、控制家里机器人、甚至开自动驾驶汽车的程序）非常聪明，但它们有一个致命弱点：它们做事有点像“凭感觉”，而且充满了随机性。

现状（旧方法）： 以前的安全系统像是一个**“事后诸葛亮”**。只有当车已经撞上了，或者机器人已经把微波炉里的金属叉子通电了，系统才会大喊：“哎呀！出事了！”然后试图补救。但这时候，伤害已经造成了。
问题： 这种“亡羊补牢”对于自动驾驶或家庭机器人来说太晚了。我们需要的是在事故发生之前就把它拦下来。

2. ProbGuard 是什么？（核心比喻）

ProbGuard 就像是一位拥有“透视眼”和“概率计算器”的超级副驾。它不直接控制车，但它能时刻盯着司机的操作，并预测未来。

它的工作流程可以分成三步：

第一步：画地图（抽象与建模）

智能体在现实世界里的状态太复杂了（比如车速、距离、温度、物体位置等）。ProbGuard 先把这些复杂信息简化成一张**“符号地图”**。

比喻： 就像把复杂的城市交通图简化成只有“红灯”、“绿灯”、“堵车”、“畅通”几个状态的简单示意图。它只关心那些跟安全有关的关键点。

第二步：学经验（学习 DTMC）

系统会先观察智能体在安全环境下跑了很多次，记录下它是怎么从一个状态跳到下一个状态的。然后，它用数学方法（离散时间马尔可夫链，DTMC）画出了一张**“行为概率图”**。

比喻： 就像老教练看了一万次新手司机的驾驶录像，总结出：“当司机在路口加速且前方有车时，有 80% 的概率会在 3 秒后急刹车，有 20% 的概率会追尾。”它学会了行为的规律和概率。

第三步：预判未来（运行时监控）

这是最精彩的部分。当智能体正在执行任务时，ProbGuard 会实时看着它，并问自己：“根据刚才的路线和现在的状态，它未来撞上东西的概率有多大？”

比喻： 副驾看着司机正在加速冲向一个繁忙的路口，虽然还没撞，但副驾心里算了一笔账：“照这个速度，10 秒后撞车的概率是 90%！”
行动： 一旦这个概率超过了设定的警戒线（比如 80%），ProbGuard 就会立刻介入。它不会等车撞了才喊，而是提前 30 秒（甚至更久）就提醒司机：“嘿，前面危险，减速！”或者直接把方向盘抢过来修正一下。

3. 它有多厉害？（实验结果）

论文在两个领域做了测试：

自动驾驶汽车：
- 效果： 它能提前38 秒预测到可能会违反交通规则或发生碰撞。
- 比喻： 就像在高速公路上，别的车还没发现前方有事故，你的副驾已经提前 30 秒告诉你：“前面要堵死了，快变道！”这给了司机巨大的反应时间。
家庭机器人（比如帮你做家务的机器人）：
- 效果： 它能把机器人做危险动作（比如把金属勺子放进微波炉）的概率降低65%，同时还能保证机器人**80%**的任务能顺利完成。
- 比喻： 它既防止了机器人把厨房炸了，又没有因为太胆小而让机器人啥都不敢干（比如不敢开微波炉）。它在“安全”和“能干”之间找到了完美的平衡。

4. 为什么它比以前的方法好？

以前的方法（AgentSpec 等）： 像是**“红绿灯”**。只有当车闯了红灯（违规发生）或者马上就要闯红灯时，才亮红灯。
ProbGuard： 像是**“导航仪 + 气象预报”**。它不仅能看到现在的红灯，还能根据云层（概率模型）预测：“虽然现在是绿灯，但前面 500 米马上要变红灯了，而且你现在的速度根本停不下来，现在就该减速了。”

5. 总结

ProbGuard 就是一个给 AI 智能体加装的**“概率预警系统”**。

它不靠死记硬背的规则，而是靠学习和计算概率。
它能在灾难发生前的很久就发出警告。
它既保护了安全，又没把 AI 变得笨手笨脚。

这就好比给一个充满潜力但有点鲁莽的“天才少年”（AI 智能体），配了一位懂数学、有远见、且极其谨慎的“人生导师”（ProbGuard），确保他在探索世界时，既能大展身手，又不会掉进悬崖。

ProbGuard：LLM 代理安全性的概率运行时监控技术总结

1. 研究背景与问题定义

背景：
大型语言模型（LLM）代理正广泛应用于机器人、虚拟助手和 Web 自动化等关键领域。然而，LLM 代理的决策具有随机性（Stochastic）和适应性，导致其难以在预执行阶段完全预测。现有的运行时监控框架（如 AgentSpec、GuardAgent）主要依赖**反应式（Reactive）**规则，即仅在违规行为即将发生或已经发生时才进行干预。

核心问题：
反应式监控缺乏时间前瞻性（Temporal Foresight），无法处理长程依赖（Long-horizon dependencies）带来的风险。例如，在自动驾驶中，当碰撞不可避免时再报警为时已晚。系统需要在代理进入不安全状态之前，识别出高风险轨迹并提前干预。

目标：
提出一种**主动式（Proactive）**运行时监控框架，能够基于概率预测提前识别潜在的安全违规，并在风险超过阈值时触发干预，从而在保障安全的同时维持任务完成度。

2. 方法论：ProbGuard 框架

ProbGuard 通过多阶段监控流水线实现从“反应”到“主动”的转变，其核心流程包括离线模型构建和在线运行时监控。

2.1 核心组件与流程

领域特定谓词抽象（Domain-specific Predicate Abstraction）：
- 将复杂的代理执行轨迹映射为有限的符号状态（Symbolic States）。
- 利用布尔谓词集合 $\mathcal{P}$ 提取与安全相关的属性（如“微波炉门是否关闭”、“前方是否有障碍物”）。
- 过滤掉语义上无效的状态组合，确保抽象空间的逻辑一致性。
离散时间马尔可夫链（DTMC）建模：
- 基于收集的执行轨迹，学习一个DTMC来建模代理在符号状态间的转移动力学。
- 平滑处理： 采用拉普拉斯平滑（Laplace Smoothing）处理稀疏数据，仅对语义有效的转移添加平滑项，避免赋予无效转移非零概率。
- PAC 保证： 引入**可能近似正确（PAC, Probably Approximately Correct）**分析，确保在有限采样下，学习到的模型与真实系统动力学之间的偏差在统计上是可控的（即学习到的模型能以高置信度 $1-\delta$ 保证误差小于 $\epsilon$ ）。
运行时风险预测与干预：
- 状态抽象： 运行时将当前环境状态抽象为符号状态。
- 概率推理： 利用学习到的 DTMC 和模型检测工具（如 PRISM），计算从当前状态出发，未来执行路径满足安全属性（如 CTL 公式 $AG \neg \text{unsafe}$ ）的概率。
- 干预机制： 如果预测的安全概率低于用户定义的阈值 $\theta$ $θ$ ，系统触发干预。干预方式包括：
  - 停止（Stop）： 立即终止代理执行。
  - 反思（Reflect）： 向 LLM 提示中添加风险上下文（Risk Alert），引导代理自我修正并生成更安全的动作。

2.2 形式化规范

使用**计算树逻辑（CTL）**定义安全属性。
对于自动驾驶等涉及时间约束的场景，将**信号时序逻辑（STL）**的有界响应规则（Bounded Response）转换为 CTL 形式，通过辅助确定性自动机（Monitor Automaton）将时间约束转化为可达性问题。

3. 主要贡献

主动式概率运行时监控框架： 提出了 ProbGuard，首次将概率风险预测引入 LLM 代理的运行时监控，能够提前识别不安全轨迹，而非仅在违规发生后报警。
统计保证与鲁棒性： 结合 PAC 分析和语义有效性约束，为学习到的行为模型提供了统计意义上的可靠性保证，解决了数据稀疏和模型偏差问题。
跨领域实证评估： 在两个高风险领域进行了全面评估：
- 自动驾驶： 基于 Apollo 平台和 LawBreaker 规范。
- 具身智能（Embodied Agents）： 基于 SafeAgentBench 和 LangChain 框架。
开源实现与低开销： 将 ProbGuard 集成到 LangChain 和 Apollo 自动驾驶平台中，作为开源工具发布，并证明了其极低的运行时开销。

4. 实验结果

4.1 自动驾驶领域（Autonomous Vehicles）

提前预警时间（AWT）： ProbGuard 能够在违规发生前提供显著的预警。
- 在碰撞风险场景中，预警时间最长可达 38.66 秒（取决于置信度阈值）。
- 在交通法规违规场景中，平均预警时间为 13-15 秒。
对比优势： 相比基于量化的语义方法（REDriver），ProbGuard 提供了归一化的概率解释（0-1 之间），且在不同变量尺度下表现更稳健。
开销： 平均监控延迟约为 100ms，远低于控制循环周期，不影响实时驾驶性能。

4.2 具身智能领域（Embodied Agents）

安全性提升： 在“将金属物体放入微波炉”等危险任务中，ProbGuard 将不安全行为减少了 65.37%。
任务完成度平衡：
- 在保守模式（高阈值）下，虽然任务完成率下降，但安全性极高（不安全率降至 2.60%）。
- 在“反思（Reflect）”模式下，代理通过自我修正，在保持较高任务完成率（47.74%）的同时显著降低了风险。
效率对比： 相比 AgentSpec 等反应式框架，ProbGuard 通过预测性过滤减少了不必要的 LLM 调用，Token 消耗平均减少 12.05%。
开销： 经过缓存优化后，单次决策的监控开销仅为 5-30ms，对 LLM 推理时间的影响可忽略不计。

5. 意义与局限性

意义：

范式转变： 推动了 LLM 代理安全从“事后补救”向“事前预防”的范式转变。
可解释性与信任： 通过概率输出和形式化验证，为代理行为提供了可解释的风险评估，增强了系统在关键任务中的可信度。
通用性： 框架设计独立于具体领域，通过统一的抽象接口可适配不同场景（从虚拟助手到物理机器人）。

局限性与未来工作：

马尔可夫假设： 当前方法假设代理行为仅依赖当前抽象状态，可能忽略长程历史依赖。未来需探索更复杂的抽象方法。
干预后的模型失配： 干预措施（如提示修正）会改变代理行为分布，导致学习到的 DTMC 不再准确。未来计划引入在线学习机制以动态更新模型。
状态抽象的自动化： 目前依赖专家定义的谓词，未来将探索数据驱动的自动状态抽象方法。

总结：
ProbGuard 通过结合符号抽象、概率建模（DTMC）和统计保证（PAC），成功构建了一个高效、可解释且具备前瞻性的 LLM 代理安全监控框架。实验证明，它能在不显著牺牲任务性能的前提下，大幅降低高风险场景下的安全违规概率，为 LLM 代理在关键领域的落地提供了重要的技术保障。