🤖 AI

StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing

本文介绍了 StepGuard，这是一种通过 StepGen 数据引擎和 Balance-GRPO 算法训练而成的步级防护模型，旨在有效监控并在 LLM 智能体执行前拦截不安全的工具操作，在实现最先进安全性水平的同时，将效用损失降至最低。

原作者： Zhijie Zheng, Yu Li, Chen Qian, Yuqian Fu, Yanwei Fu, Lu Sheng, Jing Shao, Dongrui Liu

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhijie Zheng, Yu Li, Chen Qian, Yuqian Fu, Yanwei Fu, Lu Sheng, Jing Shao, Dongrui Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下这样一种数字助手：它不仅仅是回答问题，而是能真正为你做事。它可以检查你的日历、发送电子邮件、管理文件，甚至代表你执行复杂的交易。这就是现代 AI 智能体（AI agents）的承诺：通过与现实世界中的软件进行交互，来扩展人类的能力。然而，这种力量也伴随着明显的危险。如果一个智能体被诱导去执行隐藏在看似无害的电子邮件中的恶意指令，或者它误解了一个命令，它可能会删除重要文档、泄露隐私信息，或者将钱转给错误的人。科学家们面临的核心挑战不仅在于构建这些功能强大的助手，还在于构建一个可靠的安全系统，能够密切监视它们，在错误发生之前将其拦截，同时又不干扰它们开展有用的工作。

上海人工智能实验室的研究人员开发了一种名为 StepGuard 的新型安全系统，旨在解决这一问题。传统的安全检查器通常会在智能体完成一系列长动作后才对发生的情况进行审查。到那时，如果发生了错误，损失已经造成了。StepGuard 则不同，它扮演着一名警觉的监督者，在智能体的每一个步骤执行之前对其进行检查。它会观察智能体的计划、它想要使用的工具以及当前的上下文环境，以决定该动作是否安全。如果该步骤看起来很危险，系统会立即拦截；如果安全，智能体则继续执行。这种“步级”（step-level）监控至关重要，因为风险往往隐藏在长链条事件中单个动作的细节之中。

为了教导这个系统如何成为一名优秀的监督者，研究人员面临了一个艰难的障碍：现实世界中缺乏 AI 智能体犯下危险错误的真实案例供其学习。为了绕过这个问题，他们构建了一个名为 StepGen 的自动数据引擎。StepGen 不必等待事故发生，而是通过创建数千个模拟场景，让智能体处于即将犯错的边缘。它构建了一个故事：智能体正在执行一项任务，然后引入一个特定的风险时刻，例如隐藏的恶意指令或损坏的数据文件。随后，该引擎会生成两个版本的后续情况：一个版本中，智能体中了陷阱并执行了有害动作；另一个版本中，智能体识别出了危险并选择了安全的替代方案。至关重要的是，这两个版本都始于完全相同的历史记录，仅在那个关键决策点上有所不同。这使得安全系统能够准确学习是什么导致了特定步骤的危险，而不是仅仅记住某些工具本身是坏的。

研究人员还发现，安全系统经常会遭受一种特定的偏差。有些系统因为过于害怕出错而拦截无害的任务，仅仅因为“紧急”一词出现在可疑的上下文中就拒绝发送电子邮件。而另一些系统则过于信任，让危险动作溜了过去。为了解决这个问题，团队引入了一种名为 Balance-GRPO 的训练方法。这种技术不断监测系统在识别安全动作和不安全动作方面的表现。如果系统开始拦截过多的有效任务，训练就会调整得更加宽容；如果系统开始漏掉过多的错误动作，训练就会变得更加严格。这种动态平衡的过程确保了系统既保持敏锐，又不会变得过度谨慎。

这些方法的成果是显著的。在与其它安全模型进行对比测试时，StepGuard 在开源模型中取得了最高的平均准确率，其表现与许多规模更大的闭源系统不相上下。在现实世界的测试中，当该系统守护智能体在 AgentDojo 和 AgentDyn 等平台上执行任务时，它成功地将攻击成功率降低了 77.3%。或许最重要的一点是，它在实现这一目标的同时，仅将智能体完成有用任务的能力降低了微小的 2.8 个百分点。这证明了我们可以拥有一种既能高效阻止伤害，又能尊重智能体完成工作能力的防护系统。

尽管取得了这些成功，研究人员也承认这项工作并不完美。由于该系统是基于合成数据训练的，这意味着它可能会错过一些尚未被模拟出的极其罕见或复杂的攻击类型。在专门设计用来破解安全系统的对抗性场景测试中，安全与效用之间的权衡变得更加困难，系统为了防止潜在危害而拦截了一些合法的任务。此外，该系统是一个护栏，而非保证；它仍然可能犯错，无论是拦截了安全动作，还是漏掉了微妙的威胁。研究人员强调，这项技术应当与人工监督和其他安全措施共同部署，作为一层强大的防御手段，而非完整的解决方案。

最终，StepGuard 代表了我们思考 AI 安全方式的一种转变。与其试图构建一个完美、不可破解的智能体，不如将重点转向构建一个聪明的、具有适应性的监督者，去监视智能体的每一个动作。通过从精心构建的案例中学习，并不断调整自身行为以避免过于严苛或过于宽松，该系统提供了一条在现实世界中部署 AI 智能体的切实路径。它表明，通过正确的训练数据和平衡的方法，我们可以创造出既强大又安全的数字助手，使它们能够在帮助我们处理复杂任务的同时，不会将我们带入危险之中。

技术摘要：StepGuard

问题陈述

基于大语言模型（LLM）的智能体（Agent）将能力从文本生成扩展到了通过调用工具与外部环境进行交互。虽然这增强了功能，但也引入了显著的安全风险，包括文件修改、信息泄露和未经授权的操作。现有的护栏系统通常存在两个主要局限性：

事后评估偏差（Post-hoc Evaluation Bias）： 许多现有系统是对已完成的轨迹进行评估，而不是在执行前监控动作，这使得执行前的步骤级监控仍未得到充分探索。
安全性与实用性的失衡（Safety–Utility Imbalance）： 现有的护栏表现出“防御偏差”，要么过度防御（拦截良性任务），要么防御不足（遗漏不安全动作）。由于缺乏可扩展的高质量步骤级监督和训练方法，且这些方法未能显式平衡安全与不安全动作检测之间的准确率差距，这种权衡问题被进一步放大。

方法论

本文提出了 StepGuard，一种旨在审计已完成轨迹并关键性地在候选工具动作执行前进行检查的步骤级护栏模型。该方法由三个核心组件组成：

1. StepGen：自动数据引擎

为了解决现实世界中不安全执行案例稀缺以及人工标注困难的问题，作者引入了 StepGen，一个能够生成可扩展、高质量训练数据的自动数据引擎。

前缀对齐对比组（Prefix-Aligned Contrastive Groups）： StepGen 构建了在指定“风险锚点”步骤（ $i^*$ $i^{*}$ ）之前共享相同执行前缀的轨迹。从该锚点开始，它分支为：
- 不安全轨迹： 执行风险动作。
- 安全替代方案： 两个分支，智能体要么拒绝该动作，要么识别风险并通过安全替代方案继续进行。
- 良性工具重用： 在非对抗性语境下重用相同工具的独立轨迹，以防止模型学习到特定工具身份本身就是不安全的。
质量控制： 生成的组会经过机械验证（格式、参数谱系）和基于 LLM 的审计（语义一致性、锚点正确性），以确保高质量的步骤级标注。

2. StepGuard 模型架构

StepGuard 是一个基于 Qwen3-4B-Instruct 初始化、拥有 4B 参数的模型。它被训练用于生成结构化的安全诊断，包括：

$\hat{Y}$ ：安全/不安全判断。
$\hat{B}$ ：是否存在风险源。
$\hat{R}$ ：风险源类型。
$\hat{S}$ ：不安全步骤的定位（可选）。

训练过程遵循两个阶段：

冷启动 SFT： 在 StepGen 生成的 3,000 个样本上进行微调，以学习护栏格式和基础风险推理。
Balance-GRPO： 一个使用群体相对策略优化（GRPO）进行强化学习的阶段，用于优化安全性与实用性的平衡。

3. Balance-GRPO

为了减轻防御偏差，作者提出了 Balance-GRPO，这是对标准 GRPO 的一种扩展。

机制： 在在线策略训练期间，根据观察到的安全类与不安全类之间的准确率差距，动态重新加权归一化后的优势值（advantages）。
目标： 如果模型在安全动作上的表现较差（过度防御），则增加安全样本的权重。反之，如果模型在不安全动作上的表现较差（防御不足），则增加不安全样本的权重。
公式： 优势值 $A'_{i,j}$ 通过类别计数因子 $c_i$ 和准确率差距因子 $\omega_i$ 进行重加权，其中 $\omega_i$ 是安全与不安全准确率之差（ $\Delta_{cls}$ ）的函数。这种方法可以在不修改提示词或原始奖励的情况下调整训练压力。

核心贡献

StepGuard： 一个支持对候选工具动作进行执行前安全检查以及对已完成轨迹进行事后审计的 4B 护栏模型。
StepGen： 一个自动数据引擎，能够合成带有局部风险步骤的前缀对齐安全与不安全轨迹，以及良性工具重用，从而提供可扩展的步骤级监督。
Balance-GRPO： 一种利用观察到的安全-不安全准确率差距来在在线策略训练期间动态减少防御偏差的训练算法。

实验结果

静态评估

性能： StepGuard 在轨迹级（ATBench, R-Judge, ASSE Security）和步骤级（TS-Bench-Dojo, TS-Bench-Harm）基准测试中，实现了开源护栏模型中最高的平均准确率。
对比： 其性能与闭源模型 GPT-5.4 相当，显著优于其他开源模型如 Qwen3-Guard、LlamaGuard3 和 TS-Guard。
泛化能力： 仅在两种风险源上进行训练后，StepGuard 仍能有效地泛化到六种未见过的风险源，其表现接近于在所有来源上都进行过训练的模型。

受护智能体评估（运行时）

部署在具有 Qwen3.6-35B 智能体骨干的 AgentDojo 和 AgentDyn 上：

安全性： 与无护栏设置相比，StepGuard 将平均攻击成功率（ASR）降低了 77.3%。
实用性： 平均实用性仅下降了 2.8 点，证明其相比其他护栏具有更优越的安全性-实用性权衡。
AgentHarm： 在这个高度对抗性的基准测试中，StepGuard 将恶意得分从 22.8 降至 3.4，尽管任务完成率从 70.9 下降到 52.8，这表明高度对抗性的环境仍然是一个挑战。

消融实验

StepGen： 去除中间前缀监督或良性工具重用样本会导致准确率和 F1 分数的明显下降，证实了上下文感知监督的必要性。
Balance-GRPO： 与 vanilla GRPO 相比，Balance-GRPO 将安全-不安全准确率差距从 13.0 缩小到 8.0，并在受护智能体评估中将实用性提高了高达 6.7 点，同时仅增加了 0.3 点的 ASR。

意义与主张

本文声称 StepGuard 通过有效平衡安全性与实用性，为开源智能体护栏树立了新的标杆。其意义在于：

转向步骤级监控： 从轨迹级评估转向执行前的步骤级检查，实现了更精确的干预。
可扩展的监督： StepGen 证明了可以自动合成高质量、上下文匹配的对比数据，克服了人工数据收集的瓶颈。
动态校准： Balance-GRPO 提供了一种机制，可以显式控制过度防御与防御不足之间的权衡，解决了现有安全对齐方法中的一个关键失效模式。

作者承认了局限性，指出数据依赖于合成生成（可能继承了偏差），评估仅限于当前的基准测试而非完全开放的生态系统，并且该系统是一种护栏而非正式的安全保证。