🤖 AI

RePolicy: Reinforcement Learning for Safety-Policy Invocation in Agent Safeguards

该论文介绍了 RePolicy，一种基于强化学习的智能体防护机制，它通过动态调用特定上下文的安全策略来生成有据可依的安全判定，并证明了与现有的提示词工程和微调方法相比，其在多种基准测试中具有更优越的适应性和检测性能。

原作者： Houcheng Jiang, Boxuan Zhang, Qiyong Zhong, Junfeng Fang, Xiang Wang, Xiangnan He

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Houcheng Jiang, Boxuan Zhang, Qiyong Zhong, Junfeng Fang, Xiang Wang, Xiangnan He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，新一代系统已经涌现，它们不仅仅是回答问题或编写文本。这些是自主智能体（autonomous agents），即能够规划复杂任务、使用软件工具并与外部世界交互以实现特定目标的数字实体。想象一下，一个不仅能预订机票，还能在无需人类持续指导的情况下，自主导航网站、填写表格并管理日历的个人助手。随着这些智能体的能力不断增强，对其安全性的要求也随之提高。危险不再仅仅关乎单句不当言论，而在于一系列行为——这些行为在孤立状态下看似无害，但串联在一起时可能会导致有害的结果。要确保这些智能体安全运行，需要一个能够监控其整个旅程、理解交通规则并在错误演变成灾难之前进行干预的系统。

多年来，保障这些智能体安全的标准方法一直依赖于静态规则或简单的提示词。开发者会将安全系统编程为包含固定禁止行为列表，或者要求模型根据一套通用的准则来检查其工作。然而，现实世界过于复杂，单一且不变的规则列表无法涵盖所有情况。一项任务在一种语境下是安全的，但在另一种语境下可能就是危险的，这取决于谁在提问、有哪些可用工具以及适用哪些法律。此外，安全政策本身也会随时间变化。仅仅依靠模型去死记硬背一套固定的规则，往往会导致它在面对新场景或从未见过的规则组合时感到困惑。这就像试图用一张只显示你已访问过的街道的地图来导航城市；当你转入一个新的街区时，地图便无法提供任何帮助。

为了解决这个问题，研究人员开发了一种名为 RePolicy 的新方法。RePolicy 不再将安全规则视为被动阅读的文本列表，而是将其视为安全检查器必须选择并使用的主动工具。其核心思想是教会安全系统如何观察特定情境，扫描可用规则库，并挑选出真正适用的那一条。一旦选中正确的规则，系统就会阅读其具体细节，并利用这些信息对智能体的行为是否安全做出最终判断。这种方法将安全检查从被动的阅读练习转变为主动的决策过程，使系统学会如何根据手头的任务从“抽屉”里取出正确的规则。

研究人员通过首先创建一个包含超过 20,000 个示例的海量数据集来构建这个系统。这些示例包括智能体执行任务的详细记录，以及管理这些任务的具体安全规则。他们为每个记录进行了标注，以展示应该应用哪条规则以及原因。利用这些数据，他们首先通过监督学习过程（类似于学生通过教科书学习）教会了系统如何阅读情境并找到匹配的规则。然而，仅仅通过记忆示例不足以应对现实世界任务的不可预测性。为了进一步提升系统的能力，研究人员随后应用了一种被称为强化学习的技术。在这个阶段，系统被允许反复练习进行决策。当它选择了正确的规则并做出了正确的安全判断时，它会获得奖励；当它选错了规则或遗漏了危险时，它会受到惩罚。随着时间的推移，系统学会了优化其选择，变得更擅长区分那些看起来相似但适用于不同情境的规则。

这项训练的一个关键部分涉及一个巧妙的技巧，旨在防止系统利用捷径进行投机取巧。在练习过程中，研究人员会在正确的规则旁边混入无关规则和虚假的“诱饵”策略。这迫使系统必须真正理解智能体行为的语境，而不是仅仅根据列表中存在的规则进行猜测。如果系统无法区分相关规则与诱饵，它就会测试失败。这确保了最终的系统学会了根据任务细节来识别管理该情境的具体政策，而非仅仅基于关键词的存在。

在针对评估智能体安全性设计的六个不同基准测试中，这一新系统表现得显著优于现有方法。它在检测各种场景下的不安全行为方面达到了极高的准确率，超越了通用人工智能模型和专门的安全工具。在六项测试中的四项中，它排名第一，展示了其在发现其他系统所遗漏风险方面的明显进步。或许最重要的一点是，该系统展现出了强大的能力，即使在可用规则列表发生变化或语境发生转移时，也能调用正确的安全政策。它不仅仅是在猜测，而是积极地选择正确的规则并利用其内容来证明其决策的合理性。

这项研究表明，通过教导安全系统主动选择并应用规则，而非仅仅被动阅读，我们可以为自主智能体创造出更具适应性和可靠性的守护者。这种方法使得安全机制能够随着其保护的智能体同步进化，在处理新工具和变化规章时无需重新进行完整的编程。虽然该系统并非完美解决方案，且仍取决于所提供的规则质量，但其结果指明了一条充满希望的前进路径。通过将安全政策调用转化为一项学习任务，研究人员在确保人工智能智能体在变得更加独立的同时，仍能处于清晰、具备上下文感知能力且有效的安全标准控制之下，迈出了重要的一步。

技术摘要：RePolicy

问题陈述

大型语言模型（LLM）智能体的安全风险已从孤立的有害内容演变为在完整执行轨迹中呈现的行为危害。现有的智能体防护措施通常依赖于预定义的风险分类或静态安全策略。然而，现实世界的部署涉及复杂的动态上下文，其中相同的动作可能会根据用户权限、组织要求或监管管辖权而受到不同的约束。

目前的策略感知型防护措施主要依赖于提示词（Prompting）或监督微调（SFT），面临着显著的局限性：

适应性： 它们难以适应未见的轨迹或全新的安全策略组合。
调用机制： 它们将安全策略视为被动的上下文，而非主动的可调用能力。因此，它们往往无法确定应调用哪一个特定的策略，或如何将其条款应用于特定的轨迹。
分布偏移： 基于 SFT 的模型受限于训练期间观察到的“轨迹-策略”分布，可能无法泛化到新的策略上下文。

方法论

作者提出了 RePolicy，一种将安全策略调用建模为智能体强化学习（RL）任务的智能体防护机制。RePolicy 不再是被动地阅读策略，而是学习在做出安全判断之前，从动态库中主动选择并调用适用的策略。

1. 任务建模

该防护机制作用于一个完整的智能体轨迹 $\tau$ 和一个动态策略库 $P$ 。其过程遵循以下顺序结构：

策略调用： 模型根据 $\tau$ 从 $P$ 中选择一个适用的策略 $\hat{p}$ 。
内容检索： 检索所选策略的完整内容 $c(\hat{p})$ 。
推理与判断： 模型利用 $\tau$ 和 $c(\hat{p})$ 生成基于策略的理由 $\hat{r}$ 以及最终的安全标签 $\hat{y} \in \{safe, unsafe\}$ 。

2. 数据构建：PolicyTraj-20K

为了支持这一方法，作者构建了 PolicyTraj-20K，这是一个包含超过 20,000 条带有安全策略标注的轨迹数据集。

合成： 从现有的交互模式中合成多样化的智能体轨迹，在保持工具使用模式和安全机制的同时，改变任务内容。
落地（Grounding）： 策略按“智能体操作场景”而非最终风险类别进行组织。每条轨迹都标注了其适用的策略、相关条款、安全标签及决策理由。
结构： 该数据集通过提供显式的“轨迹-策略”落地关系，支持监督初始化和强化学习。

3. 训练流水线

RePolicy 采用两阶段训练过程：

第一阶段：冷启动监督微调（SFT）
使用 PolicyTraj-20K 对模型进行初始化，使其学习完整的“调用-推理”序列。模型训练目标包括：

从本地库（包含目标策略及干扰项）中识别正确的策略。
基于检索到的策略内容生成理由和安全标签。
遵循结构化的 JSON 输出格式。

第二阶段：基于 GRPO 的强化学习
作者应用 组相对策略优化（GRPO） 来直接优化防护机制的效果。关键创新点包括：

可验证奖励： 一个复合奖励函数 $R = \lambda_{fmt}R_{fmt} + \lambda_{pol}R_{pol} + \lambda_{acc}R_{acc}$ $R = λ_{f m t} R_{f m t} + λ_{p o l} R_{p o l} + λ_{a cc} R_{a cc}$ 用于评估：
- 格式 ( $R_{fmt}$ ): JSON 结构和策略调用的有效性。
- 策略调用 ( $R_{pol}$ ): 是否选择了正确的策略 ( $\hat{p} = p^*$ )。
- 准确性 ( $R_{acc}$ ): 最终安全标签的正确性。
策略-上下文扰动： 为了防止模型记忆固定的“轨迹-策略”关联或依赖候选库的组成成分，训练过程会重新采样干扰项并打乱策略顺序。这迫使模型基于轨迹的语义和策略的范围描述来确定适用性。

核心贡献

RePolicy 框架： 一种全新的防护机制，将安全策略调用视为一种通过 RL 优化的主动、可学习的能力，而非被动的上下文输入。
PolicyTraj-20K： 一个新的数据集，为智能体轨迹提供细粒度的、基于策略的监督，涵盖了多样化的工具、环境和操作场景。
方法论创新： 将 GRPO 与可验证的基于规则的奖励以及策略-上下文扰动相结合，以确保鲁棒的策略选择和泛化能力。
实证验证： 在六个多样化的智能体安全基准测试上进行了全面的评估。

实验结果

RePolicy 在六个基准测试上进行了评估：ATBench, R-Judge, OpenAgentSafety, ASSEBench, HINTBench, 和 AgentHazard。该模型（RePolicy-4B）基于 Qwen3-4B-Instruct 主干网络构建。

整体性能： RePolicy-4B 实现了 88.15% 的整体 Unsafe F1 分数，超过最强的外部基准线 3.98 个百分点，并超过最强的专门防护模型 8.46 个百分点。
基准测试统治力： 它在六个基准中的四个中排名第一，且领先幅度显著（例如，在 AgentHazard 上领先 +5.47，在 ASSEBench 上领先 +5.26）。
策略调用： 强化学习显著提升了正确策略的调用率，从约 94.4%（冷启动）提高到 98.5%。模型能够成功区分相关策略与诱饵，诱饵选择率保持在 1% 以下。
鲁棒性： 即使在候选策略库规模变化（10 到 50 个策略）的情况下，模型仍保持了高性能，尽管随着库规模增大，选择准确性略有下降。
消融实验：
- 冷启动 SFT 提供了强大的基础（比基础模型高出 +28.48 个百分点）。
- 显式的策略调用被确定为最终增益的主要驱动力，特别是在 AgentHazard 和 OpenAgentSafety 等异构基准测试中。
- 策略-上下文扰动对于防止对特定策略库组成的过拟合至关重要。

重要性与声明

论文声称 RePolicy 展示了构建更具适应性和可解释性的智能体防护机制的一个实用方向。通过学习主动调用安全策略，该系统可以：

适应变化的策略上下文和未见的“轨迹-策略”组合。
提供基于策略的、具有可解释性的安全判断理由。
在性能上超越通用 LLM 和基于静态分类法训练的专门防护模型。

作者指出，其工作旨在用于防御性研究。他们承认存在局限性，包括假设候选策略库包含足够精确的适用策略，以及多步调用过程引入的额外推理开销。他们强调，在没有人工监督和深度防御策略的情况下，不应将 RePolicy 视为高风险应用中的独立执行机制。