💻 computer science

SafePyramid: A Hierarchical Benchmark for In-context Policy Guardrailing

本文介绍了 SafePyramid，这是一个包含 1,000 场多轮对话和 3,000 条特定应用策略的分层基准测试，用于评估上下文中的策略护栏能力，研究表明即使是尖端模型在准确识别安全违规以及适应不同复杂度水平的新型策略框架方面也存在困难。

原作者： Jiacheng Zhang, Haoyu He, Sen Zhang, Shen Wang, Xiaolei Xu, Yuhao Sun, Meng Shen, Feng Liu

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiacheng Zhang, Haoyu He, Sen Zhang, Shen Wang, Xiaolei Xu, Yuhao Sun, Meng Shen, Feng Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是某座大型高科技大楼的安全主管。过去，你的保安（AI 模型）接受的是基于固定、僵化规则手册的训练：“禁止携带武器”、“禁止大声喧哗”、“禁止闲逛”。如果有人违反这些规则，保安就会阻止他们。这被称为固定分类护栏（Fixed-Taxonomy Guardrailing）。它在处理通用安全问题时效果很好，但对于现实生活来说过于僵化。

有时，一位 VIP 客人需要进入限制区域（一种“专业建议”场景），或者施工队需要通过走廊移动重型机械（一种“关键基础设施”场景）。这些特定情况下的规则会随着时间、人物和语境的变化而改变。你不能每当情况发生变化时就重写整个大楼的安全手册；你需要一个能够阅读在入口处递交给他们的新的、临时性的规则表并完美执行的保安。

这就是论文中所说的上下文策略护栏（In-Context Policy Guardrailing）。

来自字节跳动和墨尔本大学的研究人员意识到，虽然我们拥有优秀的 AI 保安，但我们并不真正了解它们是否擅长阅读这些新的、临时性的规则表。因此，他们构建了一个巨大的测试场，名为 SafePyramid。

SafePyramid 测试：一座三层建筑

为了测试这些 AI 保安，研究人员构建了一个看起来像具有三个难度等级的金字塔形式的基准测试。把它想象成一个有三个越来越难的关卡的电子游戏：

第 0 级：“识别违规”游戏（理解能力）
想象一名保安被给予一份包含 20 条规则的清单。其中一些规则与正在进入的人相关（例如，“禁止携带狗”），而另一些则是干扰项（例如，“大堂内禁止游泳”，尽管那里并没有泳池）。

测试内容： 保安能否观察这个人及其对话并得出结论：“好的，他们带了一条狗，所以违反了第 3 条规则。但他们并没有在游泳，所以第 15 条规则没有问题”？
挑战： 许多 AI 保安会被干扰项搞混，或者忽略实际违规行为中的微妙细节。

第 1 级：“规则手册逻辑”游戏（依赖关系）
现在，规则变得复杂了。假设有一条规则说：“禁止携带狗”。但存在第二条规则：“除非这只狗是经过认证的服务性动物。”

测试内容： 保安必须理解第一条规则通常成立，但第二条规则可以在满足特定条件时抵消第一条规则。或者，一条规则可能说，“你可以带狗来”，除非“这只狗叫得很吵”。
挑战： AI 必须同时处理多条规则。如果它看到一只狗，它不能直接说“违规！”，它必须检查“服务性动物”这一例外情况是否适用。研究发现，大多数 AI 保安在这里会感到非常困惑，它们要么遗漏了例外情况，要么错误地应用了这些例外情况。

第 2 级：“外语”游戏（新颖框架）
这是最难的一级。想象一名保安被给予一本用完全虚构的语言（如“OGCP 协议”或“遏制验证”）编写的规则书，其中包含虚构的词汇。保安从未见过这些词。他们不能依赖他们的训练或常识；他们必须严格按照规则书中给出的定义来执行。

测试内容： 保安能否即时学习一套新的法律，并在不犯错的情况下执行这些法律？
挑战： 这是 AI 保安表现最差的地方。即使是最智能的模型也会在新的术语中迷失方向，无法正确应用规则。

结果：保安们仍在学习中

研究人员将世界上 10 个最智能的 AI 模型（“前沿 LLM”）和 5 个专门的安全模型置于这个金字塔测试中。

以下是坏消息：这些保安还没有准备好上岗。

在简单级别（第 0 级）上： 最好的 AI（GPT-5.5）仅在约 54% 的情况下能完全正确识别出所有的违规行为。对于一项复杂的任务来说，这仅仅比抛硬币决定胜负好一点点。
在中间级别（第 1 级）上： 成功率下降到了 35%。
在困难级别（第 2 级）上： 成功率骤降至 13%。

这就像给学生做数学测试。他们可能能做对简单的加法题，但一旦引入代数（依赖关系），然后切换到一套全新的数学符号系统（新颖框架），他们就开始表现得一塌糊涂。

为什么会失败？

论文深入研究了 AI 失败的原因，发现了他们思维中的三个主要“漏洞”：

关键词嗅探（Keyword Sniffing）： AI 看到“狗”这个词，就会立即认为“违规！”，而不会检查这条规则是否真的适用于这只特定的狗，或者是否存在例外情况。这就像一名保安拦截所有戴帽子的人，却忽略了“儿童不得戴帽”的例外规定。
在例外情况中迷失（Losing the Plot on Exceptions）： 当规则说“禁止携带狗，除非它是服务性动物”时，AI 经常会忘记“除非”这个部分。它看到了狗，然后就拦截了那个人，忽略了细微差别。
在新词汇中迷失（Getting Lost in New Words）： 当规则是用一种新的、虚构的框架编写时（第 2 级），AI 会感到困惑。它们会将规则本身视为违规行为，而不是利用规则来进行判断。这就像一个学生在拿到一本新字典时，开始死记硬背定义，而不是利用这些定义来理解故事。

解决方案是什么？

论文指出，仅仅让 AI 变得更“聪明”是不够的。目前这种要求 AI 阅读整页规则并吐出违规列表的方法难度过高。

相反，研究人员发现，如果将任务分解——要求 AI 一次只检查一条规则，然后汇总答案——性能会有显著提升。这就像给保安一份清单，让他们逐项进行检查，而不是要求他们一次性记住整个大楼的安全政策。

他们还发现，使用“智能体夹具”（Agent Harnesses，类似于有一个 AI 助手团队协助主保安检查工作）可以显著提高结果。

核心结论

SafePyramid 是一个警钟。虽然 AI 在聊天和写作方面表现惊人，但目前它们在作为一个严格的、能够根据新规则即时调整的规则执行者（保安）方面表现得很差。我们需要构建更好的系统，使其能够处理复杂的规则依赖关系并即时学习新框架，否则我们无法信任它们在现实应用中保护我们的数字空间。

技术摘要：SafePyramid

问题陈述

目前的语言模型（LLM）护栏主要依赖于预定义的风险分类法（例如“隐私”、“欺诈”或“性内容”等固定类别）来对用户与模型的交互进行分类。虽然这种范式对于通用安全性有效，但它缺乏在现实世界应用中所需的灵活性，因为不同组织、司法管辖区和特定用例（例如短视频平台的青少年安全政策与游戏论坛的反作弊规则）的安全标准差异巨大。

新兴的**上下文内策略护栏（in-context policy guardrailing）**设置解决了这一问题，它允许护栏在推理时执行通过上下文显式提供的安全策略，而不是依赖于静态的、预训练的风险先验。然而，评估这种能力仍然是一个尚未被探索的挑战。现有的基准测试要么侧重于通用的指令遵循，要么侧重于固定分类法的安全性，或者缺乏诊断策略执行中特定失败情况的粒度。目前还没有一个系统性的框架来评估护栏是否能够：

可靠地执行在上下文中提供的任意安全策略。
解析复杂的规则依赖关系（例如，例外情况和条件限制）。
适应引入了新概念和术语的新型策略框架。

方法论：SafePyramid

为了填补这些空白，作者引入了 SafePyramid，这是一个层次化的基准测试，旨在系统地评估上下文内策略护栏。该基准测试通过一个严谨的多阶段流水线构建，涉及用于生成的顶尖 LLM（Grok-4.1、GPT-5.4、Gemini-3.1-Pro、Claude-Opus-4.6），随后进行跨模型验证和人类专家评审。

数据集构成

SafePyramid 包含：

1,000 个多轮对话，涵盖 10 个安全领域（学术诚信、内容审核、关键基础设施、诽谤、歧视、欺诈、知识产权、隐私、性内容、专业建议）。
3,000 个特定应用的策略，总计 61,699 条不同的自然语言规则。
三个难度等级（层次化设计）：
- L0（理解单条规则）： 评估判断单条规则是否被违反的能力。它包括决定性规则（明确触发或未触发）和干扰规则（主题相关但未被触发）。
- L1（解析规则依赖）： 在 L0 的基础上引入了例外规则（在特定条件下豁免基本规则）和条件规则（在特定条件下收紧基本规则或创建新的违规行为）。这一层级测试模型处理相互依赖逻辑的能力。
- L2（适应新型策略框架）： 在 L1 的基础上，使用完全虚构的概念和术语重写底层策略结构（受 CL-Bench 启发）。这迫使模型从零开始学习并应用策略框架，而不依赖于预训练的安全先验或现实世界的法律知识。

评估协议

该基准测试支持两种评估模式：

逐策略评估（Per-Policy Evaluation）： 模型阅读完整的策略和对话，以预测完整的违规规则集。这是面向顶尖 LLM 的主要设置。
逐规则评估（Per-Rule Evaluation）： 模型一次评估一条目标规则，并汇总二元决策。这旨在为具有固定输出接口的微调护栏模型设计。

指标：

规则匹配率 (Rule Matching Rate, RMR)： 衡量预测的违规规则集在容差阈值 ( $\tau$ ) 内与地面真值（ground truth）匹配的百分比。主要指标是 $\tau \in \{0.7, 0.8, 0.9, 1.0\}$ 上的平均 RMR。
规则分歧率 (Rule Disagreement Rate, RDR)： 一个微平均指标，量化相对于涉及的总规则数而言的总规则级错误（假阳性和假阴性）数量。

关键结果

作者在 SafePyramid 上评估了 10 个顶尖 LLM 和 5 个可配置策略的护栏模型。结果凸显了当前系统的显著局限性：

整体性能： 即便是表现最好的模型 GPT-5.5，在 L0 情况下的精确匹配（RMR@1.0）仅为 54.0%，L1 为 35.3%，L2 则降至 12.9%。
难度递进： 所有模型的性能在从 L0 到 L2 的过程中呈现单调下降。从 L0 到 L1 的下降表明，处理规则依赖（例外/条件）是一个主要的瓶颈。到 L2 的进一步下降表明，适应新型框架是一个更为严峻的挑战。
护栏模型的局限性： 可配置策略的护栏模型（如 GPT-OSS-Safeguard）在 L0 上表现具有竞争力，但其性能在 L1 和 L2 上崩溃，表明它们尚未设计用于处理具有复杂依赖关系的完整策略执行。
错误分析：
- L0 错误： 主要由决定性规则引起，通常源于“表面特征匹配”，即模型无法区分聊天机器人是在支持某种行为，还是在归因于第三方的观点。
- L1 错误： 转向例外规则，模型经常基于部分关键词匹配而过度触发例外，而未能验证所有激活条件。
- L2 错误： 越来越多地涉及条件规则。模型难以区分条件规则本身（一个修饰符）与其所修饰的基本规则，在引入新型框架时，常将条件规则本身视为一种违规。
缓解策略：
- 逐规则评估： 将任务分解为逐规则分类显著提高了较小护栏模型的性能（例如，GPT-OSS-Safeguard-120B 的平均 RMR 从 23.6% 提高到 52.4%），这表明完整的策略组合是一个瓶颈。
- 智能体工作流（Agentic Harnesses）： 使用智能体工作流（如 Codex、Claude Code）来分解任务并验证中间步骤可以提高性能，特别是在 L1 和 L2 上，这表明显式的推理和验证有助于解决依赖关系。
- 推理投入（Reasoning Effort）： 增加推理投入（例如 GPT-5.5 的 "xhigh" 投入）对 L0 的收益微乎其微，但对 L1 和 L2 有实质性的提升，证实了复杂的依赖关系解析需要更多的计算预算。

重要性与贡献

本文做出了四个主要贡献：

问题形式化： 它正式定义了上下文内策略护栏这一任务，即护栏必须使用上下文中提供的策略规范来识别安全违规，从而超越了固定的风险分类法。
能力识别： 它识别并隔离了该设置下所需的三个关键能力：单条规则理解、规则依赖解析以及新型策略框架适应。
引入基准测试： 它引入了 SafePyramid，这是一个包含 1,000 个对话、3,000 个策略和 61,699 条规则的全面且层次化的基准测试，并采用了严谨的质量控制。
实证证据： 它提供了广泛的评估，证明当前的先进模型在上下文内策略护栏方面远未达到可靠水平，尤其是在面对规则依赖和新型框架时。

作者总结道，该领域必须从简单的风险分类转向显式的、可审计的且可适应的策略执行。研究结果表明，更强大的护栏可能需要更好的策略分解、上下文组织以及规则级的验证机制，并可能利用智能体工作流。SafePyramid 作为一个诊断工具，用于追踪这些领域的进展。