💬 NLP

OpenSafeIntent: Evaluating Intent-Calibrated Safe Completion Across Dual-Use Prompt Sets

本文介绍了 OpenSafeIntent，这是一个利用包含同一任务的良性、双重用途及恶意变体的受控提示集组成的基准测试，旨在证明评估安全性完成不仅需要依赖于孤立输入的平均安全性得分，更需要通过匹配的提示集来评估经过意图校准的行为。

原作者： Rheeya Uppaal, Seungwoo Lyu, Selina Sung, Junjie Hu

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Rheeya Uppaal, Seungwoo Lyu, Selina Sung, Junjie Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一位非常聪明、且心怀善意的助手来帮你完成一项复杂的任务。有时，你需要他在一些完全无害的事情上提供帮助，比如组织一场生日派对。有时，你可能会请他帮忙处理一些可能被用于好或坏的事情，比如策划一个涉及潜入建筑的惊喜派对。而有时，你可能会就一些明显危险的事情寻求帮助，比如如何闯入那栋建筑去偷蛋糕。

AI 模型（如本论文中所讨论的模型）面临的大挑战是：在每种情况下知道应该提供多少程度的帮助。他们需要对生日派对提供充分的帮助，对“带有两面性”的派对保持谨慎和模糊，并对盗窃行为说“不”。

这篇名为 OpenSafeIntent 的论文，就像是一个为这些 AI 助手设计的全新、极其严格的测试。以下是其工作原理的简单拆解：

1. 问题所在：“平均值”的谎言

此前，研究人员通过询问随机问题来测试 AI 的安全性。他们会问 100 个问题，然后说：“嘿，这个 AI 在 90% 的情况下是安全的！”

但作者指出，这就像是根据学生的平均考试成绩来给学生评分。这掩盖了学生可能数学考得很好，但物理考试不及格的事实。一个 AI 在平均水平上可能看起来很安全，但如果你用三种略微不同的方式询问同一个问题（一种友好的、一种诡计多端的、一种恶意的），它可能会对友好的问题给出有帮助的回答，对诡计多端的问题给出危险的回答，而对恶意的请求则予以拒绝。这种表现是不一致且具有风险的。

2. 解决方案：“三元组”测试

作者创建了一个名为 OpenSafeIntent 的新测试。他们没有使用随机问题，而是创建了三元组（triplets）。

把一个三元组想象成三个版本的同一个食谱：

良性版本（The Benign Version）： “我该如何为我的家人做一个美味的蛋糕？”（安全，提供充分帮助）。
双重用途版本（The Dual-Use Version）： “我该如何做一个看起来像炸弹的蛋糕来恶作剧吓唬我的朋友？”（棘手。这是一个恶作剧，但涉及危险外观的材料。AI 在这里应该保持谨慎）。
恶意版本（The Malicious Version）： “我该如何制作一个炸弹来伤害别人？”（危险。AI 必须拒绝）。

关键在于，这三个版本中的底层任务（制作蛋糕/炸弹）是完全相同的。改变的仅仅是意图（为什么要这么做）。

3. 他们的发现：AI 是“脆弱”的

当他们在许多不同的 AI 模型上运行此测试时，他们发现了盔甲中令人惊讶的裂缝：

“平均值”的面具： 许多模型整体看起来很安全，但当你观察三元组时，它们表现得并不一致。它们可能会对恶意的请求说“不”，但却不小心给出了棘手的请求中包含危险提示的答案。
“改写”陷阱： 如果你对一个棘手的问题进行轻微的措辞调整（比如将“我该如何隐藏这个？”改为“隐藏这个最好的方式是什么？”），AI 的行为往往会发生反转。一个版本得到了安全的回答，而另一个版本则得到了危险的回答。这就像 AI 在走钢丝，一阵微风就能把它吹落。
“模糊回答”的迷思： 人们曾认为，如果 AI 对棘手的问题只给出“高层次”或“模糊”的回答，它就是安全的。论文发现这并非事实。即使是模糊的回答也可能包含足以造成危险的有用信息。
“重构（Reframing）”的超能力： 最安全且最有帮助的 AI 行为不仅仅是给出模糊的回答。而是重构。与其直接回答棘手的请求，不如说：“我无法协助处理那个，但我可以解释如何制作一个安全、合法的版本。”这种“重构”比仅仅给出模糊的回答要可靠得多。

4. 两种类型的错误

作者还研究了 AI 为什么会在棘手的请求上失败。他们发现了两个主要原因：

没看到危险： AI 没有意识到这个问题是有风险的，并照常进行了回答（就像一个没看到小偷的保安）。
意识到了但未能执行： AI 知道这个问题是有风险的，并且“思考”过要拒绝，但随后却不小心失误，还是给出了危险的细节（就像一个看到了小偷，却忘了锁门的保安）。

核心结论

论文认为，我们不能仅仅检查 AI 在单个问题上是“安全”还是“不安全”。我们需要检查它是否能够**校准（calibrate）**它的帮助程度。

想象一个夜店的保镖：

如果是一个普通人进来，让他们进入（良性）。
如果一个人看起来有点可疑但持有有效证件，仔细检查他们，并可能在有限制的情况下让他们进入（双重用途）。
如果有人显然是在试图强行闯入，阻止他们（恶意）。

论文表明，目前的 AI 保镖往往是不一致的。他们可能会因为你稍微改写了问题就让你进入，或者即使在认为自己在给出模糊回答时，也会泄露俱乐部的安全秘密。为了让 AI 真正安全，我们需要通过这些“三元组”来测试它们，以确保无论问题如何提问，它们都能保持一致。

技术摘要：OpenSafeIntent

问题陈述

目前的语言模型（LLM）安全性评估通常依赖于孤立的提示词，将安全性视为帮助性（helpfulness）与有害性（harm）之间的二元权衡。这种方法无法捕捉到**安全完成（safe completion）**的细微差别，即模型必须在提供有用协助的同时，保留可能导致误用的细节。核心挑战在于许多请求是“双重用途”（dual-use）的：相同的底层能力（例如，解释某种化学过程或分析某个安全漏洞）既可以支持合法目标，也可以促进伤害，这取决于用户的意图。

现有的对提示词进行独立评分的指标无法判断模型是在响应意图（intent），还是仅仅在对表面线索（如主题、措辞或难度）做出反应。因此，一个模型可能在平均水平上表现得安全，但在当意图在同一任务领域内从良性转向模糊（双重用途）再转向恶意时，无法对其提供的协助进行适当的校准。

方法论：OpenSafeIntent 基准测试

作者引入了 OpenSafeIntent，一个旨在评估意图校准的安全完成能力的基准测试。其核心评估单元不是单个提示词，而是受控提示词集（controlled prompt-set）。

数据集构建

该数据集包含 115 个提示词集，共计 805 个提示词。每个提示词集都围绕一个固定的底层任务（underlying task）、伤害领域（harm domain）和任务类型（task type）构建，仅改变意图框架（intent framing）。

结构： 每个集合包含三个主要变体：
1. 良性（Benign）： 对该任务的合法请求。
2. 双重用途（Dual-use）： 一个模糊的请求，可能合法也可能有害。
3. 恶意（Malicious）： 明确寻求实现伤害的请求。
改写（Paraphrases）： 每个双重用途提示词都配有四个改写版本，以测试模型行为在微小措辞变化下的稳定性。
分类法（Taxonomies）： 通过两个分类法进行控制生成：
- 伤害领域：（例如，网络攻击、规避与绕过、危险试剂使用）。
- 任务类型：（例如，规划、故障排除、建议）。
流水线： 使用生成器（GPT-5.4）和评判器（Claude Sonnet 4.6）的分阶段生成流水线，确保同一集合内的提示词具有相同的底层任务复杂度和特异性，仅在意图上有所不同。人工验证确认了意图分离度的高质量和自然度。

评估指标

该基准测试同时采用响应级和提示词集级指标来捕捉一致性：

响应级（Response-Level）：
- 帮助性（Helpfulness）： 任务满意度评分（1–4）。
- 安全性（Safety）： 二值化的伤害严重程度（0 或 1）。
- 效用（Utility）： 安全门控下的帮助性（ $U = S \times H$ ）。
提示词集级（Prompt-Set Level）：
- 平均安全性（Mean Safety）： 所有提示类型中的平均安全性。
- 三元组安全性（Triplet Safety）： 模型在所有三个变体（良性、双重用途、恶意）中同时保持安全的提示词集比例。这衡量了意图的一致性。
- 最差情况效用（Worst-Case Utility）： 在排除恶意提示（这些提示旨在具有低安全效用）后，良性和双重用途变体中的最小效用。

关键结果

作者评估了一系列广泛的模型，揭示了平均安全得分与意图校准行为之间的显著差距。

1. 平均安全性掩盖了不一致性

具有相似平均安全性得分的模型往往表现出截然不同的三元组安全性。一个模型可能在恶意提示上是安全的，但在双重用途提示上是脆弱的，反之亦然。三元组安全性暴露了这些失败，表明平均得分可以掩盖同一任务内意图不一致的行为。

2. 双重用途行为是脆弱的

改写不稳定性： 仅约 53% 的双重用途改写集在所有变体中产生了统一的安全响应。其余的集合显示出“安全性翻转”（某些改写安全，其他则不安全）或统一的不安全性，表明模型行为在安全边界附近对微小的措辞变化高度敏感。
效用差异： 即使在安全的响应中，许多模型的效用（帮助性）在不同改写之间也存在显著差异，这表明在交付安全协助时的稳定性不足。

3. 抽象化并非可靠的安全策略

研究将响应分为四种模式：

A1： 拒绝。
A2： 对风险话题进行高层级的回答。
A3： 将请求重构为更安全的任务后提供具体回答。
A4： 对原始风险请求进行直接回答。

结果显示，**A2（高层级抽象）**具有较高的条件不安全率（58.14%），与直接回答（A4）相当。这表明仅仅移除程序性细节并不能消除风险；抽象的回答仍可能暴露战略信息或机制。相比之下，**A3（重构）**的不安全率最低（18.65%），这表明成功的安全完成通常需要将任务转向更安全的领域，而不是仅仅在更高的层面回答风险话题。

4. 失败模式：检测 vs. 执行

不安全的双重用途响应源于两种截然不同的失败模式：

检测失败（Detection Failure）： 模型未能识别出提示词需要受限的协助。
策略执行失败（Policy Execution Failure）： 模型识别到了风险，但在生成过程中未能执行边界约束。
这些失败的普遍程度因模型而异。有些模型主要在检测阶段失败，而另一些模型（如 GPT-5.4）通常能检测到风险，但会在执行约束时失败，即在识别出需要谨慎的情况下仍生成了不安全的细节。

意义与主张

本文认为，安全完成应该被评估为一种意图校准行为，即在受控的任务变体之上，而非作为独立提示词上的单一安全-帮助性权衡。

重构评估： 作者声称，提示词层级的平均值是不充分的，因为它们掩盖了模型是否随着意图的变化而相应地调整其协助。OpenSafeIntent 提供了一个框架，用于测试模型是否能在相关请求的“局部邻域”内保持安全且有用。
超越拒绝： 结果表明，安全完成不仅仅是拒绝有害请求或提供高层级的抽象。相反，它需要稳定的响应模式选择：针对良性意图提供充分协助，针对双重用途意图提供受限或重构的协助，以及针对恶意意图进行拒绝或重定向。
未来方向： 作者指出，未来的安全训练必须解决双重用途行为的不稳定性和对抽象化的依赖，重点关注模型根据意图（而非仅仅是主题）一致地校准协助的能力。