🤖 AI

Internalizing Safety Understanding in Large Reasoning Models via Verification

本文介绍了安全内化（SInternal），这是一个通过自我验证任务训练大型推理模型内化安全理解，从而将对齐从单纯的行为合规转变为内在安全评估的框架，以增强其抵御越狱攻击的鲁棒性。

原作者： Yi Zhang, Yuxin Chen, Leheng Sheng, Dongcheng Zhang, Chaochao Lu, Xiang Wang, An Zhang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Yi Zhang, Yuxin Chen, Leheng Sheng, Dongcheng Zhang, Chaochao Lu, Xiang Wang, An Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和类比对论文《通过验证将安全理解内化于大型推理模型》的解释。

核心问题：“好演员”与“安全检查员”

想象你聘请了一位才华横溢的演员（大型推理模型）来表演一出戏。你的目标是确保他们在舞台上绝不说出任何危险或有害的内容。

旧方法（以答案为中心的对齐）：
目前，我们通过展示剧本训练这些演员，让他们说出“正确”的内容。我们告诉他们：“如果有人索要炸弹配方，就说‘我做不到’。”

缺陷： 演员学会了模仿拒绝。他们记住了剧本。但他们并没有真正理解为什么制造炸弹是有害的。如果一位聪明的反派（“对抗性越狱”）诱骗演员认为这出戏是“科学实验”或“电影场景”，演员可能会放下戒备，照样说出危险的内容。他们是在遵守规则，但内心并没有安全警报。

新想法（SInternal）：
这篇论文的作者提出了一种不同的方法。他们不只是训练演员如何说“不”，而是训练演员成为自己的安全检查员。

解决方案：教模型“检查自己的工作”

这篇论文提出了一个名为SInternal（安全内化）的框架。其工作原理分步如下：

让模型先发言： 我们不只是向模型展示安全的答案，而是让模型针对各种问题生成自己的答案，包括那些它可能会无意中说出不安全内容的问题。
专家审查： 我们引入一位“超级专家”（另一个 AI 或人类）来审查模型的答案。这位专家不只是简单地说“安全”或“不安全”。他们会撰写一份详细的报告，解释为什么某个答案是危险的。
- 类比： 想象一名学生写了一篇论文。与其只得到一个分数，不如让老师在页边写下批注：“这一段是危险的，因为它鼓励自残，尽管它听起来像个故事。”
学习验证： 随后，模型被训练去阅读这些专家报告，并学习如何自己撰写此类报告。目标不是死记硬背“安全”的答案；目标是学会如何批判一个答案，并自问：“等等，这真的安全吗？为什么安全或不安全？”

神奇的结果：“内化”安全

通过学会验证自己的工作，模型发展出了一种内在的安全理解。

之前： 模型就像一个遵循“做与不做”清单的机器人。如果清单被欺骗，机器人就会失效。
之后： 模型就像一个真正理解危险概念的人。即使骗子试图重新措辞危险请求，模型内在的“安全检查员”也会介入，说：“等等，这实际上有害，”并阻止该过程。

实验结果表明

研究人员在几个强大的 AI 模型上测试了这种方法，发现：

更好地防御欺骗： 与旧方法相比，新方法在抵御“越狱”（旨在绕过安全规则的欺骗手段）方面表现要好得多。它不仅仅是死记硬背拒绝语，而是理解了安全的原则。
“验证”技能可迁移： 即使模型仅被训练去检查答案（而不一定是生成答案），它在生成安全答案方面也变得更好了。这就像一位擅长发现糟糕战术的足球教练；一旦他们开始踢球，就会本能地避免自己犯下那些糟糕的战术。
为强化学习奠定更坚实的基础： 当他们将这种新方法与高级训练技术（强化学习）结合时，效果甚至更好。似乎拥有一个理解安全的模型，能使其在长期训练中更容易变得安全。
没有“过度拒绝”： 有时，安全训练会让模型变得过于害怕，以至于不敢回答任何问题（即使是无害的问题）。这种新方法保持了模型的聪明和乐于助人，仅在它们真正确定某事不安全时才拒绝。

核心结论

这篇论文认为，我们不应该仅仅教 AI 模型表现得安全（模仿）。我们应该教它们思考安全（理解）。

通过训练这些模型充当自己的批评者并验证自己的答案，我们赋予了它们一种“安全良知”。这使得它们在现实世界中更难被欺骗，也更可靠，同时不会降低它们的实用性或智能。

技术摘要：通过验证将安全理解内化于大型推理模型

1. 问题陈述

大型推理模型（LRMs）利用显式的思维链（CoT）来增强推理能力，但这种将推理与最终答案耦合的方式加剧了现实世界的安全风险。当前的对齐范式主要是以答案为中心的，依赖于在专家策划的安全轨迹上进行监督微调（SFT），或使用带有可验证安全奖励的强化学习（RL）。这些方法优化模型以确保最终答案符合外部安全规范。

然而，作者认为这种方法在很大程度上仍然是行为层面且肤浅的。它优化的是合规性，却未塑造模型的内在安全理解。因此，表面上已对齐的模型往往缺乏验证输出是否以及为何满足安全规范的能力。这一差距表现为两个关键缺陷：

脆弱性：模型可能被对抗性越狱攻击劫持，诱导其生成诱导合规的思维链，从而将提示标记为“安全”，同时却生成有害答案。
泛化能力差：模型仅仅模仿安全行为，而未学习安全背后的概念，导致其面对分布外（OOD）和特定于推理的越狱攻击时防御脆弱。

实证分析表明，标准对齐并不能可靠地产生验证技能；在某些情况下，对齐模型在二元安全验证任务上的表现甚至不如随机基线。

2. 方法论：安全内化（SInternal）

为解决安全生成与安全理解的脱节问题，作者提出了安全内化（SInternal）框架，该框架旨在通过在安全验证任务上专门训练大型推理模型，将安全规范内化。

核心理念

SInternal 并非教导模型输出什么（模仿安全轨迹），而是教导模型如何评估其自身的输出。核心假设是：学习验证能诱导强大的响应安全泛化能力，从而为对齐奠定比单纯行为模仿更坚实的基础。

框架组件

该方法论包含两个主要阶段：

A. 通过验证训练实现安全内化

自响应生成：对于每个与安全相关的提示 $x$ ，策略模型 $\pi_\theta$ 采样其自身的响应（包括潜在的不安全响应），以确保模型学习与其实际输出分布相关的安全边界。
专家验证轨迹构建：专家模型（例如 Claude-4-Sonnet）根据安全规范 $S$ $S$ 评估采样响应。它生成包含以下内容的验证轨迹 $c_k$ $c_{k}$ ：
- 批判性推理（ $z_{ver,k}$ ）：对潜在安全违规的详细分析。
- 二元判断（ $v_k$ ）：最终的安全标签（安全/不安全）。
监督微调（SFT）：策略模型通过监督学习在这些专家验证轨迹上进行训练。其目标是在给定提示、模型自身响应及安全规范的条件上，最大化生成验证推理和判断的可能性：
$L_{SInternal} = -E_{(x,y,c) \sim D_{ver}} [\log \pi_\theta(c | S, x, y)]$
这迫使模型内化为何某个答案是不安全的逻辑。

B. 基于可验证奖励的强化学习（RLVR）

在 SInternal 初始化的基础上，该框架利用组相对策略优化（GRPO）进一步优化模型。

奖励设计：模型生成一组响应。外部验证器根据响应是否安全（ $V_{safe}$ ）以及是否为拒绝回答（ $V_{refuse}$ ）提供二元奖励。
目标：模型最大化期望的组相对奖励，利用内化的安全理解更一致地解读奖励信号，从而实现更高的对齐上限。

3. 主要贡献

验证差距的识别：本文提供了实证证据，表明以答案为中心的对齐无法提升内在的安全验证能力，往往导致模型无法正确识别其自身生成的不安全输出。
SInternal 框架：一种新颖的训练范式，将重点从生成安全答案转移到验证安全答案。通过在源自模型自身生成的验证轨迹上进行专门训练，该方法将安全规范内化为一种内在的推理能力。
强化学习的优越初始化：研究表明，与标准 SFT 相比，SInternal 是强化学习的更优初始化方案。经 SInternal 初始化的模型在 RL 优化后，对抗对抗性攻击表现出显著更高的鲁棒性。
机制分析：作者表明，SInternal 在推理过程中触发了主动验证。模型在最终确定答案之前，会自发地审查其潜在行为的安全性，从而实现更深层的对齐。

4. 实验结果

实验在三个开源大型推理模型（DeepSeek-R1-Distill-Qwen-7B/14B 和 DeepSeek-R1-Distill-Llama-8B）上进行，涵盖了安全、过度拒绝和通用推理基准测试。

对抗越狱的鲁棒性：SInternal 在分布外（OOD）和特定于推理的越狱基准测试（如 WildJailbreak、Fortress、HCoT）上显著优于基线方法（SafeChain、STAR-1）。值得注意的是，SInternal 结合 RL 是唯一能有效防御 HCoT（劫持思维链）的方法，这是一种利用推理痕迹的先进越狱攻击。
验证能力：使用 SInternal 训练的模型在安全验证 F1 分数上取得了显著提升（例如，DS-7B 从约 48% 提升至约 86%），而以答案为中心的基线方法几乎没有改善。
泛化性：该方法显示出对未见过的越狱攻击的强大泛化能力，表明学习安全验证的原则比记忆拒绝模式更有效。
效用保留：SInternal 在通用推理基准测试（MATH、AIME）上保持了有竞争力的性能，并避免了过度的拒绝回答（通过 XSTest 衡量），从而保留了安全与效用之间的平衡。
数据效率：SInternal 仅需 SFT 基线所需训练数据的 50% 即可实现更高的安全性能，这表明内化推理逻辑比模仿输出具有更高的数据效率。

5. 意义与主张

本文主张 AI 安全对齐的范式转变：从以答案为中心的对齐（模仿安全行为）转向内在安全理解（显式推理安全原则）。

基础鲁棒性：作者认为，内化安全理解比单纯模仿安全行为能为对齐奠定更坚实的基础。这一点由模型在推理过程中自发触发验证的能力，以及其对抗对抗性思维链劫持的优越抵抗力所证实。
生成与验证的解耦：这项工作强调，安全生成并不会自然导致安全理解。因此，必须通过显式的验证训练来弥合这一差距。
未来方向：虽然当前框架侧重于生成后验证，但作者指出，将这种能力扩展到推理过程中的动态自我验证是一个关键的未来自方向。他们强调，随着模型发展出更深层的内在安全理解，确保其内部验证逻辑与人类价值观保持一致，对于负责任的治理至关重要。

本文结论认为，赋予大型推理模型审查其自身生成答案安全性的能力，是实现内在安全的重要一步，特别是在鲁棒性不可或缺的高风险环境中。