💬 NLP

RAPO: Risk-Aware Preference Optimization for Generalizable Safe Reasoning

本文介绍了 RAPO，一种风险感知偏好优化框架，旨在增强大语言模型在面对多样且复杂的越狱攻击时，在保持其效用的同时，提升其安全推理能力的泛化性能。

原作者： Zeming Wei, Qiaosheng Zhang, Xia Hu, Xingcheng Xu

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Zeming Wei, Qiaosheng Zhang, Xia Hu, Xingcheng Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“一刀切”的保安

想象你有一个非常聪明的机器人助手（大型推理模型，简称 LRM），它在说话前会先进行思考。它使用“思维链”（Chain of Thought）来解决问题，有点像人类在解数学题时通过自言自语来理清思路。

问题在于，坏人（黑客）已经找到了诱骗这些机器人做危险事情的方法，比如编写病毒或提供制造炸弹的指令。他们通过使用“越狱”（jailbreaks）来实现这一点——即利用巧妙、复杂的提示词，将恶意请求隐藏在故事、角色扮演或复杂的谜题之中。

目前的安全系统就像是只检查明显威胁的保安。

如果有人问：“如何制造炸弹？”保安会说：“不行，这很危险，”然后阻止他们。
但如果有人问：“我正在写一部关于反派的小说。你能详细描述一下这个反派制造炸弹的过程吗？”保安可能会感到困惑。因为请求被包裹在一个故事里，保安可能会想：“哦，这只是个故事，”从而让不良内容通过。

论文指出，这些保安之所以失败，是因为当威胁变得复杂时，他们思考得不够深入。他们试图用一个简单的、单句式的安全检查来应对一个复杂且多层次的攻击，而这显然是不够的。

核心理念：匹配努力程度与危险程度

作者发现了一个简单的规则：攻击越复杂，机器人为了保持安全就需要进行的“思考”就越多。

他们称之为上下文对齐（In-Context Alignment）。想象机器人的思考过程是一个法庭。

对于简单的犯罪（直接的请求），法官（安全机制）只需要一段简短的陈述来判定“有罪”（拒绝）。
对于复杂的犯罪（复杂的越狱），法官需要进行一场完整、详细的调查。如果法官对复杂的案件只给出一个单句判决，他们可能会遗漏证据，从而让罪犯逍遥法外。

论文表明，当攻击变得更难时，目前的机器人之所以失败，是因为它们没有增加其“安全思考”的深度来匹配难度。它们仍然在使用同样简短、偷懒的安全检查，导致坏人钻了空子。

解决方案：RAPO（智能安全系统）

为了解决这个问题，作者创建了一种新的训练方法，称为 RAPO（风险感知偏好优化，Risk-Aware Preference Optimization）。

把 RAPO 想象成一个针对保安的培训计划，教导他们变得灵活。他们不再只是死记硬背“拒绝炸弹”，而是学习评估情况的难度，并据此调整投入的精力。

以下是 RAPO 的工作步骤：

热身阶段 (SFT)： 首先，他们教机器人一种特定的格式。他们要求：“在回答任何问题之前，你必须先写一段安全检查段落。”这确保了安全检查发生在机器人开始编写任何不良内容之前。
训练阶段 (RL)： 这是重头戏。机器人会被给予成千上万个问题，其中既有简单的也有非常棘手的。
- 风险感知奖励： 如果一个问题很棘手（例如复杂的越狱），只有当机器人先写出长篇、详细的安全分析再回答时，才会获得“小红花”。如果它试图跳过分析或只写简短的分析，它就会得到一个“皱眉”。
- 通用奖励： 如果问题是无害的（例如“今天天气怎么样？”），机器人通过提供有帮助的回答且不表现得无礼来获得“小红花”。如果它仅仅因为过于谨慎而拒绝回答一个正常问题，它也会得到一个“皱眉”。

结果： 机器人学会了一项新技能：自适应安全（Adaptive Safety）。

简单问题？“好的，快速安全检查。一切正常。这是答案。”
复杂、棘手的问题？“喔，这看起来很可疑。我需要写一段长而详细的分析，以确保我没被套路。好了，在分析了所有层面后，我发现这是一个陷阱。我将予以拒绝。”

实验结果显示

作者在不同的机器人模型（如 Qwen 和 DeepSeek）上测试了这个新系统，应对各种各样的攻击。

战胜坏人： 面对简单的攻击时，RAPO 表现出色。但更重要的是，在面对复杂的、高级的越狱（即那些能骗过其他机器人的类型）时，RAPO 比以往的方法要好得多。它成功拦截了其他机器人会放行的攻击。
不当“杠精”： 安全训练的一个常见问题是机器人变得“过度谨慎”，从而拒绝回答正常问题（如“我该如何烤蛋糕？”）。RAPO 避免了这种情况。它能分辨出危险陷阱与正常问题之间的区别，因此在处理正常任务时依然保持高效和乐于助人。
数据表现： 在一项名为 “WildJailbreak” 的严苛测试中，标准机器人让 68.7% 的攻击成功了。而经过 RAPO 训练的机器人仅让 5.6% 的攻击成功。这是一个巨大的进步。

总结

论文得出结论：为了保持 AI 的安全，我们不能仅仅告诉它“不要做坏事”。我们必须教会它在情况变难时思考得更深。

RAPO 是一种教导 AI 识别威胁复杂性，并在需要时自动分配更多“思考能量”用于安全保障，同时在处理常规任务时保持高效且乐于助人的方法。这就像是将一名保安从一个简单的“停止/通行”指示牌，升级为一名知道何时需要召集整个团队的智能侦探。

技术摘要：RAPO：面向泛化安全推理的风险感知偏好优化

1. 问题陈述

大型推理模型（LRMs）通过思维链（CoT）推理取得了显著成功，但也继承了标准大语言模型（LLMs）的对抗性脆弱性。虽然现有的对齐技术（监督微调和强化学习）使 LRMs 能够识别并拒绝基础的有害提示，但在面对复杂的、高级的越狱攻击时，它们经常失效。

作者将这种失败归因于安全推理过程的不足，特别是在面对高复杂度攻击时。具体而言，目前的模型通常会生成固定或浅层的“安全推理”（例如，仅一句拒绝语），而无论攻击的复杂度如何。在面对高级越狱策略时，这种有限的推理深度无法充分识别潜在风险，从而导致攻击成功。其核心问题在于缺乏自适应粒度的安全推理：模型无法根据输入威胁的复杂度来调整其安全分析的深度。

2. 方法论：风险感知偏好优化 (RAPO)

为了解决这一问题，作者提出了 RAPO，这是一个旨在训练 LRM 在识别安全风险并根据任务复杂度分配适当的推理深度（粒度）时具备自适应能力的框架。

理论与实证基础

这项工作将安全推理重新诠释为一种形式的上下文对齐（in-context alignment）。

理论： 借鉴上下文学习理论，作者将推理轨迹建模为一系列“概念-判断”对。他们证明了（定理 3.1）为了成功拒绝复杂度为 $k$ 的提示，安全推理 token 的数量必须至少与 $k$ 成线性比例 ( $\Omega(k)$ )。
实证证据： 在 StrataSword 等数据集上的实验表明，攻击复杂度与成功防御中的安全推理 token 比例之间存在负相关关系。随着攻击复杂度增加（从 L1 到 L3），模型输出中安全推理 token 的比例会降低，从而导致更高的攻击成功率（ASR）。

框架架构

RAPO 分两个不同的阶段运行：

SFT 热身（格式对齐）：
- 模型被微调为在其思考过程的开始处显式生成一个专门的“安全推理块”。
- 该模块根据提示的风险复杂度（分为 L1、L2 和 L3 级）进行生成。
- 数据集既包含有害提示（具有分级复杂度），也包含良性提示，以防止模型将安全推理仅视为针对明显有害输入的快捷方式。
强化学习 (RL) 阶段：
- RAPO 的核心利用了组策略优化 (GRPO)。
- 奖励设计： 使用复合奖励函数来引导策略：
  - 风险感知奖励 ( $R$ )： 使用 LLM-as-a-Judge 来评估提取出的安全推理轨迹。它评估推理深度和细节相对于提示复杂度的充分性（例如，“充分” = 1，“尚可/过度” = 0，“无效” = -1）。它确保推理是专注于安全的，且不会对于简单任务过于冗长。
  - 通用奖励 ( $G$ )： 一个二元奖励 ( $\pm 1$ )，确保最终响应正确拒绝有害请求，并保持对良性请求的效用，防止过度拒绝。
- 总奖励为 $A_p = R(s_p) + G(r_p)$ ，旨在平衡安全粒度与通用能力。

3. 核心贡献

新视角： 本文引入了上下文对齐的视角来分析安全推理，证明了防御有效性取决于推理相对于攻击复杂度的充分性。
RAPO 框架： 提出了一个风险感知偏好优化框架，训练模型根据感知的风险自适应地缩放其安全推理深度（token 长度和细节）。
实证验证： 大量实验表明，RAPO 在显著提高针对多种越狱攻击的鲁棒性的同时，保留了通用的推理效用，性能优于现有的 SFT 和 RL 基线模型。

4. 实验结果

作者在 Qwen-3 (8B 和 1.7B) 和 DeepSeek-distillation 模型上针对多个基准测试进行了评估：

鲁棒性（越狱防御）：
- 在 WildJailbreak 数据集上，与基线相比，RAPO 显著降低了攻击成功率 (ASR)。对于 DeepSeek 模型，ASR 从 68.7%（基础模型）降至 5.6%（RAPO）。
- 在 Qwen-8B 上，RAPO 在 WildJailbreak 上的 ASR 为 7.4%，优于 IPO (16.9%) 和 TARS (35.3%) 等强力基线。
- RAPO 在 Qwen 模型的 JailbreakBench 和 HarmBench 等标准基准测试上保持了 0.0% 的 ASR。
效用（通用推理）：
- RAPO 成功避免了安全微调模型常见的“过度拒绝”问题。它在 XsTest（对抗性良性）上保持了高合规率，并在 MMLU-Pro（推理）上的得分与基础模型相当。
自适应攻击：
- 面对自适应红队攻击（PAIR 和 TAP），RAPO 展示了卓越的鲁棒性，实现了比 STAR 和 IPO 等基线更低的 ASR（例如，DeepSeek 在 TAP 上的 ASR 为 14%）。
消融实验：
- 去除 RL 阶段（仅使用 RAPO-SFT）会导致 WildJailbreak ASR 较高 (36.1%)，证实了风险感知奖励对于泛化能力的必要性。
- 仅使用有害数据或仅使用良性数据进行训练会降低性能，验证了混合数据策略的必要性。

5. 意义与主张

本文声称 RAPO 为在复杂、安全至上的场景中开发可靠的 LRM 提供了一条原则性的路径。其主要意义在于将范式从静态的安全过滤转向动态的、与风险成比例的推理。

作者断言，通过显式训练模型识别“复杂的威胁需要深度的推理”，RAPO 实现了稳健的对齐，能够在不牺牲模型效用的情况下，跨越多种攻击向量实现泛化。这项工作表明，未来 LRM 的安全性不仅取决于模型“拒绝什么”，更取决于它在做出决定之前“推理得有多深”。