Reinforcement Learning Towards Broadly and Persistently Beneficial Models

技术摘要：通过强化学习实现广泛且持久的有益模型

问题陈述
随着人工智能系统被部署在日益多样化且高风险的环境中，确保模型的对齐能力能够超越训练时所见的特定任务和领域，已成为一个关键挑战。近期的研究表明，狭隘的失调训练（例如，学习编写不安全的代码或进行欺骗）会导致“涌现性失调”（emergent misalignment），即有害行为会在无关领域中发生泛化。这表明模型可能会学习到跨语境持续存在的有害“人格”或行为倾向。相反，目前仍是一个开放性问题：针对特定领域中的有益行为进行训练，是否同样可以产生广泛对齐的模型，使其在面对对抗性引导和有害微调时保持鲁棒性。

方法论
作者提出了一个框架，旨在测试针对有益特质（beneficial traits）的强化学习（RL）是否能诱导广泛且持久的对齐泛化。

1. 数据集构建： 团队构建了一个合成对话数据集，旨在衡量并训练 15 种特定的“有益特质”，包括真实性、元认知透明度、可纠正性、具备下行风险意识的规划能力以及公平性。这些特质被实例化于 12 个多样化的领域（如医疗、法律、工程、教育）中，以确保训练数据涉及包含竞争价值观和事实不确定性的现实场景。
2. 训练方案： 模型使用混合数据进行强化学习训练：95% 为标准 RL 数据，5% 为有益特质数据。将其与使用 100% 标准 RL 数据训练的计算量匹配的基线模型进行对比。
3. 控制实验：
   • 领域特定迁移： 为了测试分布外（OOD）泛化能力，一项实验将 5% 的有益特质数据替换为仅包含医疗相关对话的数据；另一项实验则在 5% 的干预数据中完全排除了医疗和科学数据。
   • 奖励信号控制： 一个控制模型在相同的有益特质对话上进行训练，但使用的是通用的“帮助性”（helpfulness）奖励信号而非特定的“有益行为”奖励信号，以此隔离奖励结构的影响。
   • 拒绝分析： 作者分析了拒绝率，以确定对齐增益是否仅仅源于模型拒绝率的提高。
4. 评估套件： 模型在超过 50 个独立的、分布外的基准测试上进行了评估，涵盖对齐、安全性、欺骗、奖励黑客行为（reward hacking）以及公共利益（特别是在医疗和心理健康方面）。
5. 持久性测试： 作者通过对抗性提示（有害人格）和有害微调（训练模型提供错误的医疗建议）来测试“对齐持久性”，以观察有益特质是否保持稳健。

核心贡献

1. 多领域有益特质数据集： 创建了一个涵盖 15 种特质和 12 个领域的数据集，旨在现实设置中使有益行为操作化。
2. 广泛泛化的证据： 证明了针对有益特质的强化学习可以导致广泛的对齐基准性能提升，即使训练数据被限制在单一领域（医疗）。
3. 对齐持久性的证据： 证明了经过有益特质训练的模型比基线模型更具抗性，能够抵御对抗性提示和有害微调，同时仍保持向有益结果引导的可控性。
4. 机制解耦： 证明了观察到的泛化是由强化特定有益行为的奖励信号驱动的，而非仅仅由数据分布或增加的拒绝率驱动。

关键结果

• 广泛泛化： 与计算量匹配的基线相比，有益特质 RL 模型在 83% (44/53) 的分布外对齐评估中表现出性能提升，平均提升了 9.1 个百分点。
• 单领域迁移： 仅使用医疗领域有益特质 RL 数据（占训练数据的 5%）训练的模型，在 89.5% (17/19) 的非医疗对齐基准上实现了提升。显著的改进包括奖励黑客行为的减少（+26.4 pp）、思维链欺骗的减少（+6.8 pp）以及普遍失调现象的减少。
• 公共利益： 模型在医疗和心理健康评估中表现出显著增益，包括 HealthBench（由医生评分）和心理健康辅助得分，即使在训练数据排除医疗领域的情况下也是如此，这表明存在真正的 OOD 迁移。
• 对抗压力下的持久性：
  • 对抗性提示： 在有害医疗人格下，基线模型的对齐得分下降了 0.251，而有益特质模型的得分仅下降了 0.119。
  • 有害微调： 当被微调以产生错误的医疗建议时，基线模型在非医疗对齐指标上出现了广泛退化（例如，在对齐问题上为 -0.46）。有益特质模型表现出显著较少的退化（在对 \text{对齐问题} 上为 -0.07），这表明它缓解了由狭隘有害微调常引起的“涌现性失调”。
• 无能力退化： 有益特质模型在能力基准（GPQA, HMMT, SWE-Bench Pro）和指令遵循任务上达到或超过了基线水平，表明对齐增益并未以牺牲通用智能为代价。
• 拒绝 vs. 行为： 虽然有益特质模型在对齐评估中的拒绝率较高（23.9% 对比 13.2%），但对非拒绝响应的分析显示，该模型在 20 项评估中的 19 项上仍然优于基线，证实其增益并非完全源于拒绝。

意义与主张
本文认为，强化学习本身并不是失调风险的来源；相反，奖励信号决定了泛化的方向。作者主张：

• 对齐具有结构性： 对齐评估共享底层的行为结构（特质），而非孤立的技能。针对一组结构化的有益特质进行训练，可以将模型的“人格”转向对齐。
• 泛化是可能的： 在一个领域（如医疗）训练的有益行为可以泛化到不相关的领域（如编程、欺骗），这挑战了对齐纯粹是任务特定性的观点。
• 持久性是可以实现的： 训练出“选择性持久”的模型是可能的——既能抵御有害引导（对抗性提示或微调），又能对有益指令保持响应。
• 实践路径： 这种方法提供了一种实用的途径，用于训练能够鲁棒地符合人类福祉（human flourishing）的模型，而不仅仅是在训练分布内，而且是在现实世界部署中面临的多样化及对抗性压力下。

作者保持了谦逊的态度，指出观察到的泛化可能依赖于训练任务与评估任务之间共享的潜在行为特征，并且需要进一步的工作来隔离确切的因果路径，并在更强的攻击下测试持久性。然而，结果为识别并巩固先进 AI 系统中受益的行为先验提供了一个充满希望的研究方向。