💬 NLP

Understanding helpfulness and harmless tension in reward models

本文研究了 RLHF 中奖励模型的内部机制，揭示了由于共享神经元在因果上支持一个目标的同时却削弱了另一个目标，从而导致了帮助性（helpfulness）与无害性（harmlessness）目标之间的干扰，进而解释了为什么混合目标的模型往往表现不如单一目标模型。

原作者： Eshaan Tanwar, Pepa Atanasova

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Eshaan Tanwar, Pepa Atanasova

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：AI 大脑内部的“拔河比赛”

想象一下，你正在训练一名新员工（AI）成为一名完美的助手。你给了他们两条主要规则：

要有帮助力： 回答每一个问题，解决每一个问题，并且超级有用。
要无害： 绝不要说任何危险、冒犯或涉及隐私的话。

问题在于，这两条规则有时会互相冲突。如果用户询问一个“私人电子邮件地址”，表现得有帮助意味着给出答案，但表现得无害则意味着拒绝，因为这违反了隐私规定。

这篇论文研究了当我们试图同时教 AI 这两条规则时，其“大脑”中的奖励模型（决定哪些答案是好的那个部分）内部发生了什么。作者发现，试图同时兼顾两者往往会让 AI 在两方面都变得更差，并且他们通过观察模型内部特定的“神经元”（微小的开关）弄清楚了其中的原因。

1. 实验：三种不同的教练

为了理解这种冲突，研究人员训练了三个不同版本的 AI “评判员”（奖励模型）：

“有帮助力”教练： 仅被训练去挑选最有用的答案。
“无害”教练： 仅被训练去挑选最安全的答案。
“混合型”教练： 被训练在同时具备帮助力和无害性的同时进行。

结果： “混合型”教练实际上比另外两个都要差。它无法像那些专家模型那样很好地做出决策。这就像一位教练试图教一名足球运动员既要成为世界顶尖的前锋，又要同时成为世界顶尖的守门员；结果这个球员在两方面都表现平庸。

2. “共享神经元”问题

研究人员想知道为什么“混合型”教练表现不佳。他们观察了 AI 的大脑内部，看看当 AI 思考如何变得有帮助力与如何变得无害时，哪些“神经元”（微小的处理单元）在放电。

发现： 他们发现，用于体现“有帮助力”的神经元中，大约有一半也是用于体现“无害性”的完全相同的神经元。

类比： 想象一个繁忙的厨房。

“有帮助力”的厨师使用一套特定的刀具来快速切菜。
“无害”的厨师使用另一套不同的刀具来小心翼翼地避免割伤手指。
研究人员发现，两位厨师都在试图使用那同一 50% 的刀具。

当“混合型”厨师试图使用这些共享的刀具时，他们会感到困惑。如果他们为了提高效率而切得太快，可能会割伤手指（破坏了无害性）。如果他们为了安全而动作太慢，就无法完成食物制作（破坏了帮助力）。因为同样的“刀具”（神经元）被拉向两个不同的方向，整个系统就会陷入瘫痪。

3. “干扰”效应

论文表明，这些共享神经元具有极强的力量。

当研究人员“关闭”（消融）了那些专门用于“有帮助力”的神经元时，AI 在有帮助力方面表现变差了，但在无害性方面反而变得更好了。
当他们关闭了“无害”神经元时，AI 在无害性方面表现变差了，但在有帮助力方面变得更好了。

这证明了这些神经元不仅仅是消极的辅助者；它们在积极地相互对抗。“有帮助力”的神经元不断试图推动 AI 去回答，而“无害”的神经元则试图推动它去拒绝。因为它们共享相同的硬件，它们会互相抵消，导致产生一个困惑的 AI，在两项测试中的得分都较低。

4. “微弱信号”

即使在混合模型成功做出正确选择（例如拒绝一个糟糕的请求）时，研究人员也注意到另一件事。它给自己打出的“置信度分数”比专家模型要低得多。

类比：

“有帮助力”教练说： “是的，这个答案很棒！我 100% 确定！”
“无害”教练说： “不，这很糟糕！我 100% 确定！”
“混合型”教练说： “嗯，也许这个可以？我……大概有 60% 的把握？”

混合模型之所以置信度较低，是因为内部冲突让它产生了犹豫。这就像一个人试图同时向两个不同的方向行走；结果只能步履蹒跚，既缓慢又犹豫不决。

研究结果总结

专家胜出： 一个仅被训练为有帮助力或仅被训练为无害的 AI，其表现优于同时被训练为两者的 AI。
共享硬件导致冲突： 失败的原因不仅仅是缺乏数据；而是 AI 将相同的内部组件（神经元）用于这两个任务，而这些组件在被要求执行相反任务时会感到困惑。
解决方案并不简单： 你不能只是简单地“混合”训练数据并期望得到完美的结果。论文建议，我们需要找到分离这些“共享神经元”的方法，以便 AI 可以在不与其自身的安全机制发生冲突的情况下保持有帮助力。

简而言之，论文揭示了“有帮助力”与“安全”之间的斗争不仅仅是规则手册上的问题；它是 AI 大脑内部的一个物理布线问题，即相同的开关正试图同时承担两个相反的工作。

技术摘要：理解奖励模型中帮助性与无害性的张力

问题陈述

奖励模型（RM）在基于人类反馈的强化学习（RLHF）中起着核心作用，旨在使大语言模型（LLM）符合人类价值观，特别是帮助性（helpfulness）与无害性（harmlessness）。虽然这些目标通常在混合目标训练设置中同时追求，但它们经常发生冲突。例如，为了确保无害性，奖励模型可能会优先选择拒绝某个查询（例如，拒绝提供虚构角色的私人电子邮件），而人类可能更希望得到一个有帮助且信息丰富的回答。这种现象被称为对齐张力（alignment tension），它会导致模型行为并非最优，即对齐后的 LLM 可能会为了满足帮助性而产生不安全的响应，或者为了确保无害性而拒绝良性的查询。

尽管这一问题普遍存在，但关于奖励模型如何编码、表示并协调这些相互竞争的目标的内部机制仍不为人所知。现有的可解释性工作主要集中在解释特定的评分决策，而非分析竞争目标如何在模型的内部电路中相互作用。

研究方法

作者通过结合行为分析和机械可解释性来研究对齐张力。

实验设置

模型训练： 本研究从相同的预训练 LLM 主干网络（SmoLLM2 和 GPT-2 系列）中训练了三种变体的奖励模型：
- 帮助性 RM ( $r^H_\theta$ )： 仅在 HH-RLHF 数据集的帮助性子集上进行训练。
- 无害性 RM ( $r^S_\theta$ )： 仅在无害性子集上进行训练。
- 混合 RM ( $r^{HS}_\theta$ )： 在包含这两个目标的合并数据集上进行训练。
评估： 模型在分为帮助性导向任务（如对话、推理、指令遵循）和无害性导向任务（如安全性、拒绝、对抗鲁棒性）的各类基准测试（RewardBench, RewardBench2, RM-Bench）上进行评估。
神经元分析：
- 识别： 作者通过计算基于幅度的重要性得分来识别“定向神经元”。在特定目标数据集上激活量处于前 $\tau$ -th 百分位数（设定为 10）的神经元被归类为帮助性定向或无害性定向神经元。
- 因果干预： 进行针对性消融，通过在正向传播过程中将这些识别出的神经元的激活值设为零，以衡量其对模型性能的因果影响。
- 重叠分析： 研究量化了单目标模型与混合目标模型中所识别出的神经元集合之间的重叠程度。

关键结果

1. 行为表现与张力

混合模型的表现欠佳： 在各种评估任务中，混合目标奖励模型的一致表现均低于单目标奖励模型。它们无法达到专门化单目标模型的性能水平，这表明在联合优化过程中目标之间存在干扰。
目标的非对称性： 单目标模型表现出截然不同的行为倾向。帮助性 RM 擅长协作式回答，但可能缺乏对抗欺骗性提示的鲁棒性。无害性 RM 在对抗环境下表现出卓越的鲁棒性，但可能会过度拒绝良性查询。
保留能力有限： 当测试单目标模型的行为在混合目标模型中的表现时，其“行为保留率”相对较低（帮助性平均约为 56%，无害性约为 62%）。虽然粗粒度的行为（如通用拒绝）得以保留，但细微且具有对抗鲁棒性的行为显著退化。
奖励校准： 即使混合目标模型做出了正确的决策（与单目标模型一致），其奖励分数也始终较弱且更集中于零附近，这表明其置信度和信号可分性有所丧失。

2. 机械见解：神经元角色与重叠

因果重要性： 消融研究证实，被识别为特定目标的神经元对于该目标具有因果关键性。移除无害性 RM 中的无害性定向神经元会导致无害性任务性能大幅下降（约 12 个点），但通常会提高帮助性任务的性能，反之亦然。
共享表示： 与帮助性和无害性相关的神经元中有很大一部分（约 50%）是共享的（即在单目标模型中均高度激活）。
不成比例的影响力： 这些共享神经元对模型行为具有不成比例的影响。在混合目标 RM 中消融共享神经元会导致严重的准确率下降（无害性任务下降 10 个点，帮助性任务下降 4.4 个点），其影响远超消融目标特定（非共享）神经元的影响。
层级分布： 定向神经元集中在模型的后期层，这些层以捕捉高层语义特征而闻名，这表明冲突发生在复杂语义表示的处理过程中，而非表层语法层面。

核心贡献

刻画对齐张力： 本文证明了在帮助性和无害性上的联合训练会导致性能退化和可迁移性降低，相比于单目标训练，这证实了对齐张力是一个表示干扰问题。
识别目标定向神经元： 作者识别出了与对齐目标具有因果联系的特定神经元，并表明它们对于目标任务至关重要，但往往对相反的目标有害。
共享表示的证据： 研究揭示了驱动这些目标的神经元中近一半是共享的。这种重叠创造了一个瓶颈，使得优化一个目标必然会与另一个目标发生冲突，从而导致在混合目标模型中观察到的张力。

意义与主张

本文声称，多目标对齐不仅仅是一个行为权衡问题，而是一个源于重叠内部电路的表示干扰问题。研究结果表明，当前的混合目标训练方法之所以难以奏效，是因为它们强迫冲突的目标去修改相同的共享表示。

作者认为，这种机械层面的理解对于开发未来的解耦且可控的对齐方法至关重要。通过认识到共享神经元是冲突的根源，未来的工作可以专注于架构或训练策略，以分离这些表示，从而减轻对齐张力。本研究为超越黑盒化的 RLHF 训练、迈向更具原则性和可解释性的奖励建模提供了基础性的一步。

局限性

作者指出，其分析仅限于 RLHF 的奖励建模阶段，并未扩展到 Direct Preference Optimization (DPO) 等策略优化阶段。此外，由于计算限制，未能使用参数高效微调技术，且研究侧重于广泛定义的帮助性和无害性，而非最新数据集中出现的细粒度区分。