🤖 AI

S2T-RLHF: Hierarchical Credit Assignment for Stable Preference-Based RLHF

该论文提出了 S2T-RLHF，一种层级式信用分配框架，通过将序列级奖励分解为句子级分配以及随后的有界标记级细化，增强了基于偏好的 RLHF 的稳定性，从而在语义连贯性与对抗奖励噪声的鲁棒性之间取得了平衡。

原作者： Wei Chen, Guanghui Zhu, Yafei Li, Limin Wang, Yihua Huang

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Wei Chen, Guanghui Zhu, Yafei Li, Limin Wang, Yihua Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常有天赋但有点混乱的机器人如何写故事。你没有给它教科书，而是在它写完故事后只给出一个最终评分：“做得好！”或者“不太好。”这正是被称为**基于人类反馈的强化学习（RLHF）**这一人工智能领域的底层逻辑。这个机器人（AI）尝试写作，获得评分，然后调整自己的大脑以在下次获得更高的分数。这正是让 AI 聊天机器人听起来既乐于助人、无害又像人类一样的“秘密武器”。

但棘手的地方在于，只在最后给出评分就像是在批改一篇十页论文时，只给一个“A”或“F”，却没告诉学生哪一段写得精彩，或者哪一句话让人困惑。机器人必须去猜它写的哪个微小的词是“英雄”，哪个词是“反派”。这种猜谜游戏经常导致机器人感到困惑、行为异常，甚至为了获得更多分数而“作弊”，比如写更长的故事，而不是写更好的故事。科学家们称之为“训练不稳定”，这是构建可靠 AI 的一大难题。

这篇题为 S2T-RLHF 的论文通过改变机器人获取反馈的方式来解决这种困惑。作者提出，与其试图立即估算每一个极其微小的词（token）的价值，不如先弄清楚哪些句子是好的，然后再仔细观察这些句子内部的词。他们称之为一种“层级化”方法。他们的主要发现表明，通过将反馈分解为这两个步骤——先句子，后单词——机器人的学习过程会更加平滑，且不容易崩溃。他们认为，如果一开始就试图对单词层面进行“过度精确”的评分，实际上会让情况变得更糟，因为反馈信号往往是嘈杂且令人困惑的。通过使用句子作为中间过渡，他们找到了一种既能保持训练稳定，又能教机器人写得更好的方法。

问题所在：“单词之谜”

想象一下你是一名足球教练。球队踢完了一整场比赛，赛后你递给他们一座奖杯并说：“打得好！”你并没有说谁进了球、谁做了精彩的扑救，或者谁踢丢了点球。现在，想象球员们必须根据这一座奖杯来推断自己的表现。前锋可能会想：“我一定表现得很棒！”而守门员可能会想：“我一定表现得很完美！”但也许守门员其实丢了三个球，而前锋错失了唯一的进球机会。因为反馈如此模糊，球员们开始进行疯狂的猜测。有些人可能会开始在场上做一些不必要的跑动，仅仅是为了看起来很忙碌，认为“动作越多 = 分数越高”。

在 AI 世界中，情况完全一样。AI 生成一段长响应（足球赛），然后一个“奖励模型”（教练）给它一个单一的数字（奖杯）。随后，AI 会尝试调整它写的每一个单词（每个球员的动作）以获得更高的分数。由于反馈过于粗糙，AI 会感到困惑。它可能会开始重复自己、胡言乱语，或者为了凑分而变得过于冗长。这就是论文中所说的“不稳定训练动态”。

旧观念：“细节越多越好”

有一段时间，研究人员认为解决方案是给机器人提供更多细节。他们尝试为编写的每一个单词（token）分配一个分数。这就像教练每隔 10 秒就冲到场边，对着每个球员大喊：“踢得好！”或“传得差！”其逻辑是：“如果我们给机器人更具体的反馈，它就会学得更快、更好。”

然而，本文作者认为这种逻辑是有缺陷的。他们指出，人类的偏好实际上是模糊的。当我们阅读一段响应时，我们是按句子或观点来判断的，而不是按单个字母或微小的单词。如果我们强迫 AI 根据模糊、嘈杂的人类偏好为每个单词分配精确的分数，我们可能只是在放大这种困惑。这就像试图用一个晃动得太厉害的温度计来测量一场风暴的温度；你越试图测量那些细微的波动，噪声就会把你的读数搞得越乱。论文指出，追求单词层面的“最大精度”实际上会破坏学习过程的稳定性。

新方案：S2T-RLHF（从句子到单词）

作者提出了一种更聪明的评分方式，他们称之为 S2T-RLHF。可以将其视为一种尊重人类实际阅读和写作习惯的两阶段评分系统。

第一阶段：句子层面（“大局观”检查）
首先，系统查看整个响应并将其分解为句子。它会询问：“哪些句子承载了核心思想？哪些句子是最重要的？”它使用一种巧妙的数学技巧（称为“纳什议价”，类似于公平谈判）将单一的“奖杯”分数分配给不同的句子。

类比： 想象教练现在说：“第一段有点弱，但第二段非常精彩，结论部分还可以。”分数现在被公平地分配到了各个句子中。这防止了机器人对哪个部分的内容最重要产生困惑。它确保重要的句子能获得应有的认可，而不被整体文本中的噪声所淹没。

第二阶段：Token 层面（“精细化”检查）
一旦句子获得了它们应得的分数，系统就会深入每个句子内部，决定哪些特定的单词才是明星。但这里有个限制：它不会做得过火。它采用了一种“受限”的方法。它会说：“好吧，这个句子得到了高分。现在，让我们找出这个句子中哪些词是关键角色，但不要做得太过分。”

类比： 在那个“精彩”的第二段中，教练指出了让它变得伟大的特定动词和名词。但他们不会因为一个小小的拼写错误就改变整个段落的分数。他们保持对大思路的关注，然后再优化细节。这一步使用了一个轻量级的 AI 网络（称为 DTAN）来决定句子中哪些词最为重要。

他们的发现

作者在多个不同的数据集上测试了这种新方法，并将其与旧方法（仅在最后给分，或尝试立即为每个单词评分）进行了对比。

稳定性胜出： 最重要的发现是，S2T-RLHF 使训练过程变得更加平滑。在实验中，标准方法经常表现出性能的剧烈波动，就像一辆车在猛踩油门和急刹之间切换。而 S2T-RLHF 则像是在平稳巡航。机器人不会崩溃，不会感到困惑，也不会为了钻系统的空子而写出毫无意义的内容。
质量更高： 它不仅更稳定，而且最终生成的 AI 也更符合人类的偏好。当他们请另一位评委（要么是类人 AI，要么是奖励模型）来比较由新方法和旧方法生成的文章时，S2T-RLHF 生成的文章获胜次数更多。
“过细”陷阱： 他们明确展示了，如果立即尝试为每个单词评分（即“仅 token”方法），往往会导致不稳定，尤其是在训练强度较大时。这证实了他们的理论：并非“细节越多越好”；有时，你需要一个中间步骤（句子）来保持基础。

为什么这很重要

这篇论文表明，教导 AI 的关键不仅仅在于给它更多的数据或更精细的细节。关键在于提供与人类思维方式相匹配的反馈。我们判断一个故事时，不是逐字逐句去判断，而是通过它的流畅度、它的句子和它的观点。通过将 AI 的学习过程与这种自然的结构对齐，作者找到了一种让 AI 训练更可靠且不易崩溃的方法。

他们不仅仅是猜测，还进行了广泛的模拟和实验。他们证明了，通过尊重语言的“层级结构”——先句子，后单词——你可以获得两全其美：既有宏观概览的稳定性，又有精细调优的精确性。这提醒我们，有时解决复杂问题的最佳方式并不是尽可能地无限放大，而是找到正确的聚焦层次。

技术摘要：S2T-RLHF

问题陈述

基于偏好奖励模型的强化学习（RLHF）经常受到训练动态不稳定性的影响，表现为长度偏差、奖励集中以及偶尔的奖励崩溃。研究确定了一个主要的结构性原因：人类偏好的语义粒度与语言模型优化粒度之间的不匹配。

标准的 RLHF 流水线将单一标量奖励分配给整个生成的响应（序列级）。这种全局信号被传播到 token 级的策略更新中，使得响应内部的信用分配（credit assignment）本质上具有歧义。尽管最近的研究尝试通过将奖励细化为更稠密的 token 级监督来解决这一问题，但作者认为这种方法依赖于一个不完整的假设：即更细粒度的信用分配本质上有利。本文指出，当偏好信号是噪声化的且仅在响应层面定义时，过度细粒度的细化会放大奖励的不确定性，传播奖励模型的局部伪影，并导致学习不稳定。核心挑战在于设计出其粒度能与语言的语义结构相匹配的奖励信号，从而在最大化分配精度之前优先考虑稳定性。

方法论：S2T-RLHF

为了解决这些问题，作者提出了 S2T-RLHF（句子到 Token RLHF），这是一个层次化信用分配框架，它将序列级偏好奖励分解为具有语义基础的稠密信号，且无需重新训练奖励模型或进行 token 级监督。该方法基于这样一个原则：句子作为一种自然的中间粒度，能够平衡语义连贯性与对 token 级噪声的鲁棒性。

该框架由两个截然不同的阶段组成：

第一阶段：句子级奖励分配

全局序列级奖励首先通过一种协作博弈机制分配到各个句子。

语义扰动与影响估计： 对于响应 $x = [s_1, \dots, s_K]$ ，该方法通过将每个句子 $s_i$ 替换为变体来生成语义扰动。它测量诱发的序列级奖励变化 ( $\Delta R$ ) 和句子嵌入变化 ( $\delta$ )。通过岭正则化回归估计每个句子的潜在语义影响向量 $v_i$ ，捕捉奖励模型如何响应语义变化。
纳什谈判公式化： 分配过程被建模为一个协作谈判问题。句子根据其潜在效用对固定的全局奖励份额进行谈判。句子 $i$ 的效用由其与源自所有影响向量的协作语义方向的一致性定义。
不动点求解器： 分配系数通过求解由纳什谈判目标（ $M\beta = \beta^{\odot -1}$ ）导出的不动点方程来计算，确保了规模不变性和对称分布，防止语义重要的句子被低估。

第二阶段：Token 级奖励细化

一旦确定了句子级奖励，这些奖励会在每个句子内部被细化到 token 级别。

狄利克雷 Token 分配网络 (DTAN)： 一个轻量级网络将上下文相关的 token 表示映射为正的狄利克雷浓度参数 ( $\alpha$ )。
有界分配： Token 权重由狄利克雷分布的期望值导出（ $c_{s,t} = \alpha_{s,t} / \sum \alpha_{s,k}$ ）。这确保了权重为非负，在句子内总和为一，并提供了对句子级奖励的有界细化。
集成： 最终的 token 级奖励信号为 $r_{s,t} = R(s) \cdot c_{s,t}$ 。在实践中，这些信号调节 PPO 中的序列级优势（advantage），并应用裁剪以确保稳定性。

DTAN 在 RLHF 阶段与策略共同优化，而底层的奖励模型保持固定。

核心贡献

粒度感知设计原则： 本文提出了一个 RLHF 设计原则，即训练稳定性应通过将奖励粒度与语言的语义结构对齐来实现，而不是通过追求日益精细的信用分配。
S2T-RLHF 框架： 引入了一种具体的层次化方法，通过纳什谈判将序列级信号分解为句子级分配，随后通过狄利克雷网络进行有界的 token 级细化。这实现了稠密且具有语义基础的监督，且无需额外的标注或奖励模型重训。
实证验证： 通过多个数据集和优化设置的广泛评估表明，与现有方法相比，S2T-RLHF 提高了训练稳定性和鲁棒性，同时保持了具有竞争力的偏好对齐能力。

实验结果

作者使用 Gemma-2-9B 作为策略，RM-Gemma-2B 作为奖励模型，在 HH-RLHF 数据集上对 S2T-RLHF 进行了评估。

训练稳定性： 与标准 RLHF 和仅 token 细化方法相比，S2T-RLHF 表现出显著更平滑的训练动态。
- KL 散度： 与其他变体相比，S2T-RLHF 在获得更高最终奖励的同时，拥有更大的相对于参考策略的 KL 散度，这表明其实现了有效的策略漂移而未发生崩溃。
- 熵：策略熵保持稳定，没有表现出退化崩溃的迹象。
- 压力测试： 在激进的学习率和激进的 KL 设置下，仅 token 细化的方法表现出明显的波动性和早期阶段崩溃。S2T-RLHF 保持稳健，句子级分配提供了一个稳定的中间抽象。
偏好对齐： 使用 GPT-4o-mini 和 RM-Gemma-7B 作为评判者的成对评估显示，S2T-RLHF 一致优于标准 RLHF、ABC（基于注意力的 token 分配）和 SCAR（基于 Shapley 值的分配）。
- 相对于标准 RLHF，S2T-RLHF 的胜率约为 53% (GPT-4o-mini) 和 51% (RM-Gemma-7B)。
- 它在包括安全基准（如 AdvBench 和 ToxiGen）在内的各种数据集上，始终保持对 ABC 和 SCAR 的胜率优势。
消融研究：
- 层次结构： 将句子级分配与有界 token 级细化结合使用，比单独使用其中一种粒度效果更好。
- 机制： 特定的纳什谈判分配器和 DTAN 细化优于均匀或与长度成比例的替代方案，证实了收益源于层次化结构和特定的分配机制。
计算成本： 与标准 RLHF 相比，S2T-RLHF 每步引入了 81.5% 的额外开销，这主要是由于句子影响估计（基于扰动的奖励模型查询）造成的。然而，它仍然比 Shapley 方法 (SCAR) 更高效，后者产生了 131.2% 的额外开销。

重要性与主张

本文声称，RLHF 的不稳定不仅仅是实现上的瑕疵，而是使用低分辨率的序列级奖励驱动 token 级优化的结构性后果。作者挑战了“更细粒度的信用分配本质上有利”这一流行假设。相反，他们认为，面向稳定性的奖励设计必须尊重语言的语义层次。

S2T-RLHF 被呈现为并非这一原则的最终形态，而是一个简单的、实用的实例化，它展示了如何通过将奖励粒度与语义单元（句子）对齐，可以减轻方差放大、打破全局优势对齐，并将梯度缩放与序列长度解耦。这项工作将 RLHF 中的稠密奖励设计重新定义为语义对齐和学习稳定性问题，为在不增加奖励模型重训复杂度或获取 token 级监督的情况下，实现更稳健的偏好对齐提供了一条路径。