🤖 machine learning

SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation

该论文提出了 SMOPD，一种两阶段“专业化与合并”的在线策略蒸馏框架，通过训练奖励专业化的教师模型并将其整合为单一的学生策略，以有效地平衡不同粒度的多奖励信号，其在各种模型骨干网络上的表现均优于 GDPO 等现有方法。

原作者： Wen Wang, Jiahua Bao, Tu Yongsiqi, Yihao Liu, Haotian Zhou, Haoxuan Ma, Mengyu Zhou, Wenkui Fan, Junwei He, Xiaoxi Jiang, Guanjun Jiang

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wen Wang, Jiahua Bao, Tu Yongsiqi, Yihao Liu, Haotian Zhou, Haoxuan Ma, Mengyu Zhou, Wenkui Fan, Junwei He, Xiaoxi Jiang, Guanjun Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人成为完美的助手。你希望它既能提供帮助、不造成伤害，又能遵循严格的格式规则，比如使用特定的标签或调用正确的工具。这就是基于人类反馈的强化学习（RLHF）的世界。这就像训练一只狗：当它做得好时，你给它一个奖励（“奖励”），它就会学会重复这种行为。但棘手的部分在于：如果你想让这只狗同时做到“坐下”、“待着不动”并且“衔回球”，该怎么办？如果你只是因为它完成了所有动作就给它一个大大的奖励，这只狗可能会感到困惑。它可能会意识到，“衔回球”是获得奖励最容易的方式，于是它会完全忽略“坐下”和“待着不动”。在 AI 的世界里，这被称为奖励掩盖（reward masking），即一个强烈的信号淹没了其他信号。

最近，科学家们尝试通过在组合各项任务之前，先为每个任务给出单独的分数来解决这个问题，这种方法被称为 GDPO。这就像是给狗一个关于“坐下”的记分卡，一个关于“待着不动”的记分卡，以及一个关于“衔回球”的记分卡，然后将它们相加。但问题在于：有些任务很容易衡量（比如“它是否衔回了球？”），而有些任务则非常罕见且难以察觉（比如“它是否完美地保持静止了 10 秒钟？”）。如果 AI 得到了 100 万个“衔回球”的分数，却只得到了一个“待着不动”的分数，那么“待着不动”的信号就会淹没在噪声中。AI 学会了完美地衔回球，却忘记了如何保持静止。这篇名为 SMOPD 的论文提出了一个简单的问题：我们如何确保 AI 在学习这些稀有、难以察觉的技能时，不会忘记那些容易掌握的技能？

问题所在：“嘈杂的教室”

想象一个教室，老师正试图同时教学生两件事：如何解决复杂的数学题（这是一个“稠密”奖励，因为有很多步骤需要做对）以及如何在说话前举手（这是一个“稀疏”奖励，因为每节课只发生一次）。

如果老师只是在一天结束时喊出一个总分，学生们就会完全专注于数学。他们会忽略举手，因为从统计学上讲，数学得分无处不在，而举手的得分却非常罕见。即使老师试图将举手的权重设为相等，学生们仍然无法在数学得分的噪声中清晰地听到举手的信号。AI 模型也面临着同样的问题：它们擅长处理“稠密”任务，但在处理“稀疏”任务（如正确格式化答案或在关键时刻保持无害）时表现糟糕。

解决方案：专业化，然后合并

该论文的作者提出了一种巧妙的两步策略，称为 SMOPD（专业化与合并在线策略蒸馏）。与其试图让一个学生同时精通所有事情，不如创建一个专家团队，然后合并他们的技能。

第一步：专业化（“专家教师”）
首先，研究人员训练了几个不同的“教师”模型。但转折在于：每个教师都被告知只能专注于一项特定的技能。

教师 A 被告知：“忽略数学！你的唯一任务是确保学生举手。”为了实现这一点，每当有学生举手时，教师都会获得巨额奖金，使这个信号变得无法被忽视。
教师 B 被告知：“忽略举手！你的唯一任务是解决数学题。”

因为每个教师都高度专注，他们成为了各自领域的专家。教师 A 完美地学会了稀有的“举手”技能，因为这是他们唯一在意的事情。教师 B 则成为了数学奇才。他们并不试图平衡两者，而是全力以赴于其中之一。

第二步：合并（“学生”模型）
现在，研究人员引入了一个新的“学生”模型。这个学生不仅仅听从一位老师，它同时听从所有老师。

当学生在写答案时，它会观察教师 A（举手专家）会怎么做，以及教师 B（数学天才）会怎么做。
学生学习模仿两者的精华部分。如果教师 A 对格式非常有信心，学生就模仿教师 A；如果教师 B 对数学非常有信心，学生也模仿教师 B。

至关重要的是，这个学生还有一个“安全网”（称为锚点/anchor），用于检查最终答案，以确保它仍然是一个优秀的整体答案，而不仅仅是一个简单的复制粘贴。这确保了学生能够自然地平衡各项技能，而不是成为两个不同人的混乱混合体。

他们的发现

团队在不同规模的 AI 模型（15 亿、30 亿和 70 亿参数）上测试了这个想法，并使用了两个截然不同的挑战：

工具调用（Tool Calling）： 确保 AI 使用正确的工具（如计算器或搜索引擎）并且格式化输出完全正确（如使用特定的 XML 标签）。
安全性（Safety）： 确保 AI 既有帮助性又无害。

结果令人印象深刻。在“工具调用”测试中，旧方法（GDPO）由于格式化信号过于稀疏，仅能实现约 8.8% 的正确格式化。但在使用 SMOPD 后，模型的格式化正确率达到了 97.5%！更令人惊讶的是，他们在过程中并没有丢失数学能力。15 亿参数的模型相比之前的最佳方法，整体得分提升了 48%。

在“安全性”测试中，即“有帮助”和“无害”的目标有时会发生冲突的情况下，SMOPD 在所有模型规模上都一致优于其他方法。它成功学习了稀有的“无害”行为，同时没有牺牲其“有帮助”的能力。

为什么这很重要

这篇论文表明，试图在单次训练过程中平衡所有奖励的旧方法正在遭遇瓶颈。你不能仅仅通过调整权重来让一切都达到完美；有时，某种技能仅仅是因为在人群中太稀有了，以至于无法被学习。通过让 AI 先进行“专业化”——让它在隔离状态下精通一件事——然后再“合并”这些技能，AI 就可以在学习那些困难、稀有的技能时，不会忘记那些容易的技能。

这就像是意识到要建立一支完美的管弦乐队，你不应该只是要求每个人同时演奏所有乐器。相反，你应该让小提琴手单独练习他们的部分直到完美，让鼓手也这样做，然后将他们聚集在一起演奏交响乐。其结果是一场每个乐器都能被清晰听到、音乐比任何人预期的都要精彩的演出。

技术摘要：SMOPD

1. 问题陈述

本文针对大语言模型（LLM）多奖励强化学习（RLHF）中一个根本性的局限性进行了研究。虽然现有的方法（如 Group Reward-Decoupled Normalization Policy Optimization, GDPO）通过在聚合前分别对奖励维度进行归一化，改进了标准的 Group Relative Policy Optimization (GRPO)，但它们仍然难以应对**奖励密度不平衡（reward-density imbalance）**的问题。

在许多实际场景中，模型是在稠密奖励（提供细粒度、连续的反馈，例如 0.1 到 1.0 的准确率得分）和稀疏奖励（提供二元、全或无的反馈，例如 0 或 1 的格式合规性）的混合环境下进行训练的。

核心问题： 在基于组的优势估计（group-based advantage estimation）中，稠密奖励提供了稳定的组内变化，使模型能够有效学习。然而，稀疏奖励通常会在一个 rollout 组内的多数响应中分配相同的数值（例如 0）。这导致稀疏维度的组内方差为零或接近于零。
后果： 即使进行了逐奖励归一化，在平衡优化过程中，稀疏奖励信号也会被稠密奖励信号所淹没。模型无法学习与稀疏奖励相关的能力（例如严格的输出格式），因为优化信号不足以驱动策略更新，无论在单策略设置中分配多少优先级权重。提高稀疏奖励的优先级以使其具备可学习性，往往会扭曲最终的策略，从而降低其他目标的性能。

2. 方法论：SMOPD

为了解决这种紧张关系，作者提出了专门化与合并在线策略蒸馏（Specialize-and-Merge Online Policy Distillation, SMOPD），这是一个将能力获取与奖励平衡解耦的两阶段训练框架。

第一阶段：专门化（奖励专门化教师）

SMOPD 不是训练单个策略来平衡所有奖励，而是训练多个“教师”策略，每个教师都专门针对特定的奖励维度。

机制： 使用不同的奖励优先级配置来训练基础策略。对于目标奖励维度 $k$ ，其优先级权重 $w_k$ 被设置为显著高于其他权重（ $w_k \gg w_j$ ）。
效果： 这放大了目标奖励的梯度信号，使教师能够有效地学习稀疏或难以学习的分布（例如，一个优先考虑二进制格式合规性的“格式教师”）。
结果： 产生了一组互补的教师，每个教师都擅长特定的奖励维度，尽管这可能会以牺牲其他维度为代价，但它们共同覆盖了完整的奖励空间。

第二阶段：合并（在线策略蒸馏）

通过在线策略蒸馏（On-Policy Distillation, OPD），将专门化的教师能力合并到单个“学生”策略中。

教师混合： 在学生生成的序列的每个 token 位置 $t$ ，目标分布是教师们下一个 token 分布的混合。SMOPD 使用均匀混合（ $\alpha_m = 1/M$ ），并使用 top- $\kappa$ 构建法（保留来自每个教师的 top- $\kappa$ 个 token）来近似完整的词表混合，以确保计算效率。
蒸馏损失： 学生最小化其自身分布与教师混合分布之间的前向 KL 散度（Forward KL divergence）。选择前向 KL 是因为它具有“模式覆盖（mode-covering）”的特性，鼓励学生在任何教师都具有高概率的 token 上放置概率质量（这在不同教师对不同 token 具有高置信度时至关重要，例如格式包装符 vs 函数参数）。
GDPO 锚点： 为了防止学生仅仅是模仿教师而丢失任务级优化，引入了一个 GDPO 锚点损失。该损失使用平衡的权重处理所有奖励，提供一个序列级的信号，引导学生优化原始的多奖励目标。
总目标： 学生优化由蒸馏损失（token 级指导）和锚点损失（序列级任务方向）组成的组合目标。

3. 核心贡献

解决奖励平衡的紧张关系： SMOPD 解决了单策略多奖励 RL 中固有的冲突，即在平衡优先级下稀疏奖励无法学习的问题。通过专门化教师，它使得稀疏分布在不永久扭曲最终策略的情况下变得可学习。
两阶段“专门化与合并”框架： 该方法引入了一种全新的工作流，将能力获取与奖励平衡分离。教师在有利的机制（高优先级）下学习，而学生通过 token 级蒸馏合并这些能力。
做法。
在互补和冲突设置下的优越性： 论文证明了 SMOPD 在不同模型规模（1.5B, 3B, 7B）和奖励结构（互补型：工具准确率/格式；冲突型：有用/无害）下均优于标量化基线（GRPO, GDPO, GD2PH）。
合并超越教师： 合并后的学生策略不仅能平衡各项目标，而且通常能超越单个专门化教师和标量化基线的表现，这表明蒸馏过程恢复了单目标训练中未被利用的互补知识。

4. 实验结果

作者在两个主要设置上评估了 SMOPD：

A. 互补奖励（工具调用）

设置： 在 RLLA-4K 上进行训练，包含准确率（稠密）和格式（稀疏二进制）奖励。
发现：
- GDPO 失效： 在平衡优先级下，GDPO 在 1.5B 主干模型上的格式合规率仅为 8.8%，因为稀疏信号被淹没了。
- 教师成功： 格式专门化教师（高格式优先级）实现了 97.5% 的合规率，但准确率较低。
- SMOPD 成功： 合并后的学生实现了 97.5% 的格式合规率，同时保持了高准确率（RLLA 平均得分 2.740，而 GDPO 为 1.849）。相比 1.5B 模型的 GDPO 基线，这代表了 +48% 的提升。
- 泛化性： SMOPD 在 API-Bank (LLM-Judge) 和 BFCL 等留出基准测试上也表现出了卓越的性能。

B. 冲突奖励（有用 vs 无害）

设置： 在 Safe-RLHF 基准（HH-RLHF, PKU-SafeRLHF, Alpaca）上进行训练，涉及有用性和无害性奖励。
发现：
- SMOPD 在 3B 和 7B 主干模型（Qwen2.5 和 Llama-3.2）上一致优于 GDPO 和 GD2PO。
- 在 Qwen2.5-7B 上，SMOPD 达到了 5.646 的总分，超过了最好的标量化基线（GD2PO: 5.571）以及两个单独的教师。
- 即使在单个教师性能下降的情况下（例如在 Llama-3.2-3B 上），合并过程也能恢复性能，使其接近或超过标量化基线。

C. 消融实验

锚点的必要性： 去掉 GDPO 锚点（仅使用 OPD）会导致学生性能停滞在教师混合的水平。锚点对于推动学生超越“模仿天花板”以优化实际任务奖励至关重要。
前向 vs 反向 KL： 在这种多教师设置中，前向 KL 被发现优于反向 KL，因为它保留了教师混合的多样化模式，而反向 KL 倾向于模式搜索（mode-seeking），可能会丢失专门化的能力。
Top- $\kappa$ 敏感性： 一个较小的 top- $\kappa$ （例如 16）就足够了，因为它保留了约 99.4% 的教师概率质量，验证了该近似方法的效率。

5. 重要性与主张

论文声称 SMOPD 为多奖励 RL 中的奖励密度不平衡问题提供了鲁棒的解决方案。其重要性在于：

解耦学习与平衡： 它挑战了在单个优化步骤中尝试平衡所有奖励的范式。相反，它利用专门化来确保在合并之前，所有的奖励信号都能得到有效的学习。
Token 级的粒度： 通过利用 token 级的在线蒸馏，SMOPD 为稀疏奖励（如格式化）提供了稠密的监督，这是基于组的优势估计无法提供的。
可扩展性与通用性： 该方法在不同模型大小（1.5B 到 7B）和不同奖励类型（互补型和冲突型）下均有效，表明它是 LLM 多目标对齐的一种通用方法。

作者总结道，SMOPD 产生了一个统一的策略，该策略既保留了专门化教师的优势，又实现了平衡的任务级优化，有效地克服了当前标量化多奖励方法的局限性。