💬 NLP

Multi-Objective and Mixed-Reward Reinforcement Learning via Reward-Decorrelated Policy Optimization

本文介绍了奖励去相关策略优化（RDPO），这是一种新颖的方法，它利用幅度感知分位数归一化和马氏白化来稳定多奖励强化学习中的优势估计，从而在不损害推理或编码能力的前提下，提升模型在指令遵循、写作和鲁棒性方面的表现。

原作者： Yang Bai, Kaiyuan Liu, Ziyuan Zhuang, Jiahong Zhou, Rongxiang Weng, Xin Chen, Jingang Wang, Xunliang Cai

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yang Bai, Kaiyuan Liu, Ziyuan Zhuang, Jiahong Zhou, Rongxiang Weng, Xin Chen, Jingang Wang, Xunliang Cai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个非常聪明的机器人（人工智能）同时完成多种不同的任务：撰写故事、解决数学问题、编写软件以及遵循严格的指令。为了教导这个机器人，你会在它每一次尝试后给予反馈（奖励）。

问题在于，这些反馈信号杂乱无章。有些是简单的“通过/不通过”等级（如同二进制开关），有些是 0 到 100 的分数，还有些是复杂的意见。此外，这些信号经常相互重叠。例如，一个长篇回答可能因“详尽”而得分，却因“过于冗长”而扣分，而“详尽”的分数可能在数学上与“冗长”的分数相关联。

当你试图将这些混杂的分数加总，以告知机器人如何改进时，训练过程会变得混乱不堪。机器人可能会因某个巨大的分数而感到困惑，忽略其他信号，或者因为两个信号相互冲突而陷入死循环。

本文作者提出了一种名为**RDPO（奖励去相关策略优化）**的新方法来解决这一混乱局面。可以将 RDPO 视为一个两步走的“信号净化器”，在机器人从中学习之前对反馈进行预处理。

第一步：“公平过滤器”（幅度感知分位数归一化）

问题所在： 想象你在给一个班级打分。一名学生得了 100 分，另一名学生得了 99 分，第三名得了 0 分。如果你只看原始数字，99 分和 100 分之间的差距看起来微乎其微，但 0 分和 99 分之间的差距却巨大无比。在人工智能训练中，如果某种类型的奖励（例如“通过/不通过”检查）存在巨大差距，它可能会淹没所有其他反馈，导致机器人只关注这一项而忽略其他一切。

解决方案： RDPO 使用一种名为幅度感知分位数归一化的“公平过滤器”。

工作原理： 它不关注原始数值，而是关注尝试之间的排名和差距。它会压缩巨大的差距（使 100 分不会无限优于 99 分），同时拉伸微小的差距（使 99 分和 100 分仍然保持区分度）。
类比： 想象一场比赛，一名选手用时 10 秒，另一名选手用时 100 秒。如果只看时间，第二名选手的表现显得极差。但如果你对比赛进行归一化，让每个人根据相对于群体的表现来评判，那么第二名选手就能获得公平的改进机会，而不会被第一名选手的巨大优势所压垮。这确保了没有任何一次“糟糕”或“异常”的尝试会劫持机器人的学习过程。

第二步：“降噪器”（马氏白化）

问题所在： 有时，反馈信号是冗余的。想象你有两个传感器：一个测量“机器人说了多少”，另一个也测量“机器人说了多少”。如果你将这两个分数相加，你就对同一信息进行了重复计算。或者，想象两个传感器是相反的：一个说“要更长”，另一个说“要更短”。如果你只是将它们相加，它们会相互抵消，导致机器人得不到清晰的指导方向。

解决方案： RDPO 使用一种名为马氏白化的“降噪器”。

工作原理： 它观察不同反馈信号之间的关系。如果两个信号说的是同一件事（相关），它会降低其中一个的权重，以避免重复计算。如果它们相互冲突，它会调整它们，使机器人获得清晰、平衡的指令。
类比： 想象一个乐队，鼓手和贝斯手正在演奏完全相同的节奏。听起来浑浊且冗余。“降噪器”就像一位音响工程师，稍微调低贝斯的音量，使节奏部分听起来清脆清晰，而不是浑浊。这确保了机器人从独特的信息中学习，而不是从重复的噪声中学习。

结果

作者在名为LongCat-Flash的大型人工智能模型上测试了这种方法。他们在四种类型的任务上训练了该模型：

指令遵循： 完全按照你的要求行事。
通用写作： 创作高质量的故事或文章。
数学推理： 解决逻辑谜题。
编程： 编写计算机程序。

发生了什么？

写作与指令： 机器人在遵循指令和撰写高质量文本方面有了显著提升。在面对困难或棘手的提示时，它变得更加稳健。
数学与编程： 机器人的表现与之前的最佳方法持平。它在数学和编程方面没有变差；它在其他任务表现大幅提升的同时，保持了在这些领域的竞争力。

核心结论

该论文声称，通过在人工智能学习之前清理反馈信号（使其公平并消除冗余），训练过程变得更加稳定。这使得人工智能能够在提升复杂多任务能力（如写作和遵循规则）的同时，不丧失解决数学问题或编写代码的能力。这是一种更聪明的方法，用于混合不同类型的表扬与批评，使人工智能能够学到正确的经验。

技术摘要：奖励去相关策略优化（RDPO）

1. 问题陈述

在大语言模型（LLM）的复杂强化学习（RL）环境中，训练通常涉及具有混合奖励公式的多任务设置。单次训练运行可能包含多种目标，如正确性、指令遵循、评分标准满足度、偏好模型得分以及响应长度。

将这些异构奖励信号聚合成单一标量优势（advantage）会引发两个主要挑战，导致训练不稳定：

异构尺度与分布：奖励在尺度（二元、分数、连续）和分布形状（偏态、平局、易受异常值影响）上存在显著差异。标准的聚合方法往往无法在提示（prompt）层面稳健地分配优势，导致单次 rollout 主导更新信号的情况。
奖励相关性：任务内的奖励维度通常是相关的（例如，代码正确性与响应长度，或评分标准满足度与偏好得分）。在不进行调整的情况下对相关性奖励求和会引入冗余方差，导致模型“重复计算”特定变化或抵消有用信号，从而降低聚合优势的有效信息效率。

现有方法如 GRPO（直接求和）模糊了相对性能变化，而 GDPO（独立 Z 分数归一化）在提示层面仍对非高斯分布敏感，且未能解决奖励间的相关性问题。

2. 方法论：奖励去相关策略优化（RDPO）

作者提出了 RDPO，这是一种轻量级的两步奖励处理流程，旨在明确针对尺度不稳定性和相关性冗余的失效模式。

2.1 诊断指标：有效信息效率（ $\eta_{eff}$ ）

在详述解决方案之前，论文引入了 $\eta_{eff}$ 作为评估混合奖励聚合的诊断指标。它分解为：

$\eta_{proj}$ （投影效率）：衡量聚合在标准化奖励空间中与等权重投影的对齐程度。它对由奖励尺度变化引起的不平衡进行惩罚。
$\eta_{corr}$ （相关效率）：量化在求和相关性奖励后保留的独立信息量。它对由奖励维度间正或负线性依赖引起的冗余进行惩罚。

2.2 第一步：幅度感知分位数（MAQ）归一化

目标：稳定二元、分数和连续奖励在提示层面的优势分配，解决 Z 分数归一化在非高斯条件下的局限性。

机制：

对数压缩间隙：MAQ 不使用线性缩放，而是使用对数压缩函数计算排序后的 rollout 分数之间的间距： $gap_j = \log(1 + |r_{j+1} - r_j| / (\beta \cdot \sigma_{global}))$ 。这限制了极端异常值的影响，同时保留了密集区域中的细微差异。
CDF 分配：将间隙归一化以按比例分配累积分布函数（CDF）位置。
逆正态映射：通过逆 CDF（ $\Phi^{-1}$ ）将值映射到标准正态分布。

效果：MAQ 产生的优势在不同维度间具有可比性，且对病态组统计（平局、偏态、异常值）不那么敏感，确保没有单个 rollout 不成比例地主导提示层面的更新。

2.3 第二步：马氏白化

目标：减轻特定任务子空间内共现奖励维度之间的冗余方差。

机制：

子空间选择：在多任务设置中，rollout 很少观察到所有奖励维度。RDPO 仅针对给定任务的已观测奖励子空间 $S$ 应用白化。
运行协方差估计：使用指数移动平均（EMA）在线估计 MAQ 归一化优势的协方差矩阵 $\hat{\Sigma}_t$ ，平滑批次级别的噪声。
白化变换：使用协方差矩阵的逆平方根转换优势向量 $A^{(i,j)}$ ： $W^{(i,j)} = \hat{\Sigma}_S^{-1/2} A^{(i,j)}$ 。这将活动奖励维度移向不相关、单位方差的信号。
聚合：最终标量优势是白化维度的总和，随后进行批次归一化。

3. 实验设置

模型：LongCat-Flash（后训练阶段）。
任务：四种任务类型的统一混合：数学推理、代码生成、指令遵循和通用写作。
奖励子空间：
- 数学：数学正确性 + 长度。
- 代码：代码正确性 + 长度。
- 指令遵循：IFEval + 评分标准。
- 通用写作：长度 + 奖励模型（RM）+ 评分标准。
基线：GRPO（原始求和）、GDPO（Z 分数归一化）以及 RL 初始化模型。
验证：在同族较小模型上进行小规模验证，以隔离 MAQ 和白化的贡献，然后再扩展到 LongCat-Flash。

4. 关键结果

4.1 小规模验证

在较小的内部模型上，完整的 RDPO 流程在多项指标上优于 GDPO、GRPO 和初始化模型：

指令遵循：在 IFEval 上取得显著提升（83.55% 对比 GDPO 的 78.56%）。
推理与编码：在 AIME24、FullStackBench、HumanEval+ 和 MBPP+ 上有所改进。
组件分析：MAQ（Q）和白化（M）均提供了互补的收益。MAQ 在对分布敏感的指标（如 AH-Creative）上特别有效，而白化则有助于对相关性敏感的设置。

4.2 扩展后的 LongCat-Flash 结果

当应用于 LongCat-Flash 时，RDPO 表现出：

指令遵循与写作：RDPO 在 IFEval（90.39%）、GuideBench、SOP-Maze、WritingBench 以及两个 ArenaHard v2 子集（AH-Creative: 89.00%, AH-Hard: 76.10%）上取得了最高分。这证实了稳定提示层面优势并减少冗余对于开放-ended、对偏好敏感的任务的效用。
推理与编码：结果总体具有竞争力但表现不一。RDPO 达到了最佳的 MATH500 分数（98.60%），并在 AIME2025 和 GPQA 上保持竞争力。在编码方面，RDPO 在 MBPP+ 和 LiveCodeBench v6 上领先，而 GRPO 或初始化模型在 FullStackBench 和 HumanEval+ 上仍然更强。
整体稳定性：该方法成功从小规模验证转移到大规模训练，在保持推理和编码性能稳定的同时，显著提升了指令遵循和写作质量。

5. 意义与主张

论文主张，RDPO 通过明确解决尺度不稳定性和相关性冗余的双重失效模式，为 LLM 后训练中的多目标 RL 提供了稳健的解决方案。

方法论贡献：通过将幅度感知分位数归一化与马氏白化相结合，RDPO 确保聚合的优势信号在几何上具有一致性（各维度贡献相等）且在信息上高效（最小化冗余方差）。
实际影响：该方法实现了对异构任务（如数学、代码、写作）的同时优化，而无需通常与混合奖励公式相关的训练不稳定性。
性能：作者得出结论，RDPO 增强了指令遵循能力、写作质量以及对困难提示的鲁棒性，同时在推理和编码评估中保持广泛的竞争力，验证了其作为复杂 RL 环境通用奖励处理策略的有效性。