🤖 machine learning

Using Reward Uncertainty to Induce Diverse Behaviour in Reinforcement Learning

本文提出了一种新颖的强化学习框架，通过将目标函数重新表述为将奖励不确定性视为奖励函数的分布，从而自然地诱导出多样化且可控的智能体行为，进而消除了传统熵正则化或启发式方法中固有的性能与多样性之间的权衡。

原作者： Anthony GX-Chen, Ankit Anand, Gheorghe Comanici, Zaheer Abbas, Eser Aygün, David Smalling, Shibl Mourad, Doina Precup, André Barreto, Mark Rowland

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Anthony GX-Chen, Ankit Anand, Gheorghe Comanici, Zaheer Abbas, Eser Aygün, David Smalling, Shibl Mourad, Doina Precup, André Barreto, Mark Rowland

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人写故事、解数学题或发现新药。在旧的方法中（称为“强化学习”），你会给机器人一个单一且严格的规则手册：“完全按照能获得最高分的方式去做。”

问题在于？机器人很快就会学会变成一个无趣的、只会一招鲜的“单调型选手”。它会找到那一个完美的答案，然后每次都重复做同样的事，从而忽略了所有其他同样优秀的可能。如果你的规则手册有一点点错误（这在人类评价机器人时经常发生），机器人可能会过度学习这个微小的错误，并开始做出糟糕的行为。

这篇论文提出了一种更聪明的方法来教机器人。你不是给它一本规则手册，而是给它一盒许多本略有不同的规则手册。你告诉机器人：“我不百分之百确定哪一本才是‘真实’的，所以请学习如何精通所有这些手册。”

以下是这篇论文提出的新方法——ROSA（随机目标，集合动作）是如何运作的，我们使用一些日常类比：

1. “规则手册盒”（奖励不确定性）

在现实世界中，我们往往并不确切知道自己想要什么。

旧的方法： 你告诉一位厨师，“做一份完美的牛排。”厨师做出一份特定的牛排，然后永远只供应这一种。如果你其实想要的是三分熟的牛排，但你说的是“完美”，那么这位厨师就卡住了。
新方法 (ROSA)： 你告诉这位厨师，“这里有10位不同的评委。评委 A 喜欢三分熟，评委 B 喜欢五分熟，评委 C 喜欢全熟。我不知道今天哪位评委才是正确的。请学习如何做出一份能让其中任何一位评委都满意的牛排。”

机器人学到了，因为它不知道“真实的”规则是什么，所以最聪明的做法是保持选择的多样性，并随时准备在不同的风格之间切换。这自然地创造了多样性，而不仅仅是为了随机而随机。

2. “多选其一”的技巧（集合动作）

机器人如何学习处理这个规则手册盒呢？

旧的方法： 机器人尝试一个动作，得到一个分数，然后进行更新。如果分数很低，它就会陷入恐慌。
新方法 (ROSA)： 想象机器人正在参加考试。它不是回答一个问题并祈祷结果，而是同时写下五个不同的答案。
- 然后，对于盒子里的每一个可能的“规则手册”（评委），机器人都会查看它的五个答案，并选出针对该特定评委的最佳答案。
- 它根据这个“最佳选择”获得分数。
- 最后，它在所有评委之间对这些分数取平均值。

这就像是在说：“我不需要同时精通所有事情。我只需要确保，对于出现的任何一位评委，我的口袋里至少有一个能让他们惊艳的答案。”

3. 为什么这比“熵”更好

科学家们以前曾尝试通过增加一个“混乱奖励”（称为熵正则化）来强迫机器人保持多样性。

类比： 这就像告诉一个学生，“如果你用一种杂乱、不可预测的方式写答案，你会获得额外加分。”学生可能会为了拿加分而开始写一些胡言乱语，即使答案是错误的。
ROSA 的优势： ROSA 并不要求混乱。它要求的是准备就绪。机器人之所以保持多样性，是因为它需要为不同的评委做好准备。它不会以牺牲高分为代价；它实际上通过这种方式变得更好，因为它能更好地应对不确定性。

4. 论文证明了什么

作者通过以下测试运行了这个想法：

冲突的评委： 当两个评委想要相反的东西时（例如，“让答案为偶数”对比“让答案为奇数”），旧的方法会完全失败，因为指令互相抵消了。ROSA 学会了做到两者兼顾，根据上下文在偶数和奇数答案之间切换。
多个正确答案： 在数学问题中，通常有很多种解题方式（简洁明快，或详尽细致）。旧的方法会选择一种风格并固守其中。ROSA 学会了生成所有不同的有效风格，为用户提供更多选择。
嘈杂的评委： 当评委感到困惑或犯错时（模拟现实世界的不确定性），ROSA 并不会感到困惑。它保持了健康的答案多样性，而其他方法则会陷入坏习惯。

核心结论

这篇论文认为，多样性不是一个缺陷，而是应对不确定性时变得聪明的特征。

通过将奖励视为一个可能性的分布，而不是一个单一的数字，并通过训练机器人同时观察一组潜在答案，我们得到了一个这样的系统：

鲁棒性： 当规则稍有偏差时，它不会崩溃。
多样性： 它自然地提供许多不同的优秀解决方案。
高效性： 它不会浪费时间去尝试随机化；它保持多样性是因为在未来充满不确定性时，这样做才是理性的做法。

简而言之：与其训练一个只知一个答案的专家型机器人，ROSA 训练的是一个能够应对一切的通才型机器人。

技术摘要：利用奖励不确定性在强化学习中诱导多样化行为

问题陈述

经典的强化学习（RL）通常寻求一个最大化标量奖励期望值的确定性策略。虽然这一假设保证了最优确定性策略的存在，但在大型语言模型（LLM）微调和科学发现等现代应用领域，这存在显著的局限性。在这些领域中，收敛到单一行为往往是不可取的。例如，在创意任务和思维链推理中，保持预训练策略的多样性至关重要。此外，当奖励模型是对真实潜在偏好的不完美代理时，过度优化向单一确定性策略会导致生成质量的退化（奖励作弊/reward hacking）。

现有的补救措施，如熵正则化或多样性奖励，试图强制执行随机性，但存在关键缺陷：

脆弱的权衡： 熵正则化迫使一种权衡，即增加随机性是以降低期望奖励为代价的。
错误的策略排序： 多样性奖励往往导致不理想的排序，即具有高多样性的次优策略被优于具有更高平均奖励的策略。
缺乏表达力： 许多目标函数（包括原始策略梯度和期望标量回报 ESR）本质上拥有确定性的最优策略，无法诱导必要的多样性。
优化挑战： 标量化期望回报（SER）公式通常缺乏针对非线性目标的无偏、基于样本的梯度估计器。

作者认为，多样性不应被理解为一种人为的约束，而应被理解为对奖励函数不确定性的理性响应。当奖励函数不是完全已知时（由于存在模糊的偏好或不完美的奖励模型），承诺于单一动作可能是次优的。

方法论：ROSA

本文提出了一种根本性的 RL 目标函数重构方法，通过将标量奖励替换为奖励函数的分布，并应用针对动作集的非线性目标。该框架被称为随机目标，集合动作（Randomized Objectives, Set Actions, ROSA）。

ROSA+Max 准则

在侧重于上下文多臂老虎机（contextual bandit）设置的情况下，作者定义了主要目标 ROSA+Max。令 $\rho$ 为奖励函数 $R$ 的分布， $\mathbf{Y} = (Y_i)_{i=1}^n$ 是从策略 $\pi_\theta$ 中独立同分布采样的 $n$ 个动作组成的多元集合。其目标为：

$J_{\text{ROSA+Max}}(\pi_\theta) = \mathbb{E}_{X \sim \mu, \mathbf{Y} \sim \pi_\theta} \left[ \mathbb{E}_{R \sim \rho} \left[ \max_{1 \le i \le n} R(X, Y_i) \right] \right]$

直观地说，该准则通过在每个采样的奖励函数内，对采样动作集中的表现取最大值来进行聚合。这鼓励策略确保在每一个可能的奖励函数实现下，集合中至少有一个动作表现良好，而不是优化平均奖励。

梯度估计

作者为该目标推导出了一个原则性的、无偏且方差缩减的策略梯度估计器。给定 $m$ 个采样的奖励函数和 $n$ 个采样的动作，梯度估计器为：

$\hat{g}(\theta) = \frac{1}{m} \sum_{k=1}^m \left[ \sum_{i=1}^n \left( \max_{1 \le j \le n} R_k(X, Y_j) - \max_{1 \le j \le n, j \ne i} R_k(X, Y_j) \right) \nabla_\theta \log \pi_\theta(Y_i|X) \right]$

该估计器有效地仅向在特定奖励函数样本中实现最大奖励的动作分配信用，其中第二项作为控制变量以实现方差缩减。

泛化性

该框架泛化到一类集合函数 $f$ 。作者证明，对于二元奖励函数，任何相对于奖励总和严格递增且严格凹的集合函数（例如 Softmax），都会产生最大多样性的最优策略。

核心贡献

ROSA 框架： 引入了一类新的 RL 目标函数，通过奖励函数的分布提供校准的多样性控制。
理论分析：
- 最优策略： 证明了对于二元奖励函数的均匀分布，ROSA+Max 的唯一最优策略是将等量的概率质量分配给所有不同的最优动作。
- 可控多样性： 推导出了一个公式，表明非均匀奖励函数分布如何诱导特定的、可控的随机策略，允许通过奖励函数分布权重来调节采样特定正确答案的概率。
- 景观分析： 证明了 ROSA+Max 避免了熵正则化的“平坦”景观和多样性奖励的“重排序”问题，提供了一个能同时增加奖励和多样性的梯度方向。
实验验证： 在玩具领域和大规模设置（包括 LLM 后训练）中的广泛实验表明，ROSA 在存在冲突偏好和未知地面真值奖励的情况下，诱导了多样化行为而不牺牲期望奖励，表现优于标准的策略梯度和多样性奖励基线。

实验结果

论文在三个主要场景下评估了 ROSA：

冲突偏好： 在一个具有两个相互矛盾的奖励函数（例如奇偶校验与反奇偶校验）的任务中，原始策略梯度由于奖励抵消而失败。ROSA 成功学习到了一个平衡两种偏好的策略，生成了多样化的有效输出。
多个正确答案： 在数学推理任务中，如果多个答案长度都是有效的，经过 ROSA 训练的策略会从所有指定的长度偏好中进行采样，而标准策略梯度则会坍缩到单一的长度范围。
未知的地面真值奖励： 在具有噪声奖励模型（由具有不同准确性的评委集成模拟）的设置中，ROSA 展示了卓越的鲁棒性。它通过根据权重将概率质量分布到各个奖励模态中，捕捉了奖励函数的不确定性，而熵正则化的 PG 则要么过拟合到最可能的奖励，要么过度探索到次优动作。

在分布外评估（AIME 2025）中，在噪声 MATH 数据上使用 ROSA 训练的模型比标准 PG 和悲观集成基线实现了更高的 pass@k 率。

意义与主张

本文声称 ROSA 为复杂的 RL 任务提供了一个鲁棒且有理论依据的替代方案，在这些任务中，传统公式无法诱导出期望的广度行为。通过将多样性重新定义为对奖励不确定性的理性响应，该框架解决了奖励最大化与策略熵之间的紧张关系。

作者强调，ROSA：

自然地泛化了原始策略梯度和近期的动作集方法（如 best-of- $n$ ）。
提供了一种通过奖励函数分布而非通过脆弱的熵系数超参数微调来控制多样性的机制。
确保了最优解是一个反映可能奖励函数分布的随机策略，即使在奖励模型不完美时也能防止坍缩到单一的确定性行为。

最终，这项工作为训练能够像其所处环境一样多样且具有适应性的随机策略提供了原则性的基础，特别是在存在多种有效解的领域，如 LLM 微调和科学发现。