技术摘要：RLHF 中奖励不确定性的统一视角

问题陈述

基于人类反馈的强化学习（RLHF）目前正受到**奖励作弊（reward hacking）**的瓶颈限制，这是一种策略模型利用代理奖励模型（RM）中的误差来最大化分数，却未能实现真实质量提升的现象。这是古德哈特定律（Goodhart's law）的一种体现，表现为谄媚性（sycophancy）、长度偏好（length bias）及其他表面特征。

一种标准的缓解策略是悲观主义（pessimism）：在奖励模型不确定的区域惩罚奖励。然而，标准的标量奖励模型无法提供原则性的不确定性度量。先前的工作通过训练奖励模型集成（ensembles）并使用启发式方法聚合其输出，如均值聚合（Mean aggregation）、最坏情况优化（Worst-Case Optimization, WCO）以及不确定性加权优化（Uncertainty-Weighted Optimization, UWO）。虽然这些方法在经验上有效，但它们被视为缺乏理论指导的经验法则，难以说明它们之间的关系、隐含假设以及超参数调优的依据。

方法论

作者提出用分布奖励模型 $p(r | x, y)$ 取代确定性的标量奖励模型。该分布源于深度集成或贝叶斯最后层构造等来源。本文通过两个不同的理论视角推导出了处理奖励不确定性的统一框架，两者最终都得到了相同的闭式有效奖励结构：

1. 贝叶斯推断（乐观分支）：
   将策略优化视为在“最优性”观测下的推断，作者对奖励不确定性进行边缘化处理。这导致了一个乐观的有效奖励：
   $$\tilde{r}_{opt}(x, y) = \beta \log \mathbb{E}_{p(r|x,y)}[e^{r/\beta}]$$
   根据 Jensen 不等式，这会膨胀有效奖励（$\tilde{r}_{opt} \geq \mu$）。

2. KL-分布鲁棒优化（悲观分支）：
   为了缓解奖励作弊，作者将问题建模为一个对抗博弈，其中对手选择一个奖励分布 $Q$ 来最小化期望奖励，并受限于与原信念后验 $p$ 之间的 KL 散度代价。这产生了悲观有效奖励：
   $$\tilde{r}_{rob}(x, y) = -\beta \log \mathbb{E}_{p(r|x,y)}[e^{-r/\beta}]$$
   这是奖励分布的熵风险度量（entropic risk measure）。根据 Jensen 不等式，不确定性会使有效奖励缩减（$\tilde{r}_{rob} \leq \mu$）。

统一表达式

核心理论贡献是有效奖励的闭式表达式：
$$\tilde{r}(x, y) = \pm \beta \log \mathbb{E}_{p}[e^{\pm r/\beta}]$$
符号取决于目标是乐观的（贝叶斯）还是悲观的（鲁棒）。

累积量展开与高斯情形

作者使用奖励分布 $p(r|x,y)$ 的累积量展开（cumulant expansion）来分析有效奖励：
$$\tilde{r}_{opt/rob} = \mu \pm \frac{\sigma^2}{2\beta} + \frac{\kappa_3}{6\beta^2} \pm \frac{\kappa_4}{24\beta^3} + \dots$$
在奖励分布为高斯分布（$p(r|x,y) = \mathcal{N}(\mu, \sigma^2)$）的特定情况下，所有高阶累积量均消失，从而得到精确的闭式解：
$$\tilde{r}_{rob} = \mu - \frac{\sigma^2}{2\beta}$$
至关重要的是，方差项的系数是由 RLHF 目标函数中已存在的 KL 正则化参数 $\beta$ 决定的，而非一个单独的可调超参数。

核心贡献

1. 统一视角： 本文证明了带有奖励不确定性的 RLHF 目标函数可以通过贝叶斯推断或 KL-DRO 得到单一的闭式有效奖励。
2. 统一先前的启发式规则： 作者表明现有的聚合规则是悲观分支 $\tilde{r}_{rob}$ 的特定极限或截断：
   • 均值聚合： 对应于 $\beta \to \infty$ 的极限（风险中性）。
   • 最坏情况优化 (WCO)： 对应于 $\beta \to 0$ 的极限（无约束对手）。
   • 不确定性加权优化 (UWO)： 对应于序列的高斯截断，其中惩罚系数 $\lambda$ 被隐式设定为 $1/(2\beta)$。
3. 实现指导： 本文阐明了现有方法的隐含假设：
   • 均值假设不确定性无关紧要。
   • WCO假设最坏可能的分布（无约束对手）。
   • UWO假设奖励分布近似为高斯分布。
   • 本文提出了针对高斯后验的原则性默认值：$\tilde{r} = \mu - \sigma^2/(2\beta)$，从而消除了调节单独的方差惩罚超参数的需求。

结果与估计

论文讨论了如何从有限样本的 $K$ 个奖励模型（例如集成）中估计 $\tilde{r}_{rob}$：

• 直接对数 MGF 估计器： $\hat{\tilde{r}} = -\beta \log (\frac{1}{K} \sum e^{-r_i/\beta})$。该估计器是一致的，但在有限 $K$ 时存在偏差，且在 $\beta$ 较小时对离群值敏感。
• 高斯截断估计器： $\hat{\tilde{r}} = \hat{\mu} - \hat{\sigma}^2/(2\beta)$。作者推荐将其作为默认值，并指出对于典型的集成规模（$K \in \{3, \dots, 10\}$），高阶累积量难以准确估计，因此高斯近似更为稳健。

意义与主张

本文声称为 RLHF 中的奖励不确定性提供了理论基础，超越了经验性的聚合规则。其意义在于：

• 澄清假设： 它明确地将现有方法（Mean, WCO, UWO）映射到关于奖励分布形状和对手 KL 预算的具体假设上。
• 参数效率： 它确立了在高斯假设下，方差惩罚与 KL 系数 $\beta$ 内在相关，从而移除了一个额外的自由超参数。
• 领域连接： 它将 RLHF 的悲观主义与分布强化学习（distributional RL）及离线强化学习（offline RL）的悲观主义联系起来，表明对数 MGF / 熵风险公式源于这些领域类似的原理。

作者总结道，尽管其框架假设存在分布奖励模型（需要集成或贝叶斯头）且需要良好的校准，但它提供了一种通过更高阶累积量或基于分位数的悲观主义（如 CVaR）来扩展到重尾分布的方案。