💬 NLP

Bayesian Preference Learning for Test-Time Steerable Reward Models

本文提出了变分上下文奖励建模（ICRM），这是一种新颖的贝叶斯框架，它通过上下文示例适应未见过的偏好分布，从而使奖励模型具备测试时的可调控性，进而提升准确性、校准度及多目标对齐能力，同时提供防止过度优化的理论保障。

原作者： Jiwoo Hong, Shao Tang, Zhipeng Wang

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiwoo Hong, Shao Tang, Zhipeng Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的机器人助手（大型语言模型），它需要学习如何以人类喜欢的方式行事。为了教导它，我们通常使用“奖励模型”——可以将其想象为一位严格的老师，这位老师研读过一本关于人类偏好的庞大教科书。一旦这位老师训练完成，它们就固定不变了。即使你走进房间说：“实际上，今天我更看重安全而不是速度”，或者说：“我希望你幽默一点，而不是严肃”，它们也无法改变主意。

本文介绍了一种名为ICRM（变分上下文奖励建模）的新型老师。ICRM 不像一本僵化的教科书，而更像一只变色龙或一位智能翻译官，能够根据你在开始工作前向它展示的少量示例，即时调整其“品味”。

以下是其工作原理的简单概念分解：

1. 问题：被“冻结”的老师

传统的奖励模型就像一位 memorize 了特定规则集的法官。如果你训练它们喜爱“有帮助”的回答，那么即使你后来向它们展示“安全”回答的示例，它们也永远只会喜爱“有帮助”的回答。除非从头重新训练（这既缓慢又昂贵），否则它们无法转变视角。

2. 解决方案：“变色龙”老师（ICRM）

作者提出了一种利用贝叶斯统计（一种基于新证据更新信念的方法）的系统，使老师变得灵活。

类比：想象你试图猜测一位陌生人的最爱冰淇淋口味。
- 旧方法：你基于去年进行的一项大规模调查来猜测。你只能固守那个猜测。
- ICRM 方法：你问陌生人：“你喜欢巧克力还是香草？”他们回答“巧克力”。然后你问：“你喜欢草莓还是薄荷？”他们回答“草莓”。
- ICRM 不仅仅死记硬背“巧克力”。它构建了一个关于这位陌生人此刻喜欢什么的心理地图（概率分布）。如果你向它展示 8 个强调“安全”重要的示例，老师的关注点就会转向安全；如果你展示 8 个强调“有帮助”的示例，它就会转向有帮助。

3. 工作原理：“贝塔”配方

本文使用一种名为贝塔分布的数学工具来表示这些偏好。你可以将其想象为一个带有两个旋钮的拨盘：

方向旋钮（均值）：偏好指向哪个方向？（例如，指向“安全”还是“有帮助”）。
置信度旋钮（集中度）：我们对这种偏好的把握有多大？
- 如果你只向老师展示一个示例，“置信度旋钮”保持低位。老师会说：“我看到了你喜欢什么，但我还不完全确定，所以我会谨慎行事。”
- 如果你向老师展示64 个示例，“置信度旋钮”就会调高。老师会说：“我看到了清晰的模式！我对这种偏好非常有信心。”

这防止了老师变得“过度自信”或“过度优化”（过于努力迎合示例而犯错）。它让老师保持谦逊和准确。

4. 本文的发现（结果）

作者通过多种方式测试了这位“变色龙老师”：

可引导性：如果你向老师展示“安全”是首要优先级的示例，它就会成为安全专家。如果你展示“数学”是优先级的示例，它就会成为数学专家。它甚至能处理混合优先级（例如，“要有帮助，但不要不安全”）。
示例越多，表现越好：你在测试时刻提供的示例（演示）越多，它在猜测你的真实意图方面就越聪明。仅通过增加更多示例，他们在标准测试（RM-Bench）上的准确率就从60.5%跃升至70.8%。
处理冲突：当你有两个相互冲突的目标时（例如“要有帮助”与“要安全”），ICRM 能在两者之间找到完美的平衡点，而旧老师通常只会固守其中一方。
适用于数学：他们利用 ICRM 教导模型解决数学问题。因为 ICRM 可以即时查看少量“正确推理”与“错误推理”的示例，它帮助模型解决数学问题的能力超过了标准老师，甚至超过了仅仅检查最终答案的严格“验证器”。

5. “安全网”（理论保证）

本文还从数学上证明了该系统免受一种称为“奖励黑客”的特定漏洞的影响。

漏洞：有时，AI 模型学会钻系统的空子，给出那些对老师来说看起来完美但实际上是胡言乱语的答案，仅仅为了获得高分。
修复：ICRM 系统内置了一个“刹车”（KL 正则化项）。它确保老师不会太快变得过于自信。它迫使老师保持在概率的“安全区”内，防止其发疯或过度优化。

总结

简而言之，本文提出了一种训练 AI 法官的新方法。他们不是训练一个拥有固定价值观的法官，而是训练了一个能够读懂你的心思的法官，它基于你在开始工作前向它展示的少量示例来调整。它灵活，随着你提供的示例增多而变得更聪明，并且拥有数学安全网以防止其脱轨。

技术摘要：用于测试时可 steering 奖励模型的贝叶斯偏好学习

问题陈述

奖励模型（RMs）是通过人类反馈强化学习（RLHF）将语言模型与人类偏好对齐的核心。传统上，分类器奖励模型被训练为使用固定数据集对 Bradley-Terry (BT) 模型参数的静态估计器。一旦训练完成，这些模型缺乏适应性；它们无法在未经重新训练的情况下适应未见过的偏好分布或动态权衡（例如，在有用性与安全性之间取得平衡）。此外，标准的分类器奖励模型容易出现“过度优化”现象，即偏好概率收敛至 1，导致陷入无法捕捉人类偏好真实复杂性的局部最优解。虽然“LLM-as-a-Judge"（大语言模型作为裁判）方法提供了灵活性，但它们通常依赖专有模型且计算成本高昂。本文旨在解决对一种高效、基于分类器的奖励模型的需求，该模型需在测试时保持适应性并避免过度优化。

方法论：变分上下文奖励建模 (ICRM)

作者提出了变分上下文奖励建模 (ICRM)，这是一个贝叶斯框架，将奖励建模视为对潜在偏好概率的摊销变分推断。

核心公式

潜在变量定义：模型引入一个潜在随机变量 $z \in [0, 1]$ ，表示给定提示 $x$ 和一组上下文示例 $C$ 时，被选中的回复 $y_w$ 优于被拒绝的回复 $y_l$ 的概率。
Beta 先验与后验：
- BT 模型被特化为 $N=2$ （即一对）的情况，其中偏好结果的似然遵循由 $z$ 参数化的伯努利分布。
- 在 $z$ 上放置一个Beta 先验 $p(z) = \text{Beta}(\alpha_0, \beta_0)$ 。作者通常使用均匀先验 $(\alpha_0, \beta_0) = (1, 1)$ 来表示无信息起始点。
- 近似后验 $q_\theta(z | x, y_w, y_l, C)$ 由一个带有二维投影头的神经网络参数化，输出效用分数 $u_\theta$ 和置信度（证据）分数 $s_\theta$ 。
- 后验被重新参数化为 $\text{Beta}(\alpha_q, \beta_q)$ $Beta (α_{q}, β_{q})$ ，其中：
  - $\mu = \sigma(u_w - u_l)$ 表示后验均值（偏好概率）。
  - $\tau = \text{Softplus}(s_w) + \text{Softplus}(s_l) + 1$ 表示集中度（置信度）。
  - $\alpha_q = \mu\tau$ 且 $\beta_q = (1-\mu)\tau$ 。

学习目标

模型通过最大化证据下界 (ELBO) 进行训练，即最小化负 ELBO 损失：
$\mathcal{L}_{ICRM} = -\mathbb{E}_{q_\theta}[\log z] + \lambda(N) D_{KL}(q_\theta(z|\cdot) \parallel p(z))$

重构项：第一项衡量后验在多大程度上解释了观察到的偏好。对于 Beta 分布，这具有涉及双伽玛函数 $\psi$ 的闭式解。最小化此项会推动 $\mu$ 向被选中回复的 1 靠近。
正则化项：第二项是学习到的后验与固定先验之间的 KL 散度。超参数 $\lambda(N)$ $λ (N)$ 是上下文示例数量 $N$ $N$ 的单调递减函数。
- 当 $N$ 较小时， $\lambda(N)$ 较大，迫使后验保持接近先验（高不确定性）。
- 随着 $N$ 增加， $\lambda(N)$ 减小，允许重构项占主导地位，模型从而形成基于数据的、置信度高的后验。

理论保证

作者证明，KL 正则化目标防止了标准 BT 模型中常见的“过度优化”失效模式。

引理 3.1：随着偏好概率 $\mu \to 1$ ，损失关于效用分数的梯度受到一个与 $1/\epsilon$ 成比例的因子惩罚（其中 $\epsilon = 1-\mu$ ），从而阻止不受控的最大化。
定理 3.2：损失函数的全局最小值保证位于定义域的内部（ $0 < \mu^* < 1$ 且 $0 < \tau^* < \infty$ ），确保模型不会崩溃到边界解。

主要贡献

原则性的变分偏好学习：ICRM 使奖励模型能够从少样本上下文示例中推断测试时偏好。KL 正则化目标保证了全局内部最优解，抑制了对偏好均值的过度最大化。
单目标与多目标可 steering 性：变分设计允许方向性 steering（适应特定偏好方向）和校准性 steering（编码偏好偏移的程度）。它扩展到多目标设置，允许模型通过混合上下文示例来导航冲突目标之间的权衡（例如，安全性与有用性）。
参数化可验证奖励：该框架应用于具有可验证奖励的强化学习 (RLVR)。模型解释效用和置信度分数以生成既具有方向性又根据上下文可靠性进行校准的奖励信号，在数学推理任务中优于标准验证器和 BT 模型。

实验结果

作者使用 Qwen3-4B 和 Llama-3.2-3B 骨干网络评估了 ICRM，基线模型包括标准分类器奖励模型（BTRM, ArmoRM, GRM）和生成式裁判（LLM-as-a-Judge, GRAM-r2）。

校准性 steering：在道德困境偏好对上，ICRM 展示了能够遵循由上下文示例组合指定的偏好偏移程度。随着示例数量 ( $N$ ) 从 8 增加到 64，期望校准误差 (ECE) 从 0.099 下降到 0.076，优于 LLM-as-a-Judge 基线。
方向性 steering：在 SafeRLHF 和 HHH-Alignment 等基准测试中，ICRM 能够以高准确率（高达 89%）适应“反转”的偏好标签（即有害回复被标记为被选中），而静态基线无法适应。
RM-Bench 性能：增加上下文示例数量显著提高了 RM-Bench 的准确率。当 $N=64$ 时，ICRM 的平均准确率达到 70.8%，相比 $N=1$ 时的 60.5% 有所提升，超越了 LLM-as-a-Judge 基线（70.3%）。
多目标权衡：在 RM-Bench 安全领域，ICRM 在“应回复”和“应拒绝”行为之间产生了平滑的帕累托前沿。这些前沿的超体积 (HV) 随 $N$ 增加而增加，表明 ICRM 能够扩展可达的权衡区域，这是静态奖励模型所缺乏的能力。
RLVR 应用：在 INTELLECT-MATH 数据集的数学推理任务中，使用 ICRM 奖励训练的策略在 MATH-500 上取得了 53.8% 的准确率，优于使用黄金验证器（50.4%）和标准 BT 奖励模型（51.4%）训练的策略。

意义与主张

本文主张，ICRM 提供了一条理论上坚实且实践有效的途径，用于构建在训练后能够适应未见偏好标准的奖励模型。通过将偏好视为基于上下文示例条件的具有 Beta 后验的潜在概率，ICRM 将贝叶斯正则化与上下文 steering 统一起来。

作者强调，这种方法：

解决了传统分类器奖励模型的静态性质，同时避免了专有生成式裁判的计算开销。
提供了一种原则性机制，通过 KL 正则化来缓解奖励过度优化。
实现了对多目标对齐的动态测试时控制，允许在偏好空间中进行连续导航，而非固定在特定的工作点。

这项工作表明，未来的奖励建模可以从固定数据集转向动态的、示例驱动的对齐，尽管作者也指出了上下文长度限制以及需要防止将模型 steering 至有害行为的安全措施等局限性。