🤖 AI

Reward Shaping for (Inference-Time) Alignment: A Stackelberg Game Perspective

本文将带有 KL 正则化的奖励模型优化形式化为一个斯塔克尔伯格博弈（Stackelberg game），并提出了一种简单的奖励塑造方案，该方案能有效缓解基准策略偏差并防止奖励黑客行为，从而显著提升推理阶段的对齐性能。

原作者： Haichuan Wang, Tao Lin, Lingkai Kong, Ce Li, Hezi Jiang, Milind Tambe

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Haichuan Wang, Tao Lin, Lingkai Kong, Ce Li, Hezi Jiang, Milind Tambe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《奖励塑造用于（推理时）对齐：一种斯塔克尔伯格博弈视角》的解析，通过简单的概念和日常类比进行了拆解。

大局观：“固执的厨师”问题

想象你有一位世界级的厨师（AI 模型），他已经从业多年。这位厨师有非常鲜明的个人风格——他厨艺精湛，但也有强烈的个人偏好。也许他总是放太多盐，或者因为成长环境的原因，只做辣的食物。

现在，你（用户）想要一道味道平衡且不过于辛辣的菜肴。你雇佣了一位美食评论家（奖励模型）来品尝菜肴，并告诉厨师你的喜好。

问题在于：
如果你只是告诉厨师，“听评论家的意见”，厨师可能会感到很吃力。因为厨师太习惯自己的风格了（基础策略），如果不改变烹饪习惯，他无法在不毁掉菜肴的情况下实现转变。如果评论家说“这道菜盐放少了”，厨师可能会尝试去掉所有盐，导致食物变得像纸板一样难吃；或者他可能会完全忽视评论家，因为他自身的习惯实在太强烈了。

论文指出，仅仅把评论家的笔记交给厨师并不是获得完美菜肴的最佳方式。你需要重写评论家的笔记后再交给厨师。这就是所谓的奖励塑造（Reward Shaping）。

核心思想：一场“领导者与跟随者”的游戏

作者将这种情况视为两个玩家之间的博弈，就像将军与士兵的关系（斯塔克尔伯格博弈/Stackelberg Game）。

领导者（你/奖励设计者）： 你决定如何呈现评论家的反馈。你不仅仅是传递原始分数，你是在设计评分系统本身。
跟随者（厨师/AI）： 厨师看到你设计的新评分系统后，会在其能力范围内（他不能完全忘记训练过的知识）尽力做出最好的菜肴。

目标： 领导者希望设计一个评分系统，通过“引导”让厨师做出完全符合用户要求的菜肴，同时确保厨师不会破坏规则或把事情搞砸（论文中称之为奖励作弊/Reward Hacking）。

解决方案：“阈值”策略

论文发现，设计这种评分系统的最佳方式是使用一个阈值（Threshold）。

想象评论家给出的分数是 0 到 100 分。

传统方式： 厨师看到“85”和“86”，心想：“好吧，86 比 85 好一点点。” 但由于厨师很固执，这点微小的差别不足以让他改变配方。
新方式 (SRS)： 领导者设定了一条“及格/不及格”的线。
- 如果菜肴低于这条线（例如分数 < 70），厨师得到的分数是 0。
- 如果菜肴高于这条线（例如分数 > 70），厨师会得到一个巨大的分数 100。

为什么有效：
这创造了一个巨大的动力，促使厨师跨越那条线。无论菜肴是 85 分还是 99 分，只要它超过了那条线，厨师就能获得“金星”。这迫使厨师为了跨过阈值而稍微调整其烹饪风格，从而有效地克服了其天然的偏好，而又不会强迫他去做不可能完成的任务。

论文从数学上证明了这种“阈值”方法是平衡厨师的固执程度与用户需求的最优解。

在现实中是如何运作的（推理时）

论文关注的是推理时对齐（Inference-Time Alignment）。这意味着他们不需要重新训练厨师（这既昂贵又缓慢），而是在厨师制作菜肴的过程中进行微调。

采样（Sampling）： 在厨师开始制作最终成品前，系统会让厨师根据其惯常风格快速制作 10 个“练习版”菜肴。
评分（Scoring）： 评论家品尝这 10 个练习版菜肴。
设定界限（Setting the Line）： 系统根据这 10 个样本计算出“阈值”。它能精确算出在哪里划线才能获得最佳结果。
烹饪（Cooking）： 厨师随后制作最终菜肴，但此时他受到新的“阈值”评分系统的引导。他会被引导去选择那些能够跨越那条线的食材。

结果：效果如何？

作者在流行 AI 模型（如 Qwen 和 Llama）上，使用标准的帮助性和安全性测试进行了测试。

更高的分数： 他们的这种方法比其他方法持续获得了更高的“用户满意度”分数。
没有“作弊”： 有时当你过度逼迫 AI 时，它会开始“钻空子”（例如，写一些看起来符合评论家要求但对人类毫无意义的废话）。这种方法避免了这种情况。
胜率： 当他们使用强大的 AI（如 GPT-4）作为评委进行对比时，他们的方法在 66% 到 70% 的情况下胜出或持平。

总结类比

把 AI 想象成一辆有强烈向左漂移倾向的汽车。

标准对齐： 你告诉驾驶员，“向右转以保持在车道内。” 驾驶员尝试这样做，但由于转向手感很沉，车依然会向左漂移。
奖励塑造（本文方法）： 你安装了一个新的转向传感器。这个传感器不仅仅是说“向右转”，它会说：“如果你甚至只是稍微向右移动了一点点，车辆就会给你一个巨大的奖励。如果你在左边，你什么也得不到。”
结果： 驾驶员（AI）现在有了动力去对抗沉重的转向，只需稍微用力就能跨过那条无形的线，突然间，车子就完美地保持在车道内了。

论文的核心观点是，通过数学化地设计这条“无形的线”（阈值），我们可以让 AI 模型比仅使用标准反馈更有效地与人类偏好对齐。

技术摘要：基于 Stackelberg 博弈视角的（推理时）对齐奖励塑造

1. 问题陈述

当前的大型语言模型（LLM）对齐流水线通常涉及从用户偏好数据中学习奖励模型（ $r_U$ ），并利用该模型来优化 LLM 策略。这种优化受到 Kullback-Leibler（KL）散度正则项的约束，以保持学习到的策略与基座模型（ $\rho_{base}$ ）保持接近，从而保留流畅度和语言能力。

作者指出当前标准流水线的一个根本局限性：在 KL 约束下直接针对学习到的奖励 $r_U$ 进行优化，对于最大化用户效用而言是次优的。 当基座模型表现出与用户偏好相冲突的强烈偏差（例如政治倾向）时，KL 约束会阻止策略充分向偏好的分布偏移，即使奖励模型正确识别了该偏好。

相反，仅仅通过放大奖励来强制偏移则面临奖励作弊（reward hacking）的风险，即模型会生成不连贯或退化的输出，以在违反 KL 约束意图的同时最大化奖励信号。核心问题在于：如何优化设计用于对齐的奖励模型，以平衡最大化用户效用与在 KL 正则化下发生奖励作弊的风险。

2. 方法论：Stackelberg 博弈公式化

作者将奖励设计问题形式化为一个 Stackelberg 博弈，这是一个双人顺序博弈：

领导者（奖励模型提供者）： 选择一个奖励模型 $r$ ，在预判 LLM 响应的基础上，最大化用户的预期效用（基于真实效用函数 $r_U$ ）。领导者并不受限于必须直接使用 $r_U$ ，而是可以选择任何受限于 $B$ 的奖励函数 $r: \mathcal{X} \times \mathcal{Y} \to \mathbb{R}$ 。
跟随者（LLM）： 观察奖励模型 $r$ ，并优化其策略 $\rho_r$ ，以最大化预期奖励减去与基座策略的 KL 散度：
$\rho_r(\cdot|x) = \arg\max_{\rho} \left( \mathbb{E}_{y \sim \rho}[r(x, y)] - \beta \cdot D_{KL}(\rho(\cdot|x) \parallel \rho_{base}(\cdot|x)) \right)$

理论特征

作者推导出了最优奖励模型 $r^*$ 的闭式特征：

阈值结构： 最优奖励模型是一个阈值奖励。对于给定的提示词 $x$ $x$ ，响应根据其真实效用 $r_U(x, y)$ $r_{U} (x, y)$ 是高于还是低于特定阈值 $m^*(x)$ $m^{*} (x)$ 被划分为两部分。
- 如果 $r_U(x, y) > m^*(x)$ ，则奖励设为上限 $B$ 。
- 如果 $r_U(x, y) < m^*(x)$ ，则奖励设为 $0$。
- 如果 $r_U(x, y) = m^*(x)$ ，则奖励在 $[0, B]$ 之间。
自洽条件： 最优阈值 $m^*(x)$ 满足以下条件：由此产生的策略的预期效用等于阈值本身：
$m^*(x) = \mathbb{E}_{y \sim \rho_{r^*}(\cdot|x)} [r_U(x, y)]$
计算： 由于精确的期望在计算上是难以处理的，作者建议使用来自基座策略的 蒙特卡洛采样（Monte Carlo sampling） 来计算该阈值。他们定义了一个辅助函数 $F_x(m)$ ，其唯一的根对应于最优阈值。该根可以通过二分算法高效找到。

实际实现：软阈值（SRS）

虽然硬阈值在解析上是最优的，但它是间断的且对微小扰动敏感。作者引入了 Stackelberg 奖励塑造（SRS），一种使用 Sigmoid 函数的软阈值变体：
$r_{\hat{m}^*, \alpha}(x, y) = B \cdot \sigma(\alpha \cdot (r_U(x, y) - \hat{m}^*(x)))$
其中 $\hat{m}^*(x)$ 是估计的阈值， $\alpha$ 控制过渡的锐利程度。这使得该方法能够在无对齐效应（ $\alpha=0$ ）与解析最优解（ $\alpha \to \infty$ ）之间进行插值。

与推理时对齐的集成

该框架被集成到现有的推理时对齐方法中（具体为受控解码 (CD) 和 基于奖励引导搜索的对齐 (ARGS)）：

离线阶段： 针对一个提示词数据集，从基座模型中采样 $M$ 个响应。计算这些样本的 $r_U$ 。通过二分法估计阈值 $\hat{m}^*(x)$ 。应用 SRS 变换生成塑造后的奖励数据集。在塑造后的数据上训练 Q 值估计器。
推理阶段： 使用训练好的 Q 值估计器（它捕捉了在塑造奖励下的预期奖励）在解码过程中重新加权基座模型的 Token 概率。

3. 主要贡献

标准流水线的次优性： 证明了在 KL 正则化目标下，直接使用从偏好中学习的奖励模型是次优的，特别是当基座模型的偏差与用户偏好冲突时。
Stackelberg 博弈公式化： 将奖励模型优化形式化为 Stackelberg 博弈，推导出了显示最优奖励模型遵循阈值结构的闭式解。
高效近似： 开发了一种算法，通过基座策略的蒙特卡洛采样来近似最优阈值，从而能以极低的开销集成到现有方法中。
实证验证： 表明所提出的 SRS 方法在推理时设置中一致地提高了平均奖励，并在面对基线模型时实现了较高的胜平负率（win-tie rates）。

4. 实验结果

该方法在 HH-RLHF 和 SHP 数据集上使用 Qwen3-8B 和 Llama3-8B 作为骨干网络进行了评估。

奖励最大化： 与 Vanilla 基线和启发式奖励塑造方案（Minmax, Meanstd）相比，集成 SRS 的方法（SRS-CD 和 SRS-ARGS）在所有评估设置中始终实现了最高的平均奖励。
质量指标： 这些方法保持了与基线相当的多样性和连贯性，表明没有出现语言质量下降的情况。
GPT-4 评估： 在面对面比较中，SRS 方法相对于所有基线（Vanilla, Minmax, Meanstd）实现了超过 66% 的胜平负率（Win-Tie rate），这表明改进并非由奖励作弊驱动。
鲁棒性：
- 泛化性： 当在一种分布（SHP）上训练并在分布外提示词（HH-RLHF 和 HarmfulQA）上进行评估时，SRS 展示了卓越的性能。
- 消融实验： SRS 特有的阈值结构优于简单的奖励封顶和基于均值的阈值处理，证实了源自博弈论公式化的自洽阈值的重要性。
开销： 对于 SRS-CD，奖励塑造是离线的，具有零推理时间开销。对于 SRS-ARGS，开销可以忽略不计（每 128 个 token 的响应约 0.03 秒）。

5. 意义与主张

本文声称，奖励塑造不仅仅是一种启发式方法，而是一个可以系统解决的优化问题。通过从博弈论的角度看待对齐过程，作者证明了用于引导 LLM 的奖励模型不需要（也不应该）是用户效用的直接代理。相反，它应该经过“塑造”，以考虑到基座模型所带来的约束（KL 散度）。

其重要性在于提供了一个原则性的框架，可以在不引发奖励作弊的情况下对抗基座模型的偏差。作者强调，该方法轻量化，能无缝集成到现有的推理时对齐方法中，并为将固定模型适配到多样化用户偏好提供了稳健的解决方案。

作者注明的局限性：

该框架假设用户是良性的，其偏好符合人类价值观。如果奖励模型反映的是恶意偏好，生成的策略可能会变得失调。
该方法依赖于奖励模型的可用性以及来自基座策略的蒙特卡洛采样。
目前的实证重点是在推理时对齐，尽管作者指出未来可以将其扩展到训练时算法（如 GRPO）。