🤖 machine learning

Best Policy Learning from Trajectory Preference Feedback

该论文针对偏好强化学习（PbRL）中的最佳策略识别问题，提出了受 Top-Two Thompson Sampling 启发的后验采样算法（PSPL），首次给出了该领域的贝叶斯简单 regret 理论保证，并通过结合离线偏好数据与在线探索，在模拟及图像生成基准测试中展现出优于现有基线的性能。

原作者： Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何让 AI 变得更聪明、更符合人类心意的新方法。为了让你轻松理解，我们可以把整个过程想象成**“教一个新手厨师做出一道完美的招牌菜”**。

1. 背景：传统的“教厨师”方法有什么毛病？

在以前，我们教 AI（比如让大语言模型写文章，或者让机器人走路）通常用一种叫 RLHF（基于人类反馈的强化学习） 的方法。

传统做法：我们请一位“美食评论家”（人类）给 AI 做的菜打分（比如 1 到 10 分）。AI 根据这个分数，试图猜出评论家心里那把“完美的尺子”（奖励模型）长什么样，然后照着尺子去改进。
问题：
1. 尺子画错了：评论家很难用数字精准表达“好吃”的感觉。AI 可能会为了拿高分，学会“钻空子”（比如把菜做得特别咸，因为咸能刺激味蕾得高分，但人根本吃不下去），这就是所谓的“奖励黑客”。
2. 数据偏差：如果评论家本身水平一般，或者只吃过某种口味的菜，AI 学到的“完美标准”就是歪的。

2. 新方案：直接比较，而不是打分

这篇论文提出了一种更聪明的方法，叫 PbRL（基于偏好的强化学习）。

新做法：不再让评论家给菜打分，而是直接端上两盘菜（轨迹 A 和轨迹 B），问评论家："你更喜欢哪一盘？"
优势：人类做选择题（二选一）比做填空题（打分）要容易得多，也准确得多。这就像你选衣服时，直接说“这件比那件好看”，比给衣服打分要靠谱。

3. 核心挑战：如何结合“旧经验”和“新探索”？

论文解决了一个很现实的问题：

旧数据（离线数据）：我们手里已经有一大堆以前别人做的“二选一”记录。但这堆数据可能来自一个水平一般的厨师（比如他喜欢咸的，但我们要学做清淡的），或者数据不够全面。
新探索（在线数据）：我们只能让 AI 再试几次，每次试两盘，再问一次“喜欢哪个”。但问人的次数有限（预算有限），不能浪费。

目标：如何在有限的“提问次数”内，结合那堆“不完美”的旧数据，快速找到最完美的那道菜（最佳策略）？

4. 主角登场：PSPL 算法（“后验采样”）

作者提出了一个叫 PSPL 的算法。我们可以把它想象成一个**“拥有双重人格的超级学徒”**。

它的秘密武器：
1. 相信直觉（贝叶斯推断）：它不只看数据，它心里有一本“账本”（后验分布）。它知道旧数据里的评论家可能有点“偏科”（比如太喜欢咸的），所以它不会盲目全信，而是给旧数据打个折。
2. 双重模拟（Top-Two Thompson Sampling）：
  - 在每次做决定前，它会在脑海里同时模拟两个不同的“平行宇宙”。
  - 宇宙 A：假设旧数据里的评论家是对的，世界是咸的。
  - 宇宙 B：假设旧数据里的评论家有点偏，世界其实是清淡的。
  - 然后，它分别在这两个宇宙里各做一盘菜，端给真人看：“这两盘，你更喜欢哪个？”
3. 动态更新：根据真人的回答，它迅速修正那两个“平行宇宙”的假设。如果真人说“我喜欢清淡的”，它就知道“宇宙 A"的假设错了，赶紧调整。

比喻：这就好比你在学开车。你有一本别人写的《驾驶手册》（离线数据），但那个作者是个新手，有些建议是错的。PSPL 算法就像是一个聪明的教练，他一边看手册，一边在心里想：“如果手册是对的，我该往左打；如果手册是错的，我该往右打。”然后他让你实际开一下，看路人的反应，从而迅速修正自己的驾驶技术，而不是死记硬背那本可能有误的手册。

5. 为什么这个方法很厉害？

更稳健：即使旧数据里的“评论家”水平一般（甚至有点笨），PSPL 也能通过“怀疑”和“验证”，把那些错误的影响降到最低。
效率极高：它不需要像以前那样先花大量时间去“猜”那个完美的奖励模型长什么样，而是直接通过“二选一”的反馈，一步步逼近那个最好的结果。
理论保证：作者不仅提出了方法，还从数学上证明了：只要给的旧数据够多，或者那个“评论家”越接近专家，这个算法找到的“最佳策略”就越完美，而且误差会迅速缩小。

6. 实际效果：从游戏到画图

作者在两个地方测试了这个方法：

游戏环境：像《Mountain Car》（让小车爬坡）和《RiverSwim》（让鱼过河）这样的经典游戏。结果显示，PSPL 比现有的其他方法（如 DPO、IPO）学得更快，最终成绩更好。
AI 画图：这是个大亮点。他们用了人类对 AI 生成的图片的偏好数据（Pick-a-Pic 数据集）。
- 场景：AI 生成两张图，人选一张。
- 结果：PSPL 能利用这些人类偏好，让 AI 画出的图片越来越符合人类的审美，而且比传统方法生成的图片质量更高、更让人满意。

总结

这篇论文的核心思想就是：别试图去猜人类心里那把模糊的“尺子”有多长，直接让人类做“二选一”的选择题，并且聪明地利用那些“不完美”的旧答案，通过不断的“假设 - 验证”循环，快速找到人类真正想要的那个“最佳答案”。

这就好比教 AI 做人，不是靠死记硬背规则，而是靠在不断的“选 A 还是选 B"的互动中，通过聪明的试错，最终学会如何最完美地迎合人类的心意。

1. 研究背景与问题定义 (Problem Definition)

背景：
强化学习从人类反馈（RLHF）已成为对齐大型生成模型（如 LLM）的关键技术。然而，传统的 RLHF 流程依赖于学习一个标量奖励模型（Reward Model），这存在两个主要缺陷：

奖励函数误设（Misspecification）： 难以将复杂的人类目标准确还原为标量奖励。
奖励黑客（Reward Hacking）： 模型可能利用奖励函数的漏洞来最大化奖励，而非真正满足人类意图。

偏好强化学习（PbRL）：
PbRL 通过直接利用轨迹（Trajectory）之间的二元比较（偏好反馈）来替代标量奖励，被认为更鲁棒。但在实际应用中（如多轮对话或图像生成），PbRL 面临以下挑战：

离线数据偏差： 初始的离线偏好数据集通常由非最优策略（Subpar policy）或能力有限的评估者（Rater）生成，存在分布外（OOD）偏差。
纯探索需求： 在生成式模型的微调中，目标往往不是最小化累积遗憾（Cumulative Regret），而是最佳策略识别（Best Policy Identification, BPI），即在有限的在线交互预算下，通过纯探索找到最终性能最优的策略。

核心问题：
给定一个由能力有限的评估者生成的、可能存在偏差的离线轨迹偏好数据集，如何设计一个在线学习算法，系统地补充在线偏好数据，以在有限的预算下最小化简单遗憾（Simple Regret），从而识别出最优策略？

2. 方法论：PSPL 算法 (Methodology: PSPL)

作者提出了 PSPL (Posterior Sampling for Preference Learning) 算法，这是一种受“双顶汤普森采样（Top-Two Thompson Sampling）”启发的贝叶斯算法。

2.1 核心假设与建模

环境模型： 未知转移动力学 $P_\eta$ 和未知奖励函数 $r_\theta$ 的马尔可夫决策过程（MDP）。
轨迹嵌入： 假设存在轨迹嵌入函数 $\phi(\tau)$ ，奖励定义为 $r_\theta(\tau) = \langle \phi(\tau), \theta \rangle$ 。
评估者模型（Rater Model）：
- 评估者具有“能力”参数： $\beta$ （决策的确定性/贪婪程度）和 $\lambda$ （对真实奖励参数 $\theta$ 的知识程度）。
- 评估者的估计参数 $\vartheta \sim \mathcal{N}(\theta, I/\lambda^2)$ 。
- 偏好遵循 Bradley-Terry 模型： $P(Y=0 | \tau_0, \tau_1) = \sigma(\beta \langle \phi(\tau_0) - \phi(\tau_1), \vartheta \rangle)$ 。

2.2 算法流程

PSPL 结合了离线数据初始化与在线纯探索：

构建知情先验（Informed Priors）：
- 利用离线数据集 $D_0$ 更新奖励参数 $\theta$ 和转移参数 $\eta$ 的后验分布。
- 不同于传统方法仅将离线数据视为固定样本，PSPL 将其作为先验分布的更新依据，显式地利用了评估者的能力参数（ $\lambda, \beta$ ）来加权信息的可靠性。
在线纯探索阶段（Online Pure Exploration）：
- 在每一轮 $k$ 中，从当前的后验分布中采样两组参数 $(\theta^{(0)}, \eta^{(0)})$ 和 $(\theta^{(1)}, \eta^{(1)})$ 。
- 基于采样参数计算两个策略 $\pi^{(0)}_k$ 和 $\pi^{(1)}_k$ 。
- 运行这两个策略生成两条轨迹 $\tau^{(0)}_k$ 和 $\tau^{(1)}_k$ 。
- 获取评估者对这两条轨迹的偏好反馈 $Y_k$ 。
- 将新数据加入数据集，更新后验分布。
输出：
- 在 $K$ 轮结束后，基于最大后验估计（MAP）从最终的后验分布中计算并输出最优策略 $\pi^*_{K+1}$ 。

2.3 实用近似：Bootstrapped PSPL

由于后验更新在解析上难以处理（共轭性丢失），作者提出了 Bootstrapped PSPL：

通过**贝叶斯自举（Bayesian Bootstrapping）**技术，对损失函数进行扰动（添加随机权重和噪声）。
将扰动后的 MAP 估计值视为后验分布的近似样本，从而在计算上可行地实现后验采样。

3. 主要贡献 (Key Contributions)

理论框架： 首次建立了结合离线偏好数据与在线纯探索的最佳策略学习（BPI）形式化框架，特别针对由能力有限的评估者生成的数据。
新算法 PSPL： 提出了首个针对该设置的最佳策略学习算法。该算法通过维护奖励模型和动力学的后验分布，自然地平衡了探索与利用。
理论保证： 提供了 PbRL 领域首个**贝叶斯简单遗憾（Bayesian Simple Regret）**的上界保证。
- 证明了遗憾界依赖于离线数据集的大小 $N$ 和评估者的能力参数（ $\lambda, \beta$ ）。
- 当评估者趋向专家（ $\lambda, \beta \to \infty$ ）且数据量增加时，遗憾呈指数级收敛。
实证性能： 在合成基准（MountainCar, RiverSwim）和真实世界图像生成任务（Pick-a-Pic 数据集）上，PSPL 显著优于现有的离线微调基线（如 DPO, IPO）和在线 PbRL 算法（如 LPbRL, DPS）。

4. 实验结果 (Empirical Results)

基准环境（MountainCar & RiverSwim）：
- 离线数据价值： 随着离线数据集大小 $N$ 的增加，简单遗憾显著降低。
- 评估者能力影响： 评估者能力参数 $\beta$ （确定性）和 $\lambda$ （知识度）越高，PSPL 的性能提升越明显。即使评估者能力一般（"mediocre expert"），PSPL 也能通过加权机制有效利用数据。
- 对比基线： PSPL 在简单遗憾上显著优于 DPO、IPO（纯离线方法）以及 DPS、LPbRL（纯在线或混合方法）。
图像生成任务（Pick-a-Pic）：
- 在文本到图像生成任务中，PSPL 利用人类偏好数据微调扩散模型。
- 结果显示，PSPL 生成的图像在自动奖励模型（ImageReward, Aesthetic）评分上高于 DPS，表明其能更有效地找到符合人类偏好的生成策略。
鲁棒性分析：
- 即使评估者能力参数（ $\lambda, \beta$ ）被错误指定（Misspecified），PSPL 依然表现出比基线更强的鲁棒性，性能下降幅度较小。

5. 意义与结论 (Significance & Conclusion)

填补理论空白： 本文首次将离线偏好数据与在线纯探索结合，并给出了针对最佳策略识别（BPI）的严格理论界限，解决了现有 PbRL 研究多关注累积遗憾或假设完美评估者的问题。
RLHF 实践指导： 研究结果表明，在 RLHF 微调中，仅仅收集大量离线数据是不够的，必须考虑评估者的能力（Competence）。PSPL 提供了一种机制，能够根据评估者的可信度动态调整离线数据对在线学习的贡献，从而在有限的在线交互预算下获得更高质量的策略。
通用性： 提出的 Bootstrapped PSPL 算法具有计算可行性，不仅适用于控制任务，也成功扩展到了高维的生成式 AI 任务（如图像生成），为未来大模型的对齐提供了新的优化范式。

总结： 该论文通过引入基于后验采样的 PSPL 算法，成功解决了在存在偏差和有限能力的离线偏好数据下，如何高效进行在线探索以识别最佳策略的问题，为下一代 RLHF 系统提供了坚实的理论基础和高效的算法工具。