🤖 machine learning

PB $^2$ : Preference Space Exploration via Population-Based Methods in Preference-Based Reinforcement Learning

本文介绍了 PB $^2$ ，这是一种用于基于偏好的强化学习的基于种群的方法，它通过维持一个多样化的智能体种群来更好地探索偏好空间、通过可区分的行为来改进奖励模型学习，并实现在复杂环境中针对人类标注误差的鲁棒性能，从而克服了单智能体方法的局限性。

原作者： Brahim Driss, Alex Davey, Riad Akrour

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Brahim Driss, Alex Davey, Riad Akrour

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人走路，但你没有说明书，你也无法写下一系列规则，比如“将左脚抬高10厘米”。相反，你必须扮演一名严格但乐于助人的教练。每当机器人走几步时，你会观察两次尝试，然后仅仅说：“我更喜欢第二个。”这就是**基于偏好的强化学习（Preference-Based Reinforcement Learning, PbRL）**的核心。这是一种让机器通过倾听人类意见来学习复杂行为的方法，而不需要预先写好的评分表。

然而，这种教练风格存在一个棘手的难题。如果机器人一直重复做完全相同的事情，你最终会感到厌倦。你可能会说：“嗯，这两个都还可以，”或者“我看不出区别”，因为机器人并没有展示任何新东西。如果机器人只展示类似的、稳妥的动作，你就无法教它如何做出真正出色或独特的东西。机器人会陷入一种泥潭，重复着同样平庸的行为，因为它不敢尝试任何不同的事物。这篇论文探讨了这种特定的“厌倦感”：我们如何让机器人向我们展示更多样化的动作，以便我们能更好地、更快地、更准确地教导它？

问题所在：机器人的“回声壁效应”

在人工智能领域，研究人员一直试图通过使用复杂的数学方法来猜测人类可能喜欢什么，从而解决这个“厌倦”问题。但本文作者 Brahim Driss、Alex Davey 和 Riad Akrour 注意到了一些奇怪的现象。即使使用了这些先进的数学技巧，机器人仍然表现得像一群一模一样的双胞胎。它们都会尝试同样的几种动作，展示给人类教练看，并得到相同的反馈。

论文指出，当一个机器人只有一个“大脑”（单个智能体）试图弄清楚你喜欢什么时，它会陷入一个局部陷阱。它找到了一条“还不错”的路径，然后拒绝离开这条路径，因为它认为：“嘿，这行得通！”但它永远不会意识到就在转角处还有一条更好的路。这就像一个徒步旅行者发现了一片小而平坦的草地，然后决定永远在那里安营扎寨，永远不会去攀登高山去欣赏美景，仅仅是因为他们太害怕离开那个舒适区了。

解决方案：一支多元化的探索者团队

为了解决这个问题，作者提出了一种名为 PB²（基于种群的基于偏好的强化学习）的新方法。与其派出一个机器人去学习，不如派出一支探索者团队。

想象你是一名正在寻找下一位伟大舞者的星探。

旧方法： 你雇佣了一名舞者。他们展示了一个动作。你说：“我喜欢那个旋转。”舞者就这样一遍又一遍地做那个旋转，做得越来越好，但从未尝试过跳跃或滑动。你感到厌倦了，而舞者也从未学会完整的舞蹈。
PB² 方法： 你雇佣了一个由三名舞者组成的团队。其中一人有点狂野，一人非常精准，还有一人介于两者之间。你要求他们展示他们的动作。因为他们各不相同，他们展示了一个旋转、一个跳跃和一个滑动。你现在可以说：“我爱那个跳跃！”以及“滑动还可以，但旋转很无聊。”

因为这个团队具有多样性，他们覆盖了更广的范围。他们向你展示了更多样化的行为，这有助于你（人类）给出更清晰、更有用的反馈。论文认为，这种多样性才是成功的秘诀。它防止了机器人陷入平庸解决方案的“局部最优解”陷阱。

它是如何运作的：“锚点”与“奖励”

PB² 的魔力不仅在于拥有一个团队，还在于他们如何保持轨道不偏离。如果你只是让一个机器人团队肆意妄为，他们可能会开始做一些与任务无关的傻事。为了阻止这种情况，作者使用了一个巧妙的两部分系统：

锚点（The Anchor）： 团队中的一个机器人是“锚点”。它的唯一工作就是根据你目前告诉它的信息，尽其所能地做好工作。它是可靠且枯燥的员工，确保团队不会忘记目标。
探索者（The Explorers）： 其他机器人是“探索者”。它们被允许尝试古怪、不同的事物，但前提是它们做得要几乎和“锚点”一样好。

论文引入了一个“多样性奖励”。把它想象成一个游戏，探索者因为独特而获得额外积分。如果一名探索者尝试了一个看起来与其他机器人非常不同的动作，它就会获得奖励。但关键在于：如果探索者做的古怪事情太多，导致其得分过低，奖励就会消失，它必须回到专注于主任务的状态。这让团队既有创意又负责任。

实验结果显示

作者通过两种主要方式测试了这个想法：在简单的 2D 导航游戏（如在迷宫中移动的点）和复杂的 3D 动物行走模拟（如猎豹奔跑或狗走路）中。

1. 逃离陷阱：
在迷宫测试中，旧有的单机器人方法陷入了角落。它们找到了一个“足够好”的路径，并拒绝离开。然而，PB² 团队却向不同的方向派出了不同的成员。其中一人最终找到了通往出口的秘密捷径。论文表明，在相同的反馈量下，该团队比单机器人更快地找到了最佳解决方案。

2. 处理人类错误：
人类并不完美。有时我们无法分辨两个非常相似的动作之间的区别，可能会给出令人困惑的答案。论文通过让“人类教练”在动作过于相似时偶尔掷硬币来模拟这种情况。

单机器人方法在教练感到困惑时会崩溃。它们无法分辨这种困惑是因为动作不好，还是仅仅因为教练今天状态不好。
PB² 团队则顽强得多。因为他们展示了如此不同的动作，教练通常可以轻松辨别差异。即使教练犯了错，团队的多样性也能帮助他们找到正确的路径。论文指出，拥有一个多样化的群体使得学习过程对人类错误更加鲁棒（健壮）。

3. “集成”的迷思：
关于其他研究人员使用的一种流行技巧，有一个有趣的发现。有些团队试图通过给机器人一个“神经集成”（neural ensemble）——基本上是一组内部大脑，每个大脑对奖励的猜测略有不同——来解决多样性问题。作者测试了这一点，发现实际上这些内部大脑很快就会开始思考同样的事情。它们并没有产生足够的差异来提供帮助。这表明你不能仅仅依靠数学技巧来创造多样性；你需要一个实际的、明确的机制（比如探索者团队）来强制机器人变得不同。

核心结论

论文得出结论，要有效地利用人类反馈来教导机器人，我们不能依赖于一个孤独的智能体去猜测我们的需求。相反，我们应该维持一个由多样化智能体组成的种群。

通过保持一支被鼓励变得不同（但不要太不同）的探索者团队，我们可以：

向人类展示更多样化的选择。
获得更清晰、更少误导性的反馈。
跳出机器人陷入平庸解决方案的“局部陷阱”。
即使在人类犯错时也能学得更快。

作者认为，这种方法是朝着更高效地利用人类反馈进行 AI 学习迈出的务实一步，特别是在人类反馈昂贵、有限或带有一定随机性的情况下。它将学习过程从一场独白变成了一场生动、多元的对话。

=== 技术摘要：PB² – 通过基于种群的方法进行偏好空间探索 ===

问题陈述

基于偏好的强化学习（PbRL）允许智能体通过轨迹比较从人类反馈中学习行为，从而绕过对手写奖励函数的需求。然而，现有的 PbRL 方法面临着一个关键的偏好探索问题。目前通常在单智能体框架下运行的方法往往会过早收敛到次优策略，仅能捕捉到人类偏好中的一小部分子集。

这种局限性主要体现在两个方面：

查询歧义性（Query Ambiguity）： 为当前奖励模型优化的策略会生成高度相似的轨迹对用于人类评估。当轨迹过于相似时，人类评估者往往会提供不一致或带有噪声的反馈，从而降低学习信号的质量。
局部最优陷阱（Local Optima Traps）： 单智能体方法经常在偏好空间内陷入局部最优。即使采用了先进的查询选择策略（例如基于不确定性或策略对齐的策略），由于缺乏行为多样性，智能体也难以发现替代性的、潜在更优的行为，尤其是在具有复杂奖励结构的环境中。

此外，本文指出，用于捕捉偏好不确定性的标准神经集成奖励建模（neural ensemble reward modeling）在实践中无法诱导足够的行为多样性。集成成员会迅速收敛到相似的策略，使得不确定性估计在探索方面失效。

方法论：PB²

作者提出了 PB²（基于种群的偏好强化学习），该框架通过维护一个多样化的智能体种群来更有效地探索偏好空间，同时保持与人类意图的一致性。其核心机制是同时训练多个不同的策略，并由显式的多样性奖励（diversity bonus）进行引导。

核心组件

种群结构：
- 锚点策略 ( $\pi_{ref}$ ): 一个旨在纯粹最大化当前学习到的奖励模型 ( $r_\phi$ ) 的参考智能体。它建立了性能基准 ( $R_{ref}$ )，并确保种群不会漂移到无效行为中。
- 多样化策略 ( $\{\pi_i\}$ ): 一组旨在最大化学习到的奖励与多样性奖励组合的智能体。
性能约束的多样性：
不同于以往需要专家策略或固定目标的多样性方法，PB² 将性能约束多样性的概念（受 SMERL 启发）应用于非平稳的 PbRL 环境。多样化智能体 $\pi_i$ 仅在其期望回报 ( $R_i$ ) 相对于锚点达到阈值时才会获得多样性奖励：
$\pi_i^* \in \arg\max_{\pi_i} \mathbb{E}_{s,a \sim \pi_i} \left[ r_\phi(s, a) + \lambda \cdot \mathbb{1}[R_i \ge \alpha \cdot R_{ref}] \cdot \log q_\psi(i|s) \right]$
其中， $\lambda$ 控制权衡关系， $\alpha$ 是性能阈值， $q_\psi$ 是一个判别器。
自适应判别器：
训练一个判别器 $q_\psi$ 来预测哪个智能体生成了给定的状态 $s$ 。这最大化了策略与它们状态分布之间的互信息，从而鼓励智能体探索不同的状态空间区域。至关重要的是，随着奖励模型 $r_\phi$ 随新的人类反馈而演进，判别器也会持续进行调整。
稳定性机制：
- 策略继承： 在奖励模型更新后，锚点的评论家（critic）和执行器（actor）网络会被转移到所有多样化智能体中。这确保了种群在重新投入多样性激励之前，能够快速适应新的偏好信号。
- 临时暂停： 在奖励模型更新后，多样性奖励会被暂时禁用，以允许智能体在重新开始探索前，先在新的目标上实现稳定。
查询生成：
种群通过多样化的策略生成轨迹段。人类反馈收集在这些段的对（pairs）上。由于种群保持了截然不同的行为，生成的查询更具可区分性，从而降低了人类评估者的歧义性。

主要贡献

论文声称了四个主要贡献：

识别了偏好探索问题： 作者通过实验证明，单智能体 PbRL 方法会收敛到偏好空间的局部极小值，无法充分探索人类偏好的全貌。
提出 PB²： 一个基于种群的框架，通过显式的多样性奖励和性能约束机制来维持策略多样性，在不需要专家策略的情况下拓宽了偏好空间的覆盖范围。
关于集成局限性的实证证据： 作者展示了神经集成奖励建模（在 PbRL 中很常见）在实践中诱导的行为多样性极低，其表现与单智能体方法相似，无法有效表示奖励后验。
展示了鲁棒性和效率： 实验结果表明，PB² 生成了更具可区分性的查询，从而提高了奖励学习效率，并且相比于最先进的基准方法，在面对不一致的人类反馈（通过相似性阈值模拟）时具有更强的鲁棒性。

实验结果

作者在三种实验设置下评估了 PB²：

逃离局部最优（导航任务）：
在 2D 导航和 PointMaze 环境中，在有限反馈预算（N=4 到 N=20）下，PB² 成功逃离了单智能体基准方法（QPA, PEBBLE, RUNE）仍被困住的局部最优。PB² 在低反馈场景下比 QPA 高出多达 50%，展示了卓越的探索效率。
对不一致反馈的鲁棒性（DMControl）：
使用 DMControl 运动任务（Cheetah_run, Walker, Quadruped），作者通过引入相似性阈值 ( $\epsilon$ ) 来模拟人类的不一致性，即对于相似的轨迹，反馈会变为随机。
- 随着 $\epsilon$ 增加（模拟噪声更大的评估者），单智能体方法和对偶后验采样（TS）基准的表现显著下降。
- PB² 保持了鲁棒的性能，特别是在复杂的任务如 Quadruped_walk 和 Walker_walk 中，在噪声条件下实现了比基准方法显著更高的回报。
可区分性与多样性：
可视化确认了 PB² 种群生成的轨迹比单智能体方法覆盖了更广泛的状态空间区域。实验证明多样性奖励是必不可少的；如果没有它，种群会坍缩为类似于纯粹利用型 QPA 的相似行为。

意义与主张

本文将 PB² 定位为解决人类反馈成本高、有限且可能存在不一致性的场景的实用方案。通过从单智能体转向基于种群的范式，PB² 解决了 PbRL 中“偏好空间探索”的根本局限。

作者声称其方法：

减少歧义： 通过生成清晰可辨的行为，最大限度地降低了人类评估者的认知负荷，并减少了标注错误的影响。
提高样本效率： 它能以更少的反馈查询实现更好的性能，使其适用于现实世界的“人机回环”（human-in-the-loop）应用。
克服局部最优： 它提供了一种逃离传统单智能体 PbRL 方法所陷入的次优策略的机制。

这项工作表明，维持显式的行为多样性不仅是一个辅助目标，而且是复杂环境下有效进行偏好学习的必要条件，这挑战了“标准集成方法足以进行探索”的假设。