🤖 machine learning

RENEW: Towards Learning World Models and Repairing Model Exploitation from Preferences

该论文提出了 RENEW，这是一个利用人类对想象展开（imagined rollouts）的偏好来直接修复离线强化学习世界模型中模型利用（model exploitation）问题的框架，通过使用认知不确定性（epistemic uncertainty）来指导高效微调，从而在不需要额外专家演示的情况下提高样本效率和泛化能力。

原作者： Logan Mondal Bhamidipaty, Mykel Kochenderfer, Subramanian Ramamoorthy

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Logan Mondal Bhamidipaty, Mykel Kochenderfer, Subramanian Ramamoorthy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩电子游戏，但你不能让它触碰真实的控制台。于是，你给了它一堆旧的游戏录像，并要求它构建一个“梦境机器”——一个关于游戏运作方式的精神模拟。这就是离线强化学习（offline reinforcement learning）的世界，在这里，AI 完全从一个固定的数据集中学，而从未与真实世界进行过交互。其目标是构建一个世界模型（world model），一种能够预测如果机器人采取特定行动后会发生什么的“内在水晶球”。

然而，这个梦境机器中存在一个危险的故障。由于机器人仅从一组有限的旧录像中学习，它的水晶球存在盲点。如果机器人试图规划一个经过“盲点”的动作，模型可能会产生幻觉，创造出一个捷径——比如一个并不存在的墙壁，或者一个变成蹦床的地板。机器人作为一个聪明的优化器，会发现这个虚假的捷径并在模拟中利用它来获胜，结果却在现实中撞得头破血血。这被称为模型利用（model exploitation）。传统上，科学家们试图通过收集更多现实世界的数据（这既昂贵又缓慢），或者告诉机器人要害怕任何它不理解的事物（这会让它变得过于胆小而无法学习新事物）来解决这个问题。

这篇论文介绍了一种巧妙的新方法，可以在不需要更多现实世界素材的情况下修复机器人的梦境机器。作者 Logan Bhamidipaty、Mykel Kochenderfer 和 Subramanian Ramamoorthy 提出，我们可以利用人类直觉作为一种修复工具。他们意识到，虽然知道玩游戏的“最佳方式”需要博士学位，但几乎任何人都能一眼看出物理规律是否被破坏了。如果机器人在模拟中穿过了实心墙，或者让一辆车漂浮了起来，人类可以立刻说：“那是假的！”论文建议使用这些简单的“真实 vs 虚假”的判断，来教机器人的世界模型如何停止产生幻觉。

“梦境修复”项目

研究人员将他们的新框架称为 RENEW（通过诱导的世界模型偏好进行修复，Repairing ExploitatioN with Elicited World-model preferences）。以下是它是如何运作的步骤，使用一个简单的类比：

想象机器人的世界模型是一个试图通过阅读几页规则书来学习棋盘游戏规则的学生。这个学生很有信心，但在某些地方是错误的。

旧方法（朴素的 DLHF）： 你可以让一个人观察两个不同的学生想象出的游戏动作，并问：“哪一个看起来更真实？”如果你随机地进行提问，人类可能会花费数小时去纠正那些学生已经做对的动作，却忽略了那些学生最困惑的、疯狂且不可能发生的动作。这被称为朴素的动力学人类反馈学习（naive Dynamics Learning from Human Feedback, DLHF）。论文表明这种方法有效，但效率极低。为了达到与仅仅 1,000 个真实样本同等的准确度，这种朴素方法需要 100 万个人类偏好标签。这就像是要求一个人批改一百万篇论文，仅仅是为了修正几个错别字。
RENEW 的方法： RENEW 不会随机提问，而是扮演一名聪明的导师。它首先检查学生的“不确定性计数器”。它会问：“学生在哪里最困惑？”然后，它只要求人类去比较那些特定且令人困惑的区域中的动作。它将人类的注意力精确地集中在机器人最可能犯危险错误的地方。

他们的发现

团队在多个数字环境中测试了这个想法，包括迷宫、滑块拼图（类似于 15 拼图）以及一个名为 Sokoban 的推箱子游戏。他们使用了一个计算机程序来充当“完美人类”来生成偏好标签，模拟了如果真实的人在进行判断时会发生的情况。

以下是他们实验的关键结论：

偏好可以直接教授物理知识： 他们证明了，仅仅通过询问“这两条路径中哪一条看起来更真实？”，你就可以教会世界模型物理规则。你不需要向机器人展示正确答案，也不需要告诉它目标是什么。仅仅是“真实 vs 虚假”的信号就足以修复模型。
智能定位节省时间： 当他们将“随机”方法（朴素 DLHF）与“智能定位”方法（RENEW）进行比较时，结果非常清晰。在 3x3 滑块拼图中，在拥有相同数量人类标签的情况下，RENEW 将错误率降低到了随机方法的一半。
修复“失忆”问题： 一个令人惊讶的发现是，随机方法有时会让情况变得更糟。在 Sokoban 游戏中，朴素方法实际上导致机器人“忘记”了如何正确移动箱子，这是一个被称为**灾难性遗忘（catastrophic forgetting）**的问题。RENEW 完全避免了这个问题，因为它只微调了模型中真正损坏的部分，而保留了正确的部件。
现实世界的潜力： 在迷宫环境中，他们发现，仅凭 1,600 个偏好标签，RENEW 就能修复一个容易被利用的预训练模型，显著降低了错误率。即使拥有相同的预算，朴素方法仍然留下了许多错误和不确定性。

核心结论

论文表明，我们不需要成为专家来修复 AI 模型；我们只需要擅长识别荒谬的事物即可。通过要求人类简单地指出机器人的想象何时违反了物理定律，我们可以高效地修复机器人的“梦境机器”。

然而，作者谨慎地指出，这仍处于早期研究阶段。他们的实验使用了计算机生成的“完美”标签和小型、简单的网格世界游戏。他们尚未在复杂的、高维度的世界（如驾驶真实的汽车）中测试过真实的、会犯错的疲惫人类。但结果展示了一条充满希望的新路径：我们不需要强迫机器人害怕未知，而是可以用我们的常识温和地引导它们回归现实，使它们变得更安全、更可靠，而无需无穷无尽的昂贵数据。

技术摘要：RENEW：迈向学习世界模型并修复基于偏好的模型利用问题

问题陈述

基于模型的强化学习（Model-based RL）依赖于学习到的世界模型（动力学模型）来通过生成合成经验来提高样本效率。然而，在从固定数据集学习的离线设置中，这些模型会遭受**模型利用（Model Exploitation）**的问题。当策略针对一个不完美的世界模型进行优化时，它可能会发现并利用不准确的转移过程（例如，穿墙传送），从而获得在真实环境中无法实现的虚高回报。

现有的解决方案通常分为两类，但两者都存在显著局限性：

收集更多数据： 在模型失效区域收集额外的专家演示通常是昂贵、不安全或不可能的（例如，机器人或自动驾驶中的罕见故障模式）。
保守算法： 对不确定状态进行惩罚或将策略约束在行为分布内，这虽然提高了鲁棒性，但也牺牲了探索能力和泛化能力，限制了基于模型方法的效用。

作者提出了一个新的问题：我们能否在不收集更多演示的情况下纠正世界模型的动力学？他们观察到，虽然展示正确行为需要领域专家知识，但识别错误的动力学（违反直觉物理规律，如实体性或物体恒常性）对于人类来说通常是显而易见的。

方法论

本文引入了两个核心组件：一个新的学习框架和一个用于优化该框架的算法。

1. 基于人类反馈的动力学学习 (DLHF)

作者将 DLHF 正式化为一个框架，该框架用动力学模型取代了标准强化学习反馈（RLHF）中的奖励模型。

核心思想： 与要求人类根据任务成功率（这可能会强化利用行为，例如，因为路径更快而偏好一条穿墙传送的轨迹）来比较轨迹不同，人类被要求根据**物理合理性（Physical Plausibility）**来比较轨迹段。
公式化：
- 令 $\hat{T}_\theta$ 为学习到的动力学模型。
- 轨迹段 $\sigma$ 在模型下的对数似然定义为 $\ell_\theta(\sigma) = \sum \log \hat{T}_\theta(s_{t+1} | s_t, a_t)$ 。
- 在 Bradley-Terry 偏好框架下，轨迹段 $\sigma_0$ 被认为优于 $\sigma_1$ 的概率建模为：
  $P(\sigma_0 \succ \sigma_1) = \text{logistic}(\ell_\theta(\sigma_0) - \ell_\theta(\sigma_1))$
- 通过最小化针对人类偏好标签的交叉熵损失来更新模型参数 $\theta$ 。这使得动力学模型可以直接通过二元偏好进行监督，而无需奖励标签、专家演示或环境交互。

2. RENEW (通过诱导的世界模型偏好修复利用)

作者指出，朴素的 DLHF 样本效率较低，因为均匀采样轨迹对会浪费预算在模型已经预测良好的转移上。RENEW 通过使用**认识不确定性（Epistemic Uncertainty）**来指导偏好查询，解决了这一问题。

主动查询： RENEW 识别出模型具有高认识不确定性的状态-动作对（例如，通过集成差异/Ensemble Disagreement）。
针对性采样： 它从这些高不确定性区域生成轨迹段对。
迭代微调： 该过程循环进行：
1. 计算当前模型下的认识不确定性 $u$ 。
2. 按比例 $u$ 采样轨迹段对。
3. 诱导人类（或先验/Oracle）对这些对进行偏好选择。
4. 使用 DLHF 损失微调模型。
5. 重新计算不确定性并重复。
目标： 这将偏好预算集中在模型最容易受到利用攻击的具体区域，从而提高样本效率，并防止对先前学习到的正确动力学的灾难性遗忘。

核心贡献

DLHF 框架： 一种直接从人类偏好中学习转移动力学的新颖公式化方法，将监督信号从任务成功（奖励）转向物理真实性（动力学）。
RENEW 算法： 一种利用认识不确定性实现高效偏好动力学学习的主动学习算法，专门针对易受模型利用攻击的区域。
实证验证： 证明了二元偏好可以从零开始学习世界模型，并能在无需额外演示或环境交互的情况下修复预训练模型。

实验结果

作者在 Jumanji（离散网格世界，如 Maze, Sliding Tile, Sokoban）和 Classic Control（MountainCar, Acrobot）环境中评估了其方法。

DLHF 的可行性： 朴素 DLHF 可以仅使用偏好从零学习简单的世界模型，但需要巨大的预算（约 100 万个偏好标签）才能达到与 1000 个监督转移相匹配的性能。
RENEW 的样本效率：
- 在相同的偏好预算下，RENEW 显著优于朴素 DLHF。例如，在 Sliding Tile 3x3 环境中，RENEW 的最终误差大约是均匀采样的二分之一。
- 灾难性遗忘： 在 Sokoban 环境中，朴-素 DLHF 降低了预训练模型的性能，而 RENEW 则提升了它。这表明主动查询可以防止由于来自不准确想象转移的更新而覆盖正确的动力学。
修复利用： 在 Maze 环境（5x5 到 20x20）的微调实验中，使用 1,600 个标签的固定预算，RENEW 比朴素微调更有效地降低了预测误差和认识不确定性。它实现了更高的转移准确率（例如，10x10 Maze 上为 97.2% vs 93.2%）以及更紧凑的置信区间。
连续控制： 虽然由于偏好信号不够明确，从偏好中学习连续动力学更加困难，但 DLHF 在 MountainCar 和 Acrobot 上仍实现了与监督基准接近的性能。当梯度步数有限（例如 $K=8$ 个候选者）时，RENEW 在样本效率方面表现出优势。

重要性与主张

论文声称提供了初步证据，证明偏好可以直接监督世界模型的动力学。其重要性在于：

直接动力学监督： 不同于以往使用偏好来学习奖励函数或对齐策略的工作，这项工作使用偏好来学习转移模型本身。
无需专家数据： 该方法不需要专家演示、不需要奖励标签，也不需要环境交互，解决了离线基于模型的强化学习中的主要瓶颈。
实用的修复机制： RENEW 提供了一种务实的替代方案，用于替代收集更多数据或限制探索，能够使用有限的偏好查询预算来修复预训练模型中的模型利用问题。

作者对目前的范围保持谦逊，指出实验使用了合成先验（Synthetic Oracles）而非真实的人类标注者，且局限于小型离散和低维连续环境。他们指出，验证在噪声人类标签下的表现以及扩展到高维观测空间是关键的下一步。