🤖 machine learning

On Training in Imagination

本文分析了学习到的动力学模型和奖励模型误差对基于模型的强化学习的影响，推导了最优样本分配策略，并刻画了在策略优化中使用昂贵且低噪声的奖励与使用廉价且含噪声的奖励之间的权衡。

原作者： Nadav Timor, Ravid Shwartz-Ziv, Micah Goldblum, Yann LeCun, David Harel

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Nadav Timor, Ravid Shwartz-Ziv, Micah Goldblum, Yann LeCun, David Harel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人玩一款复杂的电子游戏，比如赛车模拟器或策略游戏。你有两种主要方式来教它：

真实练习：让机器人真正玩游戏，撞墙、得分，并从真实环境中学习。
想象：在机器人的计算机内部构建一个“梦境世界”。在这个梦境中，机器人模拟玩游戏，预测接下来会发生什么，并自行评估表现，而无需真正接触真实游戏。

本文探讨的是想象训练。它提出：“我们如何使这种梦境世界的训练尽可能有效，尤其是当我们的‘梦境’并不完美时？”

以下是他们发现的要点，使用简单的类比进行说明：

1. 梦境的两个组成部分

要运行模拟，你需要两样东西：

物理引擎（动力学模型）：这预测当你采取某个动作时会发生什么。如果你按下“左”，车会开到哪里？
记分员（奖励模型）：这告诉你那个动作有多好。你得分了吗？你撞车了吗？

作者发现，这两部分的错误对机器人学习的影响方式不同。

类比：想象你通过阅读食谱书（物理）和品尝食物（奖励）来学习烹饪。
- 如果你的食谱书稍有错误（例如，它说“烤 10 分钟”，但实际是 12 分钟），你最终可能会把蛋糕烤焦。
- 如果你的味蕾稍有偏差（例如，你把甜味误认为咸味），你可能会不断添加错误的配料。
- 本文证明，如果你的“味蕾”（奖励模型）不好，它对你学习的破坏程度与一本糟糕的食谱书一样大，但以一种特定的、可计算的方式发生。

2. “平滑性”规则

本文建议，为了让机器人在其想象中有效学习，它所使用的地图（物理和记分员）必须是**“平滑的”**。

类比：想象一条颠簸的道路与一条平坦的高速公路。
- 如果道路颠簸（在数学上，如果“利普希茨常数”很高），方向盘（输入）的微小变化会导致汽车去向（输出）出现巨大且不可预测的跳跃。这使得梦境世界变得混乱，难以从中学习。
- 如果道路平滑，方向盘的微小转动会导致微小且可预测的弯道。
- 发现：作者表明，如果你设计人工智能来学习这些“平滑”的地图，梦境世界中的误差会保持较小，机器人学习速度也会快得多。他们甚至将这一点与一种称为“时间拉直”的技术联系起来，这就像强迫机器人的梦境路径看起来像一条直线，而不是一团杂乱的涂鸦，从而更容易预测未来。

3. 预算问题：在什么上花多少钱？

想象你有一笔固定的资金（预算）来训练你的机器人。你可以把钱花在：

动力学数据：记录汽车如何移动（更便宜，更容易获取）。
奖励数据：让人类专家说“做得好”或“做得差”（更昂贵，更难获取）。

核心问题：你应该购买一大堆廉价的运动数据和少量昂贵的专家意见？还是少量的运动数据和大量的专家意见？

发现：本文给出了完美分配的数学公式。
- 事实证明，奖励数据通常比运动数据更容易学习。在他们的实验中，每增加一点数据，“奖励模型”的学习速度几乎是“物理模型”的9 倍。
- 由于奖励学习得如此之快，本文建议，你通常应该将更多预算花在获取更多奖励数据上（即使它稍微有些噪声），而不是过分纠结于完美的物理数据。拥有一张略有瑕疵的地图，但对“获胜”的样子有非常清晰的理解，会更好。

4. 处理噪声分数

有时，“记分员”并不完美。也许人类专家累了，或者传感器出了故障，导致分数带有一点随机性（噪声）。

好消息：如果噪声是随机的（有时 +1，有时 -1，但平均值为零），机器人仍然可以很好地学习。它只需要多尝试几次，以平滑掉随机性。
坏消息：如果记分员存在偏差（总是认为机器人表现得比实际更好），无论练习多少次都无法修复。机器人将学到错误的教训。
权衡：本文提出：“我是应该支付 100 个廉价但有噪声的分数，还是 10 个昂贵但完美的分数？”
- 他们的数学表明，这取决于当你接受更多噪声时成本下降的程度。
- 情景 A：如果获取“完美”分数的成本是“有噪声”分数的 100 倍，但噪声仅降低了 2 倍，那么你应该购买廉价但有噪声的分数，并运行更多模拟。
- 情景 B：如果多付一点钱就能让噪声完全消失，那么你应该支付昂贵但完美的分数。

总结

本文是一份为构建更好的 AI“梦境世界”而编写的指南。它告诉我们：

平滑性是关键：确保 AI 的内部地图是可预测的，而不是混乱的。
奖励为王：由于学习“什么是好的”比学习“世界如何移动”更快，因此应将更多预算花在奖励数据上。
噪声可以接受，偏差不行：评分中的随机错误可以通过多做练习来修正；系统性的谎言则无法修正。

作者在合成计算机模拟中测试了这些想法，发现他们的数学公式准确地预测了如何分配预算以及预期会有多少误差。

技术摘要：关于想象训练

问题陈述

本文探讨了“想象训练”的理论基础，这是一种强化学习范式，其中策略通过由学习到的动力学模型生成的轨迹进行优化，并由学习到的奖励模型进行评分，在策略更新过程中无需查询真实环境。尽管近期最先进的方法（例如 Dreamer 3、Dreamer 4）在实证上取得了成功，但现有的理论界限（如模拟引理）无法独立量化动力学模型误差与奖励模型误差对总回报差距的贡献。此外，目前尚无理论指导如何在收集动力学转换（状态 - 动作 - 下一状态）与奖励标注（状态 - 动作 - 奖励）之间最优地分配固定的样本预算，特别是在奖励标注成本更高或噪声更大的情况下。

作者提出了四个开放性问题：

误差归因：回报差距中有多少源于动力学误差，又有多少源于奖励误差？
表示属性：学习到的表示具有哪些属性能够收紧回报误差界限？
预算分配：应如何在一个固定的样本预算中划分动力学数据与奖励数据？
奖励保真度：策略优化（特别是 REINFORCE）如何容忍噪声或偏差奖励？在何种情况下，购买大量廉价但有噪声的标注优于购买少量准确的标注？

方法论

作者通过结合利普希茨连续性假设下的理论分析与幂律缩放假设，并在合成环境与线性二次高斯（LQG）基准上进行实证验证，来回答上述问题。

理论框架

误差分解（引理 1）：作者通过用学习到的奖励模型替换真实奖励，扩展了 Asadi 等人 [2018b] 的分析。他们推导出了回报差距 $|J(\pi, M) - J(\pi, \hat{M})|$ 的界限，该界限将误差分解为动力学误差（ $\epsilon_{dyn}$ ）和奖励误差（ $\epsilon_{rew}$ ）的可分离项。该界限取决于学习到的动力学（ $L_f$ ）、奖励（ $L_r$ ）和策略（ $L_\pi$ ）的利普希茨常数以及折扣因子 $\gamma$ 。
表示分析：作者分析了学习到的模型的利普希茨常数如何影响误差界限。他们将其与“时间拉直”目标（Wang 等人 [2026]）联系起来，表明最小化潜在速度映射的利普希茨常数可以减少曲率损失，从而收紧误差界限。
最优预算分配（定理 1）：假设模型误差遵循幂律缩放（ $\epsilon \propto N^{-\alpha}$ ），作者推导出了在固定预算下最小化回报误差界限的动力学样本与奖励样本的最优比例（ $N^*_{dyn}/N^*_{rew}$ ）的闭式解。该比例取决于幂律指数、每样本成本以及利普希茨系数。
噪声奖励分析（定理 2 与推论 2）：作者在加性零均值奖励噪声下分析了 REINFORCE 估计量。他们证明了此类噪声使梯度估计量保持无偏，但增加了其方差。他们推导出了一个优化问题，以确定最优的“保真度”（每次标注的成本）与数量之间的权衡，表明最优策略取决于标注成本与噪声方差之间的函数关系。
偏差分析（命题 2）：他们证明了系统性奖励偏差会引入梯度偏差，这种偏差无法通过对更多轨迹取平均来消除，从而将其与零均值噪声区分开来。

实证验证

误差界限校准：作者在 525 种配置（合成环境与 LQG）上测试了引理 1。该界限普遍成立，但在实践中发现其较为宽松（通常超出实际值 29 倍至 286 倍），这表明全局利普希茨常数是对实际敏感性的保守估计。
缩放定律：在一个合成连续控制环境中，他们拟合了动力学和奖励误差的幂律缩放。他们发现，随着样本量的增加，奖励误差的衰减速度显著快于动力学误差（ $\beta \approx 0.96$ 对比 $\alpha \approx 0.11$ ）。
分配预测：他们评估了定理 1 的预测能力。虽然最优样本比例与误差比例之间的正比关系成立，但由全局利普希茨常数导出的乘数较为宽松（超出实际值几个数量级）。然而，用实际实现的值函数敏感性替换全局常数后，预测的比例得到了准确恢复。
保真度权衡：展示了噪声 - 成本权衡的理论机制（幂律、有界、不可约底限），表明最优策略范围从购买最大保真度到购买最大数量，具体取决于噪声 - 成本曲线。

主要贡献

误差归因：将回报差距形式化分解为可独立控制的动力学误差项和奖励误差项（引理 1），将先前的模拟引理扩展至包含学习到的奖励模型。
表示需求：确定学习到的动力学、奖励和策略具有较低的利普希茨常数作为收紧回报误差界限的关键需求（推论 1），并建立了其与时间拉直目标之间的理论联系（命题 1）。
最优样本分配：在幂律误差缩放和固定预算下，给出了动力学样本与奖励样本最优比例的闭式解（定理 1），为数据收集策略提供了理论基础。
奖励保真度表征：表征了 REINFORCE 如何容忍零均值噪声（无偏且方差有界）与系统性偏差（不可消除的梯度偏差），并将保真度 - 数量权衡简化为一维优化问题（推论 2）。

结果

理论界限：推导出的界限（公式 1）对所有测试配置均成立，证实了分解的有效性。然而，当使用全局利普希茨常数实例化该界限时，界限较为宽松，表明实际敏感性对于实际分配更具信息量。
缩放动态：实证结果表明，奖励模型的学习速度显著快于动力学模型（每十倍数据误差衰减约快 9 倍），这表明在许多设置中，预算应向获取更多奖励样本倾斜，或者奖励模型会迅速饱和。
分配策略：最优样本比例与误差水平之比及成本之比成正比，并受涉及利普希茨常数和折扣因子的因子缩放。
噪声与偏差：零均值噪声可以通过增加轨迹数量（方差缩减）来缓解，而系统性偏差无论样本量大小都会持续存在，从根本上改变了优化景观。

意义与主张

本文声称首次对奖励模型与动力学模型分开学习时的想象训练中的权衡进行了理论表征。通过解耦这些误差源，作者提供了一个框架，用于：

量化误差源：理解性能差距是源于世界建模不佳还是奖励建模不佳。
指导数据收集：提供一种原则性方法，在昂贵的奖励标注和较便宜的动力学转换之间分配有限资源。
** informing 表示学习**：表明降低利普希茨常数的正则化技术（如谱归一化或时间拉直）可直接改善基于模型的强化学习的理论保证。

作者对其界限的实际紧密度保持谦逊，指出虽然理论分解是合理的，但界限中使用的全局利普希茨常数通常是对实际敏感性的宽松上界。因此，虽然最优分配规则的比例性是稳健的，但确切的乘数需要比全局常数所能提供的更精确的值函数敏感性估计。这项工作被呈现为指导未来基于模型的强化学习系统设计的基础性分析，而非无需进一步校准即可直接实施的现成方案。