🤖 machine learning

Inverting the Bellman Equation: From $Q$ -Values to World Models

本文通过证明在多样化奖励函数上训练的基于价值（value-based）智能体隐式地编码了一个独特的生成世界模型，且该模型可以通过一种被称为 $P$ -learning 的新方法进行显式提取以实现在分布外任务上的强泛化能力，从而挑战了基于模型（model-based）与无模型（model-free）强化学习之间的传统分离。

原作者： Alistair Letcher, Mattie Fellows, Alexander D. Goldie, Jonathan Richens, Jakob N. Foerster, Oliver Richardson

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alistair Letcher, Mattie Fellows, Alexander D. Goldie, Jonathan Richens, Jakob N. Foerster, Oliver Richardson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何通过迷宫。传统上，有两种方法可以实现：

制图者（基于模型/Model-Based）： 你给机器人一张白纸，让它画出迷宫的地图，学习墙壁的确切位置以及门通向何处。
肌肉记忆学习者（无模型/Model-Free）： 你不要求它画地图。你只是告诉机器人：“如果在这里向左走，你会得到一块饼干；如果向右走，你会受到电击。”机器人学会了针对特定情况的“正确动作”列表，但它并不一定理解这些动作为什么有效，也不理解迷宫是如何构建的。

长期以来，科学家们认为这两种方法是完全分离的。他们认为“肌肉记忆学习者”只知道为了获得奖励该做什么，而并不真正了解它所生活的世界的规则。

重大发现
这篇论文指出：事实上，肌肉记忆学习者也拥有地图。它只是把它隐藏起来了。

作者发现，如果训练一个机器人在各种不同的目标下（不仅仅是“到达出口”，还有“到达红点”、“到达蓝点”、“到达角落”等），机器人的内部大脑（它的“Q值”）会秘密地编码出一个关于整个世界的完美、准确的地图。它确切地知道每一个动作会导致什么结果，即使它从未被明确要求去绘制地图。

神奇的技巧：“P-学习”（P-Learning）
论文介绍了一种新方法——P-学习（意为“概率学习”或“世界模型学习”）。把它想象成一个逆向工程工具：

标准学习（Q-学习）： 你有一个地图（世界），然后你试图找出最佳动作（Q值）。
P-学习： 你拥有最佳动作（Q值），然后你试图找出地图（世界）。

作者展示了你可以通过训练一个已经学会解决许多不同任务的机器人，观察它内部的“待办事项”数值，并通过数学上的“反转”方程，将它一直隐藏着的地图提取出来。这就像观察一位厨师烹饪出的完美佳肴，并能从中推导出他们使用的精确食谱和原料，即便他们从未写下过食谱。

“单一目标”与“多重目标”之谜
该论文还回答了一个棘手的问题：机器人需要看到多少个不同的目标才能学会完整的地图？

在简单、可预测的世界中（确定性/Deterministic）： 机器人只需要看到一个目标就能弄清楚整个地图。这就像学习一个拼图，每个碎片都只有一个固定的位置；一旦你看到了全貌，你就知道所有碎片该放哪儿。
在混乱、不可预测的世界中（随机性/Stochastic）： 机器人需要看到许多不同的目标（大约等于迷宫中房间的数量），才能确定地图。这就像是在学习一个掷骰子的游戏规则；你需要看到许多不同的结果，才能理解其中的概率。

惊喜：隐藏的超能力
实验中最令人惊讶的部分是，当你使用这个“提取出的地图”去解决机器人从未见过的新问题时，会发生什么。

在一个实验中，他们仅针对特定的位置（如“触摸红点”）训练了一个机械臂。随后，他们使用 P-学习提取了该机械臂隐藏的地图。当他们要求机器人利用这张地图去达到特定的速度（一个它从未被训练过的目标）时，它成功了！

这表明，机器人已经学习到了机械臂底层的物理特性（关节如何运动以产生速度），尽管它之前被告知只需关注位置。这就像你只通过告诉一个人“保持在车道内”来教他开车，然后他突然就能在赛道上完美驾驶，因为他早已在心中掌握了汽车引擎和转向系统的运作原理。

总结

旧观点： 无模型智能体（那些只学习奖励的智能体）并不了解世界；它们只知道该做什么。
新观点： 如果你在足够多的不同目标下进行训练，它们会在大脑中秘密构建一个完美的物理世界模型。
工具： P-学习是一种从智能体中“读取”这种隐藏模型的方法。
结果： 这个隐藏的模型如此精确，以至于它允许智能体解决从未训练过的全新、奇特的难题，证明了“无模型学习”和“基于模型学习”实际上是同一枚硬币的两面。

技术摘要：反转贝尔曼方程：从 Q 值到世界模型

问题陈述

强化学习（RL）传统上分为无模型（model-free）和基于模型（model-based）两种范式。无模型智能体估计与特定策略和奖励函数相关的价值函数（ $Q$ ），从而绕过了对环境动力学（转移核 $P$ ）的显式学习。该领域的一个基本理论障碍是价值等价问题（value equivalence problem）：不同的世界模型可以产生相同的价值函数和最优策略，这意味着无模型智能体并不能唯一地编码其所处的环境。

虽然智能体正通过**目标条件强化学习（GCRL）**在多样化的目标下进行训练，但目前尚不清楚通过这些目标学习到的价值函数集合是否隐含地编码了一个唯一的、准确的世界模型。本文旨在探讨核心问题：无模型智能体在何时会隐式地编码一个准确的环境模型？

方法论：P-learning

作者引入了 P-learning，这是一种用于从训练好的智能体中提取隐式世界模型的 Q-learning 的逆向类似物。

概念： 在 Q-learning 中，迭代更新价值函数 $Q$ 以满足针对固定环境 $P$ 的贝尔曼方程 $T^\star(Q) = Q$ ；而 P-learning 则将价值函数 $Q$ （以及相关的策略 $\pi$ 和奖励 $r$ ）视为固定的。随后，它通过更新候选世界模型 $P_\phi$ 来最小化贝尔曼残差：
$L(\phi) = \| T^\pi_\phi(Q) - Q \|_d^2$
其中 $T^\pi_\phi$ 是由世界模型 $P_\phi$ 参数化的贝尔曼算子。
机制： P-learning 从智能体的 $Q$ 值、策略和奖励中进行采样，以解码内部模型。在表格化设置中，作者证明 P-learning 收敛于一个涉及由奖励和价值函数导出的矩阵 $M$ 的 Moore-Penrose 伪逆的解。具体而言，如果 $M$ 满秩，则提取的模型是唯一的，且由 $P_\infty = M^+ Q$ 给出。
可微性： 对于连续或确定性设置，该方法利用基于梯度的优化（或重参数化技巧）来更新世界模型的参数，从而有效地“反转”贝尔曼方程。

关键理论贡献

本文确立了在何种充分条件下，转移核 $P$ 可以从一组目标条件 Q 值 $(Q_g, \pi_g, r_g)_{g \in G}$ 中被唯一识别，从而打破了价值等价性。

有限 MDP：
- 确定性： 单个通用目标足以唯一识别 $P$ （定理 2）。只要生成的矩阵 $M$ 是列单射的，该唯一性对于几乎所有的奖励函数都成立。
- 随机性： 目标必须覆盖状态空间（即奖励矩阵的秩等于状态数）才能确保 $P$ 是可唯一识别的（定理 3）。这对于通用的奖励函数或策略均成立。
- 近似： 作者提供了紧致的误差界限，表明如果 Q 值是 $\epsilon$ -近似的，则提取的模型误差随 $\epsilon$ 线性缩放。
连续 MDP：
- 确定性： 在特定条件下（例如具有终止条件的高斯奖励），有限数量的目标即可奏效。对于指示奖励（indicator rewards），需要一个覆盖特定半径内状态空间的集合（定理 4）。
- 随机性： 可识别性由目标集的覆盖范围而非数量驱动。对于高斯奖励，具有非空内部的目标集即可；对于指示奖励，集合必须覆盖由奖励半径扩展后的状态空间（定理 6 和 7）。
局部 MDP： 本文将结果扩展到 $N$ -局部 MDP（其中转移受限于邻域），并表明如果已知转移核的支持集，则所需的任务目标更少。

实验结果

作者在多个环境中验证了其理论和方法，证明即使在未达到理论保证（如无限目标）的情况下，P-learning 也能提取出高度准确的世界模型。

FourRooms（有限 MDP）：
- 确定性： 使用 $|G|=1$ 时实现 $P$ 的精确恢复。
- Windy（局部随机）： 使用 $|G|=4$ 时实现准完美恢复。
- Teleporting（全随机）： 使用 $|G|=20$ 时实现准最优规划，显著低于 $|S|=68$ 的理论最坏情况界限。
Reacher（连续，确定性）：
- 仅在 $|G|=4$ 个基于位置的目标上进行训练后，提取的世界模型实现了高保真度（NMSE $1.2 \times 10^{-4}$ ），尽管 Q 值并不完美。
- 零样本泛化： 仅在提取的隐式世界模型内训练的策略，在**分布外（OOD）**目标（例如达到特定的角速度或关节配置）上实现了接近最优的表现，而这些目标在训练期间从未被显式奖励过。这表明智能体编码了其从未被明确奖励过的变量（速度、角度）的动力学。
MountainCar（连续，确定性）：
- 基于位置目标训练的智能体与基于速度目标训练的智能体收敛到了近乎一致的隐式世界模型。
- 在这些模型中进行规划，允许成功地零样本迁移到涉及未训练变量的任务中（例如，一个基于位置训练的智能体解决了基于速度的目标）。

意义与主张

本文认为，目标条件强化学习充当了一种隐式的混合方法，架起了无模型与基于模型学习之间的桥梁。

隐式世界模型： 在足够丰富的目标集下训练的无模型智能体，会隐式地编码一个唯一的、准确的世界模型，即使在随机性和连续性环境中也是如此。
隐藏的泛化能力： 这些隐式模型包含“隐藏的泛化能力”，允许智能体解决定义在与其训练奖励正交的变量上的任务（例如，从位置奖励中学习速度动力学）。
性能相关性： 智能体的性能与其内部世界模型的准确性之间存在强相关性（ $\rho = 0.98$ ），这表明高性能的 GCRL 智能体会自然地发展出更好的世界表示。
P-learning 的效用： 所提出的 P-learning 算法提供了一个实用的工具来提取这些内部模型，从而能够在无需额外环境交互的情况下，将无模型智能体重新用于新任务。

作者总结道，虽然 P-learning 不能取代显式的基于模型的强化学习，但它揭示了一个根本性的联系：多样化且富含奖励的训练使得无模型智能体能够“学习关于环境的所有内容”，从而有效地在其价值函数中编码了一个世界模型。