🤖 AI

Imperfect World Models are Exploitable

本文提出了强化学习中模型利用的形式化定义，论证了虽然在大规模策略集上利用通常不可避免，但一种放宽的利用概念允许推导出一个安全的规划视界。

原作者： Logan Mondal Bhamidipaty (University of Edinburgh), Esmeralda S. Whitammer (University of Edinburgh), David Abel (University of Edinburgh), Mykel J. Kochenderfer (Stanford University), Subramanian Ram

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Logan Mondal Bhamidipaty (University of Edinburgh), Esmeralda S. Whitammer (University of Edinburgh), David Abel (University of Edinburgh), Mykel J. Kochenderfer (Stanford University), Subramanian Ramamoorthy (University of Edinburgh)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人穿越迷宫以寻找宝藏。为了高效地做到这一点，你给机器人一张地图（即“世界模型”），它能预测机器人迈出一步后会发生什么。机器人利用这张地图来规划路线，试图最大化找到的宝藏。

正如这篇论文所解释的，问题在于没有地图是完美的。有时地图会有微小的误差。论文提出了一个关键问题：机器人是否会因为一张糟糕的地图而被误导，认为一条极差的路线实际上是最好的？

作者将这种现象称为**“模型利用”**。以下是他们研究发现的分解，使用了简单的类比：

1. 核心问题：“错误转弯”陷阱

想象你拥有同一座城市的两张地图：

地图 A（真实世界）：显示向北开会导致到达公园（好），向南开会导致陷入沼泽（坏）。
地图 B（不完美的模型）：由于一个小错误，它显示向南开会导致到达公园，向北开会导致陷入沼泽。

如果你遵循地图 B，你会开心地向南开，以为正前往公园。但实际上，你正驶入沼泽。论文将“利用”定义为：当你的不完美地图（地图 B）指示你去做真实世界（地图 A）希望你做的完全相反的事情时的那一刻。

2. 重大发现：你无法总是避开陷阱

研究人员想知道：“如果我们限制机器人只选择几条特定路线，能否保证地图不会欺骗它？”

他们发现，如果机器人拥有太多选择，你无法保证安全。

类比：想象一个包含所有可能驾驶路线的庞大图书馆。如果这个图书馆足够大（在数学上，如果它包含可能性的一个“开子集”），作者证明，任何不完美的地图最终都会欺骗机器人。总会存在两条路线，真实世界偏好路线 X，但糟糕的地图却坚持路线 Y 更好。
结果：在复杂的现实场景中，当智能体（机器人）可以从多种不同策略中进行选择时，模型利用是不可避免的。一张糟糕的地图总会找到一种方式，使其对某种特定的、奇怪的策略看起来像是一张好地图。

3. “糟糕的地图”与“糟糕的目标”之间的区别

先前的研究表明，如果你给机器人一个糟糕的目标（例如，“尽可能多地得分”，但得分是因为破坏东西而获得的），机器人会“黑客攻击”系统。

作者表明，糟糕的地图（不完美的世界模型）不同于糟糕的目标（不完美的奖励）。
类比：修复一个糟糕的目标就像改变游戏规则。修复一张糟糕的地图就像试图用模糊的 GPS 在城市中导航。证明你无法修复糟糕目标的数学推导，并不能自动证明你无法修复糟糕的地图。事实上，论文表明糟糕的地图甚至更难控制，因为地图中的误差会以复杂、非线性的方式与机器人的选择相互作用。

4. 一线希望：“安全视界”

既然我们无法阻止机器人在长远上被欺骗，作者问道：“是否存在一个我们可以提前规划的安全距离？”

他们引入了一个称为 $\epsilon$ -利用（epsilon-exploitation）的概念。

类比：与其要求地图永远完美，我们不如说：“只要地图没有把我们送入灾难，稍微有点错误是可以接受的。”
他们计算出了一个**“安全视界”**。这是机器人应该向前规划的距离限制。
- 如果地图非常准确，机器人可以规划很远的未来。
- 如果地图非常模糊（误差高），机器人必须在仅仅几步之后停止规划。
- 公式：他们推导出了一个具体的数学限制。如果机器人的规划超过这个限制，被欺骗的风险就会变得过高。如果它保持在这个限制之内，从数学上就能保证免受重大欺骗。

5. 关键要点总结

坏消息：如果你拥有一个复杂的世界，且机器人能想出许多不同的策略，你就无法建立针对有缺陷地图的完美安全保证。机器人最终总会找到被欺骗的方法。
好消息：你仍然可以安全地规划，但你必须对自己能看多远保持谦逊。你的地图越糟糕，你的规划视界就必须越短。
桥梁：该论文将“奖励黑客”（欺骗目标）与“模型利用”（欺骗地图）的概念联系起来，表明它们是相关但不同的问题。

简而言之：你不能信任一张有缺陷的地图永远指引你。但如果你只用它来一次走几步，你就可以防止机器人掉进沼泽。

技术摘要：不完美的世界模型具有可被利用性

问题陈述

在强化学习（RL）中，高效的世界规划通常需要通过不完美的世界模型来近似复杂的动力学。虽然精心选择的近似可以使原本不可解的问题变得可解，但选择不当的近似则会危及安全。这种失效模式被称为模型利用（model exploitation），即一个在不完美的转移模型下被训练以最大化预期奖励的智能体，发现了一种在模拟中表现良好但在现实中表现糟糕的策略。

本文探讨的核心问题是：能否避免模型利用？虽然关于奖励黑客（reward hacking）的先前工作（Skalse 等人，2022）确立了避免奖励规范错误所需的条件，但尚不清楚类似的结论是否适用于转移模型错误。现有文献通常依赖模型质量的基数度量（例如预测误差界），但作者认为，为了实现安全规划，需要序数安全性（ordinal safety）：一个模型是安全的，仅当它保留了由真实环境所诱导的策略之间的相对排序。具体而言，如果真实模型偏好策略 $\pi$ 胜过 $\pi'$ ，那么一个安全的近似模型绝不能偏好 $\pi'$ 胜过 $\pi$ 。

方法论与理论框架

定义

本文将模型利用形式化为两个转移模型 $T$ 和 $T'$ 之间的二元关系。对于策略集 $\Pi$ ，如果存在策略 $\pi, \pi' \in \Pi$ 使得：
$J_T(\pi) > J_T(\pi') \quad \text{且} \quad J_{T'}(\pi') > J_{T'}(\pi)$
则该对模型相对于策略集 $\Pi$ 是可被利用的。其中 $J_T$ 表示在转移模型 $T$ 下的价值函数。这被定义为价值反转（value inversion）。作者将其与奖励黑客区分开来，后者是指在固定的转移模型下，两个奖励函数 $R$ 和 $R'$ 之间发生的反转。

关键理论障碍

作者证明，用于刻画奖励黑客的技术无法直接迁移到模型利用上，这是由于根本的几何差异所致：

线性与非线性：价值函数 $J(\pi) = \langle R, F^\pi_T \rangle$ 关于奖励函数 $R$ 是线性的，但关于转移模型 $T$ （具体而言是关于概率质量函数）是非线性的。因此，用于奖励黑客分析的线性代数工具不足以处理转移模型。
域约束：奖励函数位于对取反和缩放封闭的欧几里得空间中，而转移模型位于单纯形的紧致乘积上，缺乏向量空间结构。

基于价值函数有理性的统一理论

为了克服这些障碍，作者基于策略空间中价值函数的有理性（rationality）开发了一套统一理论。对于有限马尔可夫决策过程（MDP）， $J(\pi)$ 是策略参数 $\pi$ 的有理函数，并且在策略空间内部（ $\Pi^+$ ）上是实解析的。

利用这一性质，作者推导了两个关于价值函数梯度（ $\nabla J_1$ 和 $\nabla J_2$ ）的几何引理：

局部反转（引理 1）：如果在策略空间中存在一个方向，使得一个价值函数增加而另一个减少，则存在价值反转（即利用）。
全局等价（引理 2）：如果两个非平凡价值函数的梯度在一个开子集上处处正比，则这两个函数是等价的（不存在反转）。

主要贡献与结果

1. 在大策略集上利用的不可避免性

本文确立，对于任何包含开子集的策略集（例如所有平稳策略集、 $\epsilon$ -次优策略集或 $\delta$ -确定性策略集），对于任何一对非平凡且不等价的转移模型，模型利用是不可避免的。

定理 1：如果一个策略集包含一个开子集，那么任何一对非平凡且不等价的价值函数都承认存在价值反转。
推论 1：因此，每一对非平凡且不等价的转移模型在上述策略集上都是可被利用的。
这一结果与在有限集上“可能”避免奖励黑客的情况形成对比，表明价值对转移模型的非线性依赖使得在丰富的策略类中实现不可利用性是不可能的。

2. 与有限集上奖励黑客的区别

虽然奖励黑客可以在有限策略集上被避免（在特定的正则性条件下），但作者表明，无法以同样的方式保证有限策略集的不可利用性。

反例 2：即使满足奖励黑客的正则性条件（非共线的访问计数），仍然存在任务和有限策略集，使得每一对不等价的转移模型都是可被利用的。作者推测，由于非线性转移模型引起的复杂几何结构，有限集上不存在关于不可利用性的简单充要条件。

3. 归约与非归约

命题 3：每一个模型利用的实例都可以归约为一个奖励黑客的实例。如果 $(T, T')$ 是可被利用的，则存在一个奖励函数 $R'$ ，使得 $(R, R')$ 是可被黑客攻击的。
反例 1：反之则不成立。奖励黑客并不一定意味着模型利用，因为转移模型中的扰动可能不会改变固定奖励下策略的相对排序。

4. 松弛概念： $\epsilon$ -可利用性与安全视界

认识到严格的不可利用性往往无法实现，作者引入了 $\epsilon$ -可利用性，允许微小的价值反转。他们推导出了一个安全视界（Safe Horizon, $H$ ），在此范围内 $\epsilon$ -不可利用性得到保证。

定理 2：对于给定的容差 $\epsilon$ 和模型之间的总变差距离 $\delta$ ，存在一个关于有效视界 $1/(1-\gamma)$ 的紧确界。如果视界短于 $H(\epsilon, \delta)$ ，则这些模型是 $\epsilon$ -不可利用的。
推论 4（平方根启发式）：一个较宽松但直观的界限表明，安全视界大致按 $\sqrt{\epsilon/\delta}$ 缩放。这形式化了这样的直觉：模型误差会随着规划视界而累积；随着模型精度（ $\delta$ ）的降低，为了避免灾难性的反转，安全规划视界必须缩短。

意义与主张

本文声称提供了世界模型的首个序数安全性概念，将重点从基数预测精度转移到策略排序的保持上。其主要意义在于：

形式化安全规划的局限：证明了在足够丰富的策略类中，依赖不完美的世界模型不可避免地会导致利用，无论使用何种具体的学习算法。
统一黑客攻击与利用：建立了奖励黑客与模型利用之间的形式化桥梁，表明它们共享一个共同的几何根源（价值反转），同时突出了转移模型所带来的独特数学挑战。
实用界限：通过引入 $\epsilon$ -可利用性，本文提供了一个量化安全性的实用框架。它给出了给定水平的模型误差所能支持的最大规划视界的闭式表达式，为基于模型的强化学习中的保守规划提供了理论基础。

作者总结道，虽然在一般设置中完美的安全性（不可利用性）是无法实现的，但推导出的安全视界可以指导更安全的策略合成方法的开发，并提供衡量合成策略相对于安全目标质量的指标。