🤖 machine learning

The Terminal Representation in Reinforcement Learning

本文介绍了终点表示（Terminal Representation, TR），这是一种用于强化学习中替代后继表示（Successor Representation）和默认表示（Default Representation）的新型低维表示方法，它能够捕捉奖励加权轨迹，且无需特征分解或对称转移假设，从而为选项发现（option discovery）和迁移学习等任务提供了一个计算高效的基础。

原作者： Amir Esterhuysen, Anders Jonsson

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amir Esterhuysen, Anders Jonsson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何通过迷宫。机器人的目标是尽可能快地从起点到达出口，但迷宫非常巨大，它目前还不知道布局。为了高效学习，机器人需要一个“心理地图”，这个地图不仅要帮助它理解自己身处何处，还要让它明白自己可以去哪里以及那些地方有多好。

这篇论文介绍了一种让机器人构建心理地图的更聪明的新方法。作者称之为终点表示（Terminal Representation, TR）。

以下是其工作原理的拆解，使用了简单的类比：

1. 旧方法：“未来地图”与“奖励地图”

在出现这种新方法之前，研究人员使用了两种主要工具：

后继表示（Successor Representation, SR）： 可以把它看作一张只关心交通流量的地图。它告诉机器人：“如果你站在这里，你之后很可能会访问这些其他地点。”它忽略了这些地点是好是坏；它只是追踪移动模式。
默认表示（Default Representation, DR）： 这是一种更先进的地图。它结合了交通流量与奖励。它告诉机器人：“如果你站在这里，你可能会访问这些地点，并且这是你将获得的‘好处’（奖励）。”

旧方法的缺陷：
为了在复杂任务（如寻找捷径或适应新目标）中有效地使用 DR，机器人必须进行一项大规模且缓慢的数学计算，称为特征分解（eigendecomposition）。

类比： 想象你有一个藏书丰富的图书馆（地图），但为了找到最重要的故事，你必须阅读每一本书，交叉引用每一页，并写出一份摘要后才能使用这些信息。这很准确，但需要很长时间，并且需要消耗大量的脑力。此外，这种方法只有在交通流向双向对称（像双向车道一样）时才有效，但这在许多现实世界的迷宫中并不成立。

2. 新方法：终点表示 (TR)

作者提出的终点表示 (TR) 就像是一个“目的地指南”。

TR 不再去绘制机器人可能采取的每一个细微步骤，而是专门关注机器人最终会到达哪里（即“终止”或“目标”状态）以及这些终点的价值。

为什么它更好？三大超能力：

更小、更快（紧凑性）：
- 类比： 旧的地图就像是一本展示全球每一条街道的巨型地图集。而 TR 则像是一份简单的公交站点及其目的地的清单。因为它只关心“终点站”（目标），所以它占用的内存更少，学习速度也更快。
即插即用（无需额外计算）：
- 类比： 使用旧的 DR 时，你必须先完成“阅读图书馆”的过程（特征分解）才能使用地图。而对于 TR，信息已经写在封面上了。你可以直接拿起地图，立即解决诸如“我如何到达出口？”或“我如何塑造我的奖励？”之类的问题，而无需先进行繁重的计算。
处理单行道（非对称性）：
- 类比： 旧的方法假设如果可以从 A 点走到 B 点，那么从 B 点也可以轻松回到 A 点。但在现实生活中（以及许多迷空中），有些路径是单行道的。TR 不关心这种对称性；即使交通流是混乱或单向的，它也能完美运行。

3. 你可以用它做什么？

论文表明 TR 不仅仅是一个理论构想；它在四个主要任务中都能实际应用：

发现捷径（选项发现/Option Discovery）： 它帮助机器人理解长期策略（例如“跑到角落，然后左转”），而不需要像旧方法那样进行缓慢的数学计算。
通过提示进行教学（奖励塑造/Reward Shaping）： 如果机器人卡住了，TR 可以为它提供小提示（额外的奖励）来引导它走向目标，其效果与复杂的旧方法一样好。
探索新区域： 它通过了解哪些区域会导致最有意思的目的地，从而帮助机器人更高效地探索迷宫。
快速学习新任务（迁移学习/Transfer Learning）： 如果你改变了迷宫中目标的位置，TR 能让机器人瞬间适应，因为它已经理解了环境向不同终点流动的“趋势”。

核心奥秘

这篇论文揭示了一个迷人的秘密：TR 实际上包含了与旧的、复杂的 DR 方法试图通过重度数学提取出的完全相同的“智能知识”。TR 只是以一种可以立即使用的格式呈现了这些知识。

总结：
作者构建了一个让机器人理解其世界的全新工具。它比以往的工具更小巧、更快速、更灵活。它跳过了繁重的数学作业，直接为机器人提供了一份清晰的目标指南，使其能够更高效地学习和适应。

技术摘要：强化学习中的终端表示 (The Terminal Representation)

问题陈述

在强化学习（RL）中，表示学习对于时空抽象至关重要。两种已建立的方法是成功者表示 (Successor Representation, SR) 和 默认表示 (Default Representation, DR)。SR 根据未来的访问轨迹对状态进行编码，捕捉与奖励无关的转移动力学。DR 通过对这些轨迹进行奖励加权来扩展这一概念，从而整合了信用分配结构。

然而，这两种表示在应用于下游任务（如选项发现、奖励塑造和迁移学习）时都面临局al：

计算开销： 在这些任务中使用 DR 或 SR 通常需要进行特征分解（或幂迭代）以提取特征向量。这在每次查询时会产生 $O((S^+)^2)$ 或更高的计算成本，并且假设了对称（可逆）的转移动力学，而这一条件在实际的 RL 环境中经常被违反，因为策略通常是定向的。
维度问题： SR 和 DR 是在完整的状态空间（ $S^+ \times S^+$ ）上定义的，这可能规模庞大且存储/学习效率低下。
间接知识： 虽然 DR 编码了奖励加权的轨迹，但它并未显式地隔离出关于终端状态的可达性（reachability）和期望性（desality）的信息，使其无法在不进行进一步谱分析的情况下直接使用。

方法论：终端表示 (Terminal Representation, TR)

作者提出了终端表示 (TR)，这是一种在结构上截然不同的公式化方法，旨在专门针对终端状态编码奖励加权的轨迹。

理论基础

TR 是在线性可解马尔可夫决策过程 (Linearly-Solvable MDPs, LMDPs) 的框架内推导出来的。在 LMDP 中，最优价值函数 $v(s)$ 可以转化为指数化价值 $z(s) = e^{v(s)/\lambda}$ ，该函数满足线性方程：
$z(s) = e^{R(s)/\lambda} \sum_{s'} P_\mu(s'|s)z(s')$
其中 $P_\mu$ 是默认策略， $\lambda$ 是温度参数。

通过将状态空间分解为非终端状态 ( $S$ ) 和终端状态 ( $T$ )，作者推导出 TR 矩阵 $M$ 为：
$M = (I_S - D_S)^{-1} D_T$
其中 $D_S = R_S P_S$ 代表非终端动力学，而 $D_T = R_S P_T$ 代表从非终端到终端状态的转移。此处 $R_S$ 和 $R_T$ 是指数化奖励的对角矩阵。

TR 允许对于任何终端奖励配置 $y$ （其中 $y(\tau) = e^{R(\tau)/\lambda}$ ），实现零样本恢复 (zero-shot recovery) 最优指数化价值 $z$ ，通过线性关系实现：
$z = M y$

学习算法

论文确立了两种用于学习 $M$ 的收敛算法：

动态规划 (基于模型)： 一个迭代更新规则 $M_{k+1} = D_T + D_S M_k$ 被证明收敛于真实的 TR。
基于样本 (无模型)： 推导出了用于在线学习的时序差分 (TD) 风格的更新规则：
$\hat{M}(s_t) \leftarrow (1 - \alpha_t)\hat{M}(s_t) + \alpha_t e^{r_t/\lambda} \hat{M}^+(s_{t+1})$
其中 $\hat{M}^+$ 是处理进入终端状态转移的扩展映射。定理 4.2 证明了在标准随机逼近条件下，该规则收敛于 $M$ 。

关键理论特性

维度： TR 是一个 $S \times T$ 矩阵。由于终端状态的数量 $T$ 通常远小于总状态空间 $S^+$ ，因此 TR 比 $S^+ \times S^+$ 的 DR 要紧凑得多。
直接可用性（无需特征分解）： TR 的列直接对应于通常通过 DR 的特征向量提取的信息。定理 7.1 表明，DR 的主特征向量在结构上是由一个 TR 列（具体为对应于最理想终端状态的那一列）和一个几何级数组成的。因此，TR 捕获了相同的底层结构知识，而无需进行特征分解。
处理非对称性： 与依赖于转移动力学可逆性（对称性）以保证实特征值的特征向量方法不同，TR 本身是非对称的，并且在任意非可逆动力学下都是定义良好的。
组合性： TR 支持零样本组合性。如果一个新的任务是具有不同终端奖励的基础任务的线性组合，则可以通过线性组合 TR 对应的列来恢复最优价值函数，从而绕过重新学习基础价值函数的过程。
奖励等价性： 作者证明了具有转移相关或状态-动作相关奖励的 LMDP 可以映射到等效的具有状态相关奖励的 LMDP，从而确保 TR 理论广泛适用于不同的奖励公式。

实验结果

作者在网格世界环境（Four Rooms, RiverSwim, SixArms）中，针对四个下游应用对 TR 与 SR 和 DR 进行了评估：

选项发现 (Option Discovery)： 在“覆盖特征向量选项 (covering eigenoptions)”任务中，TR 被用于直接提取列来生成选项（避免了特征向量计算）。使用最高奖励终端状态列或所有列的变体展现出了极具竞争力的性能，与基于 DR 的 RACE 和基于 SR 的 CEO 方法相当，并且往往通过直接推动智能体走向理想目标而获得更高的平均奖励。
奖励塑造 (Reward Shaping)： 使用 TR 构建基于势能的塑造奖励（ $\hat{r}_t = 1 - M(s_{t+1}, \tau)$ ）产生的性能与 DR 完全一致，且优于 SR。这证实了 TR 捕获必要结构信息以实现高效导航的能力，且无需特征分解。
基于计数的探索 (Count-Based Exploration)： 在 RiverSwim 和 SixArms 环境中，使用 TR 的范数作为探索奖励，其表现与 DR 近乎一致，并显著优于 SR。
迁移学习 (Transfer Learning)： 当终端奖励在任务之间发生变化时，使用 TR 进行知识迁移。其表现与 Default Features (DF)（即策略无关的 DR 变体）相似，并且在各种基础策略配置下优于 Successor Features (SF)，且无需显式的特征学习步骤。

意义与主张

论文声称，终端表示提供了一种可行且计算高效的替代方案，用以替代 SR 和 DR。其主要意义在于：

效率： 它降低了表示的维度，并消除了对昂贵特征分解的需求，将查询复杂度从 $O((S^+)^2)$ 降低到提取列时的 $O(1)$ 。
鲁棒性： 它在非对称（非可逆）转移动力学下仍能正常工作，而这在 RL 中是常见场景，特征向量方法在这些场景下可能会失效或产生复特征值。
直接适用性： 它显式地编码了终端状态知识，允许直接用于奖励塑造、选项发现和迁移学习，而无需中间的谱分析。

作者保持了谦逊的态度，指出虽然 TR 在语义方面与 DR 相比具有竞争力，但并非在所有方面都具有根本性的优越性；相反，它提供了一种更紧凑、计算上更易处理的机制，用以获取有关终端状态的相同底层结构知识。未来的工作建议是将 TR 通过函数逼近扩展到高维环境，并处理没有明确定义终端状态的设置。