🤖 machine learning

Hierarchical Successor Representation for Robust Transfer

本文介绍了分层后继表示（Hierarchical Successor Representation, HSR），这是一个利用时间抽象和非负矩阵分解来克服经典后继表示中存在的策略依赖和谱扩散问题的框架，从而在复杂的非平稳环境中实现鲁棒、样本高效的迁移以及高效的探索。

原作者： Changmin Yu, Máté Lengyel

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Changmin Yu, Máté Lengyel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在学习如何在一个拥有许多房间、走廊和门的巨大且复杂的建筑中导航。你的目标是找到一个特定的出口。

旧方法（“后继表示法”，Successor Representation）
传统上，AI智能体使用一种叫做“后继表示法”（SR）的方法。你可以把它想象成一张关于“从当前位置到达各处需要多久”的心智地图。

如果你在厨房，这张地图会告诉你去客厅需要10秒，去车库需要20秒，等等。
问题所在： 这张地图与你“如何行走”紧密绑定。如果你通常走得很快，地图会显示“5秒”。如果你突然因为搬着重物而不得不走慢点（这种“策略”的变化），你的旧地图就失效了。你必须重新绘制整张地图。
“模糊性”问题： 在一个大建筑中，这张地图会变得模糊。就像墨水滴入水中扩散一样，它无法清晰地显示墙壁和走廊的位置，导致难以理解建筑的布局。

新方法（层级后继表示法 —— HSR）
作者提出了一种新方法，称为层级后继表示法（HSR）。你可以把它想象成从“步进式步行指南”升级到了**“战略性旅行指南”**。

与其思考每一个细微的脚步（左脚、右脚），智能体学习的是“宏观动作”或**“选项”（Options）**。

类比： 智能体不再思考“迈步、迈步、转弯、迈步”，而是思考“穿过走廊”、“穿过这扇门”或“跨过这座桥”。
为什么更好： 即使你的行走速度发生了变化（你的底层策略改变了），“穿过走廊到达下一个房间”这一策略本身是不变的。HSR 构建的地图是基于这些稳定的高层策略，而非转瞬即逝的脚步动作。这使得地图具有鲁棒性；如果你的任务发生了变化（例如，目标移动到了另一个房间），你不需要重新绘制整张地图。你只需要查看现有的战略地图并找到新的目标即可。

让地图变得清晰（NMF）
作者还注意到，即使使用了新的 HSR，地图仍然可能有些混乱。为了解决这个问题，他们使用了一个数学工具——非负矩阵分解（N-MF）。

类比： 想象一下，你拍了一张模糊且重叠的城市照片，然后使用一个滤镜将其分解为清晰、独立的建筑模块。
NMF 获取 HSR 地图，并将其分解为稀疏的、局部的碎片。它不再是一个覆盖整个建筑的模糊色块，而是识别出特定的“块”，比如“北侧走廊”或“东侧侧翼”。
结果： AI 发现了建筑物的自然“瓶颈”（即连接房间的门和走廊）。这些成为了地图的关键特征。这使得地图不仅准确，而且易于 AI 理解和使用。

这实现了什么

超强迁移能力： 由于地图是基于稳定的策略（如“穿过这扇门”）而非具体的行走风格，AI 可以瞬间适应新目标。这就像拥有一张无论你是开车、骑车还是步行都通用的城市地图。
更好的探索能力： 在奖励稀缺的环境中（例如在巨大的迷宫中寻找隐藏的宝藏），HSR 能帮助 AI 更高效地探索。它允许 AI 在精神层面实现“跳跃”，意识到“如果我穿过这扇门，我就能到达迷宫的一个全新区域”，而不是在某个小房间里原地打转。

总结
本文认为，通过教导 AI 以时间与策略的“块”（层级）而非单个步骤来思考，并随后将这种思维清理为清晰、独立的组成部分（NMF），我们可以创造出学习更快、能瞬间适应新任务、并在复杂环境中探索得更有效的 AI。它弥合了“快速反应（像反射一样）”与“灵活规划（像规划者一样）”之间的鸿沟。

技术摘要：用于鲁棒迁移的分层后继表示 (Hierarchical Successor Representation)

问题陈述

后继表示 (Successor Representation, SR) 提供了一个将预测动力学与奖励解耦的框架，从而实现跨奖励配置的快速泛化。然而，经典的 SR 在面向迁移的机制中面临两个关键局限性：

策略依赖性 (Policy Dependence)： SR 本质上与其生成时所使用的策略紧密耦合。随着智能体学习、遇到非平稳性或面临新的任务需求，底层策略会发生变化，导致已建立的预测表示变得过时，并需要昂贵的重新学习。
谱扩散与可扩展性问题 (Spectral Diffusion and Scalability)： 在拓扑结构复杂的环境（例如多隔间空间）中，经典的 SR 特征会遭受“谱扩散”的影响。这导致特征呈现出稠密、全局支持且高度重叠的状态，缺乏可解释性，且扩展性较差。应用于 SR 的标准谱分解方法（如 SVD）通常产生的成分是符号不定 (sign-indefinite) 的，且无法有效捕捉局部转移结构。

方法论

作者提出了分层后继表示 (Hierarchical Successor Representation, HSR)，通过在预测表示中引入时间抽象来解决这些局限性。

1. 分层后继表示 (HSR)

其核心创新在于利用“选项 (options)”框架（Sutton et al., 1999）扩展了经典的 SR 公式。

时间抽象 (Temporal Abstraction)： HSR 不再基于单步动作预测状态占用情况，而是将动力学聚合在具有时间延伸性和可解释性的行为段（即选项）之上。
定义： HSR 矩阵 $M_\mu$ 被定义为相对于高层策略 $\mu$ 的预测状态占用分布。它递归地结合了特定动作的 SR 矩阵 ( $M_{\bar{a}}$ ) 和选项的预期持续时间 ( $\tau$ )。
贝尔曼算子 (Bellman Operator)： 作者推导出了一个分层贝尔曼算子 $T$ ，它是一个收缩映射，允许通过类似于标准 SR 的时序差分 (TD) 更新进行在线学习，但其 TD 误差考虑了选项的持续时间。
期望 HSR (eHSR)： 为了进一步放宽策略依赖性，作者提倡一种离线构建方法，即通过对来自预训练任务分布的最优策略进行平均，从而获得一种广义的、任务无关的基底。

2. 通过 NMF 进行低秩分解

为了实现稀疏性和可解释性，作者对 HSR 矩阵应用了非负矩阵分解 (Non-Negative Matrix Factorization, NMF)，而非通常用于谱方法的奇异值分解 (SVD)。

原理： 经典的 SR 会出现“拓扑坍缩”，即隔间内的状态紧密聚集，使得 NMF 因缺乏隔间内的方差而变得病态。相比之下，HSR 的动力学具有“分段光滑 (piecewise-smooth)”的特性，既保留了隔间间的差异，又允许隔间内的离散。
结果： 这种结构使得 NMF 能够发现稀疏、局部化且具有可解释性的基向量，这些向量与拓扑特征（如瓶颈状态）相一致，避免了与正交 SVD 基底相关的“振铃伪影 (ringing artifacts)”和全局弥散现象。

核心贡献

鲁棒的状态表示： HSR 框架生成的特征对任务诱导的策略变化具有鲁棒性。通过在高层的时间抽象层面进行推理，即使在底层控制策略发生偏移时，表示也能保持稳定。
可解释的拓扑结构： 将 NMF 应用于 HSR 可以产生稀疏、低秩的表示，该表示能自然地识别拓扑瓶颈和隔间结构，提供一个策略无关的分层地图。
样本高效的迁移： 所提出的方法促进了在多隔间环境中向新任务的高效迁移，而无需对状态特征图进行昂贵的重新学习。
可扩展的探索： HSR 的时间延伸预测结构驱动了高效的内在动机探索，使智能体能够在大型程序化生成环境中克服局部扩散障碍，而在这些环境中，单步方法往往会失效。

实验结果

作者在离散、表格型环境（具体为四房间环境和程序化生成的迷宫）中使用带有线性函数近似的 Q-learning 对 HSR 进行了评估。

迁移效率： 在四房间环境中，使用 HSR 行特征的智能体在切换目标位置时，表现出比使用标准 SR (RW-SR) 或 One-hot 编码的智能体显著更高的迁移效率。当标准 SR 智能体在策略重新优化时遭遇性能下降时，HSR 智能体能够以更少的回合实现快速适应。
表示的稳定性： 定量分析表明，与标准 SR 矩阵相比，HSR 矩阵在策略变化后的重组程度显著降低（相对 Frobenius 范数变化较小）。
NMF 与 SVD 的对比： 在低维基底实验中，通过 NMF 分解的 HSR 特征优于 HSR-SVD 以及所有基于 SR 的基准方法（包括 SR-SVD 和 SR-NMF）。SR-NMF 由于特征坍缩而失败，而 HSR-NMF 则提供了一个均匀铺设状态空间的稀疏编码。
价值重建： 与 SR 基底相比，HSR 基底能持续更准确地重建未知任务（不同目标位置）的最优价值函数，这表明其与潜在价值函数的流形更加契合。
探索能力： 在大型迷宫的稀疏奖励导航任务中，HSR 增强的内在奖励（特别是 HSR-SPIE）随着环境规模的增大仍能保持较高的状态覆盖率和目标发现率，而标准的基于 SR 的探索策略则表现出明显的退化。

意义与主张

本文声称，将时间抽象集成到预测表示中，创建了一种鲁棒且可解释的状态表示，弥合了无模型效率 (model-free efficiency) 与 基于模型灵活性 (model-based flexibility) 之间的鸿沟。

策略无关的映射： HSR 提供了一个对特定奖励配置不敏感的分层地图，有效地将环境的预测结构与即时任务需求解耦。
互补性： 作者将 HSR 定位为广义策略改进 (Generalized Policy Improvement, GPI) 算法的补充。GPI 侧重于组合预训练策略，而 HSR 侧重于学习可泛化的表示；将两者结合可以获得卓越的迁移效率。
可扩展性： 该框架通过实现时间延伸的预测，使智能体能够“逃离”局部扩散障碍，从而扩展到大型程序化生成的环境中，解决了稀疏奖励任务中探索的关键瓶颈。

作者指出，目前的实证评估目前局限于离散的表格型环境，以隔离拓扑属性。他们建议未来的工作应将 HSR 集成到连续领域的深度强化学习系统中，并探索在非平稳环境中发现选项的方法。