🤖 machine learning

Laplacian Representations for Decision-Time Planning

本文介绍了 ALPS，这是一种利用拉普拉斯表示来捕捉多尺度状态空间距离的分层决策时规划算法，从而有效地分解长程问题，并在离线目标条件强化学习任务上优于现有的基准方法。

原作者： Dikshant Shehmar, Matthew Schlegel, Matthew E. Taylor, Marlos C. Machado

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Dikshant Shehmar, Matthew Schlegel, Matthew E. Taylor, Marlos C. Machado

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：迷失在迷雾中

想象一下，你正试图引导一个机器人穿过一个巨大且复杂的迷宫以到达特定目标。你有一张迷宫地图（即“模型”），但它并不完美，有些地方模糊不清，甚至存在一些小错误。

如果你试图把机器人的整个旅程规划成一个超长的步骤清单，那么地图上那些微小的误差就会开始堆积。当机器人走到迷宫一半时，你的计划可能已经完全错误了，因为这些误差发生了“复合”（即层层叠加）。这就是**基于模型的强化学习（Model-Based Reinforcement Learning）**面临的主要挑战：当你的地图不是 100% 准确时，你该如何规划一段长途旅行？

解决方案：“拉普拉斯（Laplacian）”地图

作者提出了一种观察迷宫的新方式。他们不再仅仅观察原始坐标（例如“x=5, y=10”），而是使用一种被称为**拉普拉斯表示（Laplacian Representation）**的东西。

你可以把它想象成一种特殊的热力图或迷宫的社交网络图谱：

普通地图： 显示两点之间的直线距离（欧几里得距离）。
拉普拉斯地图： 显示从一点到达另一点的“难易程度”，它会考虑到所有的墙壁和转弯。

类比：
想象你在一个城市里。

普通地图可能会告诉你，图书馆和公园之间只有 100 米远。
拉普拉斯地图则会告诉你，要从图书馆走到公园，你需要穿过三个不同的街区，跨过一座桥，并且绕过一个施工现场。尽管它们物理距离很近，但在“精力消耗和时间”的维度上，它们其实“很远”。

这种特殊的地图能够自然地将巨大的迷宫分解成更小的、易于处理的块（比如街区或房间）。它捕捉到了“时间结构”——这意味着它理解哪些区域是相互连接且易于移动的，而哪些地方是瓶颈。

新算法：ALPS

作者构建了一个名为 ALPS（带有子目标的增强拉普拉斯规划）的机器人规划器。它的工作原理如下，我们可以用“大巡游”来做类比：

高层规划器（导游）：
与其告诉机器人每一步具体该怎么走，高层规划器通过观察拉普拉斯地图，将漫长的旅程分解为若干个子目标（例如“到达下一个街区”或“穿过那座桥”）。它使用经典的路径搜索工具（Dijkstra 算法）来找到访问这些街区的最佳序列。
低层规划器（司机）：
一旦导游说“前往下一个街区”，司机就开始接管工作。司机只需要规划前往该特定子目标的短途行程。由于行程很短，地图中的误差还没有机会累积。司机使用一种称为**交叉熵方法（CEM）**的技术来确定最佳动作，但它还会从一个“行为先验（Behavior Prior）”中获得启发（即人类在类似情况下通常是如何驾驶的记忆），从而使搜索更快、更聪明。
循环过程：
机器人移动几步，检查自己的位置，如果偏离了航线，导游就会重新计算前往下一个街区的路径。这个循环不断重复，直到机器人到达最终目的地。

为什么有效（实验结果）

论文在名为 OGBench 的基准测试上进行了测试，该测试包含非常困难的任务，例如：

迷宫： 引导一个小球、一只蚂蚁或一个类人机器人穿过巨大的复杂迷宫。
操控： 拿起积木进行堆叠，或者将物体放入抽屉中。

研究发现：

击败专家： 在几乎所有的测试中，ALPS 都击败了目前的“最先进（state-of-the-art）”方法。其中许多其他方法是“无模型（model-free）”的（它们通过没有地图的试错来学习），这类方法在处理长距离、复杂任务时通常表现不佳。ALPS 利用了地图并取得了胜利。
处理规模： 即使在其他方法完全失效的“巨型”迷宫中，ALPS 依然表现出色。
“传送”问题： 论文指出le了一个特定的局限性。在带有“传送门”（能让你瞬间移动到另一处的门）的迷宫中，拉普拉斯地图有时会产生困惑。因为地图将传送门的入口和出口视为“接近”（因为你可以瞬间到达），机器人可能会尝试使用传送门，即便这样做很有风险。作者发现这是因为他们的数学模型假设了一种对称性，而传送门打破了这种对称性。

总结

这篇论文介绍了一种通过使用特殊的“连通性地图”（拉普拉斯表示）将长途旅行分解为更小、更容易实现的步骤，从而帮助机器人进行规划的方法。这种地图理解的是世界的“结构”，而不仅仅是距离。通过结合一个负责挑选访问街区的“高层导游”和一个负责处理即时驾驶的“低层司机”，机器人能够比以往的方法更好地在巨大且复杂的环境中导航，即使地图并不完美。

问题陈述
基于模型的强化学习（RL）与无模型方法相比，在样本效率、泛化能力和适应性方面具有潜在优势。然而，一个核心挑战仍然存在：在需要函数近似的环境中，利用学习到的模型进行规划会受到复合误差问题的阻碍。当智能体使用不完美的模型模拟长程轨迹时，微小的预测误差会不断累积，导致想象中的轨迹与现实发生显著偏离。这一问题在决策时规划（decision-time planning）中尤为突出，因为此时状态表示必须同时支持局部代价计算并保留长程时间结构。虽然分层规划可以将低层动作与长程目标解耦，但它需要一个能够表示跨多个时间尺度的状态空间距离的潜空间，以便有效地将任务分解为子目标。

方法论
本文提出，**拉普拉斯表示（Laplacian representation）**为决策时规划提供了一个有效的潜空间。该表示将状态嵌入到一个由环境动力学诱导的图拉普拉斯矩阵特征向量定义的空间中。该表示的关键特性包括：

多尺度结构： 特征向量按时间尺度排序；早期特征向量编码全局结构（例如区域），而后期特征向量则捕捉局部差异。
可达性与几何特性： 缩放后的拉普拉斯空间中的欧几里得距离近似于通勤时间距离（Commute Time Distance, CTD），该距离衡量了通过随机游走在两个状态之间往返的预期步数。这使得该空间与 CTD 是等距的，从而提供了一种非常适合规划的几何结构。
子目标发现： 该表示自然地将环境划分为连接紧密的区域，使其成为通过谱聚类（spectral clustering）在瓶颈处识别子目标的理想选择。

基于这些特性，作者引入了 ALPS（增强拉普拉斯子目标规划，Augmented Laplacian Planning with Subgoals），这是一种分层决策时规划算法。ALPS 分为两个阶段运行：

预训练阶段：
- 拉普拉斯学习： 使用增强拉格朗日拉普拉斯目标函数（ALLO）从离线数据集中学习特征向量和特征值，从而避免了精确特征分解 $O(|S|^3)$ 的计算成本。
- 前向模型： 在原始状态空间中学习多步自回归前向模型，以减少误差累积。
- 行为先验： 学习一个确定性的、以目标为条件的策略（ $\pi_{prior}$ ），以偏置动作采样，从而加速收敛。
- 聚类图： 在缩放后的拉普拉斯空间（ $\psi$ -空间）上执行 $k$ -means 聚类，以定义子目标（聚类中心），并构建由簇间转移组成的图。
决策时规划阶段：
- 高层规划： 给定起始状态和目标状态，算法识别它们各自所属的簇，并在簇图上使用 Dijkstra 算法寻找子目标路径。
- 低层规划： 对于每个子目标，使用交叉熵方法（CEM）规划器生成动作序列。CEM 使用行为先验进行初始化，并通过最小化基于 $\psi$ -空间距离（近似 CT于 CTD）和动作幅度的代价函数来进行优化。

核心贡献

用于规划的拉普拉斯表示： 本文证明了拉普拉斯表示能有效捕捉多个时间尺度的状态空间距离，从而自然地将长程问题分解为子目标，并缓解复合误差。
ALPS 算法： 一种新型的分层决策时规划算法，它将基于拉普拉斯的子目标识别与基于模型的轨迹优化（CEM）以及行为先验相结合。
实证验证： 作者在 OGBench（离线目标条件 RL 基准测试）上对 ALPS 进行了评估，该基准测试包含一系列此前由无模型方法主导的任务。

结果
实验在 Maze2D—PointMass 环境以及一系列涉及运动控制（pointmaze, antmaze, humanoidmaze）和操作（cube, scene）且包含基于状态和基于像素观测的 OGBench 任务上进行。

性能： 在大多数 OGBench 任务中，ALPS 显著优于常用的无模型基线方法（包括 GCBC、IQL 变体、QRL、CRL 和 HIQL），且具有统计学显著性（ $p < 0.001$ ）。
鲁棒性： ALPS 在迷宫规模和离线数据集质量方面表现出鲁棒性。它在“探索型（explore）”数据集（即具有低质量、高覆盖度数据的集合）中表现尤为出色，因为在这种情况下，分层分解允许高层规划器补偿有限的低层时界。
与 PcLast 的比较： 在 Maze2D 任务中，使用拉普拉斯表示的 ALPS 优于使用对比式潜状态（contrastive latent states）的 PcLast，突显了拉普拉斯度量在距离估计和子目标识别方面的效用。
局限性： 文中指出，ALPS 在处理“传送（teleport）”迷宫时表现挣扎，因为拉普拉斯目标函数中固有的对称化会导致传送门的入口和出口被聚类在一起，从而可能使智能体进入无法逃脱的区域。此外，由于拉普拉斯表示的全局特性无法捕捉物体状态之间的条件独立性，其在多物体操作任务（如 double-cube）上的性能有所下降。

意义
本文声称，拉普拉斯表示是实现基于学习模型的成功规划的重要基石，解决了长程任务中复合误差的核心挑战。通过提供一个本质上捕捉时间结构和连通性的潜空间，ALPS 使得仅使用预先收集的离线数据集，即可在连续、高维的状态空间中实现有效的分层规划。这项工作表明，利用环境动力学的谱属性可以克服以往在处理复杂、长程目标条件 RL 问题时应用基于模型方法的历史困难。

核心问题：迷失在迷雾中

解决方案：“拉普拉斯（Laplacian）”地图

新算法：ALPS

为什么有效（实验结果）

总结

类似论文