🤖 machine learning

Hitting Time Isomorphism for Multi-Stage Planning with Foundation Policies

本文提出同构嵌入学习（IEL），这是一种新的离线强化学习框架，它利用算子理论表示从击中时间观测中恢复受控马尔可夫过程的定向时间几何结构，从而实现稳健的多阶段规划，并提升离线迷宫移动任务的最先进性能。

原作者： Magnus Victor Boock, Abdullah Akgül, Mustafa Mert Çelikok, Melih Kandemir

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Magnus Victor Boock, Abdullah Akgül, Mustafa Mert Çelikok, Melih Kandemir

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文《基础策略多阶段规划中的击中时间同构》的解释。

宏观图景：教机器人无图导航

想象你有一个巨大的视频库，记录了一台机器人在一个巨大、复杂的迷宫中四处游荡。录制时，机器人并没有特定的目标；它只是在探索。现在，你想仅利用这些旧视频，教这台机器人从A 点走到B 点（或从任意点到任意点），且在训练过程中从未向它展示过奖励信号或“目标”标签。

这就是离线强化学习面临的挑战。本文介绍了一种名为**IEL（同构嵌入学习）**的新方法来解决这一问题。

问题所在：“对称性”陷阱

以往的方法试图通过测量点与点之间的“距离”来教导机器人。这就像绘制一张地图，其中从你家到杂货店的距离与从杂货店返回你家的距离是相同的。

缺陷： 现实生活并非如此。

不可逆性： 你可以轻松走下陡坡，但走回坡上却很困难。你可以轻松将重箱子向前推，但无法用同样的力气把它拉回来。
三角不等式： 如果你想从 A 到 C，并在 B 处停留，那么总时间应该是到达 B 的时间加上从 B 到 C 的时间。

旧方法往往构建出“对称”的地图（即 A 到 B 等同于 B 到 A），或者构建出违反几何规则的地图（即经 B 从 A 到 C 的时间比直接从 A 到 C 的时间更长）。这使得机器人无法可靠地规划长距离、多步骤的旅程。

解决方案：测量“击中时间”而非“距离”

作者提出了一种观察世界的新方式。他们不再问"B 点离 A 点有多远？”，而是问"如果我从 A 点出发，需要多少步才能‘击中’B 点？"

他们称之为击中时间（Hitting Time）。

创意类比：“时间旅行指南针”

想象机器人的大脑并不存储迷宫的图像，而是存储一个专用指南针。

旧指南针（对称）： 指向固定的“北方”距离。它不关心地形是上坡还是下坡。
新指南针（IEL）： 这是一个神奇的指南针。它不仅仅是指向，而是计算到达特定目标所需的努力和步数。

论文从数学上证明，如果你能正确学会这个“时间旅行指南针”，那么迷宫的几何结构（移动所需的时间）在机器人的脑海中就会变成一条直线。这就是**“同构”**：将现实中混乱的移动耗时与机器人脑海中清晰、数学化的直线进行完美转换。

工作原理：三步配方

论文描述了一种名为 IEL 的算法，它分三个阶段学习这个指南针：

学习“目标 ID"（任务标识符）：
机器人学习识别“目标”长什么样。这就像学习“那扇红门”是一个特定的目的地。它为每一个可能的目标创建独特的签名。
学习“时间地图”（击中时间回归）：
机器人查看其旧视频。它观察从状态 A 到状态 B 的路径并计算步数。它学会预测：“如果我在這裡，想去那裡，需要 X 步。”关键在于，它学会向前走可能需要 5 步，但向后走可能需要 50 步（或者根本不可能）。这捕捉了时间的方向性。
图规划（导航）：
当机器人需要从 A 走到 Z 时，它不会盲目猜测。它会利用学到的“时间地图”构建一个临时地图（图）。
- 它将迷宫视为节点网络。
- 它在节点之间绘制箭头，箭头的长度代表到达那里的预测时间。
- 然后，它运行“最短路径”搜索（类似谷歌地图）以找到最快的路线。

为何意义重大

论文声称取得了三大胜利：

它是“目标无关”的： 机器人在不知晓具体目标的情况下学习地图。它学习的是世界的结构。之后，你可以让它去任何地方，它能瞬间自行解决（零样本能力）。
它尊重方向： 与以往将时间视为对称距离的方法不同，该方法知道“上坡”与“下坡”是不同的。这使得多阶段规划成为可能（将长旅程分解为更小、更合乎逻辑的步骤）。
它经过数学证明： 作者并非凭空猜测；他们利用复杂的数学（希尔伯特空间和算子）证明，如果你想要高效规划，这种“时间地图”是表示世界的唯一正确方式。他们表明，任何其他能正确做到这一点的 method 都只是他们方法的变体。

结果：赢得迷宫

作者在六个不同的“迷宫”数据集（如 AntMaze 和 Kitchen 等模拟环境）上测试了他们的方法。

竞争对手： 他们将他们的方法（IEL）与之前的最佳方法（HILP）进行了比较。
结果： IEL 取得了显著胜利。
- 当他们使用新的“非对称”（方向感知）规划时，机器人在解决复杂、长距离的导航任务方面表现远优于以往。
- 即使他们强制 IEL 使用旧的“对称”方法，其表现依然良好，证明了底层学习的强大。

一句话总结

这篇论文教导机器人通过习得一种理解方向和努力的“基于时间的指南针”，来在复杂的双向街道中导航，从而使它们能够仅凭旧视频规划长距离、多步骤的旅程，而无需关于去向的明确指令。

技术摘要：多阶段规划中基础策略的击中时间同构性

问题陈述

本文解决了基础策略学习中**离线目标条件强化学习（RL）**的挑战。其目标是从静态轨迹数据集中学习一个可重用、与目标无关的策略，使其能够以零样本方式泛化到开放的目标集合。

现有的离线状态表示学习方法可分为三类，但每类对于多阶段规划都存在关键局限性：

后继测度方法：虽然是无监督的，但它们通常无法满足三角不等式，导致无法跨中间子目标组合距离。
可达性距离方法：这些方法通常强加度量或拟度量结构，但依赖于目标条件监督进行策略训练，违反了基础策略对目标无关性的要求。
击中时间方法：这些方法满足三角不等式并支持无监督训练，但通常依赖对称欧几里得距离。这无法捕捉真实环境中的定向、不可逆的时间几何，导致次优规划，即路径经过在所需方向上无法到达的子目标。

作者指出的缺失原语是离散转移步数度量的定向时间几何。他们提出期望击中时间作为需要恢复的基本量，旨在学习一种表示，其中击中时间是潜在位移的线性泛函，同时保留方向和尺度。

方法论：同构嵌入学习（IEL）

核心贡献是一个新的算子理论框架和**同构嵌入学习（IEL）**算法。

1. 理论框架：击中时间同构性

作者将环境形式化为希尔伯特空间内的受控马尔可夫过程（CMP）。他们定义了一个 $\epsilon$ -充分 CMP，其中转移动力学在潜在特征空间 $\phi$ 中近似线性。

击中时间的线性表示：在潜在动力学线性闭合且满足特定伴随值域条件的情况下，从状态 $x$ 到目标 $g$ 的期望击中时间 $V^\pi(x, g)$ 具有精确的线性表示：
$V^\pi(x, g) = \langle \phi(g) - \phi(x), \omega^\pi_g \rangle_H$
其中， $\omega^\pi_g$ 是希尔伯特空间中的任务标识向量。这证明了击中时间泛函等价于潜在位移，直至一个有界线性同构。
可识别性：本文证明了任何恢复该击中时间几何的表示，在至多有界线性坐标变换下是唯一可识别的（定理 2.3）。这确保了学习到的几何反映环境真实的定向时间结构，而非任意的坐标系。
误差界：理论分析表明，全局击中时间误差由单步潜在转移误差放大环境的瞬态谱半径所界定（定理 3.3）。有限样本保证将误差分解为近似误差、统计复杂度、覆盖率和轨迹标签不匹配项（定理 3.5）。

2. IEL 算法

IEL 通过四个组件将上述理论付诸实践：

任务标识符学习：一种对比学习方法（InfoNCE 损失）学习一个映射 $\omega_\psi(g)$ ，将目标状态转换为任务标识符。这在潜在空间中建立了定向轴，从而实现非对称的击中时间计算。
击中时间回归：算法从离线轨迹中采样中间点，并执行期望回归以预测击中时间进度。这将几何偏向于更短的、分布内的距离。
时序差分（TD）学习：为了处理长视野数据的稀缺性，IEL 将击中时间公式与 HILP 风格的目标联系起来。它通过变换引入定向偏差：
$V^\pi(x, g) \approx \|\phi(g) - \phi(x)\| \exp(\beta(1 - \cos(\xi_{x \to g, g})))$
其中 $\xi$ 是嵌入差与任务标识符之间的夹角。这惩罚了角度未对齐，充当了对称方法中缺失的软性定向约束。
基于图的多阶段规划：在测试时，IEL 在潜在状态的核心集上构建一个有向图。边成本由学习到的非对称击中时间分数定义。导航通过在反转图上进行**单源最短路径（SSSP）**搜索执行，将局部时间预测转化为全局零样本导航计划。

主要贡献

理论方面：证明了充分 CMP 中击中时间的位移线性表示的存在性和可识别性，建立了算子理论与击中时间泛函之间的严格联系。
算法方面：引入了IEL，这是第一个同时满足无监督策略训练、定向距离和三角不等式的基础策略学习算法。
实践方面：证明了将定向非对称性纳入嵌入几何中，相比对称基线显著提升了多阶段规划能力。

实验结果

作者在D4RL数据集的六个离线目标条件 RL 基准（AntMaze 和 Kitchen 套件）上评估了 IEL。

基线：与 HILP（基础策略的主要基线）、GC-IQL 和 GC-CQL 进行了比较。
性能：
- 采用非对称图规划的 IEL 取得了最先进（SOTA）的结果，在 antmaze-ultra-diverse（79.0 对比 39.8）和 antmaze-large-diverse（71.8 对比 68.0）等环境中显著优于 HILP 和递归中点规划。
- 即使是 IEL 的对称变体（使用对称距离但相同的图规划）也往往优于 HILP 的递归中点策略，验证了基于图的规划机制本身的效力。
- 非对称变体在六个环境中的四个中提供了进一步增益，证实了复杂导航中定向几何的必要性。
效率：IEL 的训练成本与 HILP 相当。非对称图规划的运行速度与递归中点规划相当，而对称变体由于图的可重用性，速度大约快三倍。

意义与主张

本文主张IEL提供了第一个框架，满足多阶段规划中基础策略所需的三个关键能力：无监督训练、定向距离和三角不等式。

作者认为，通过将基于对称距离的启发式方法替换为基于算子理论的定向时间几何，智能体能够以可证明的效率导航复杂、不可逆的环境。他们提出，这项工作为将视觉 - 语言 - 动作（VLA）研究从依赖模仿学习转向基于奖励的策略学习提供了数学基础，有可能实现更自主和可信的通用机器人。该框架被提出作为缺乏全局一致性保证的基于距离模型的严谨替代方案。