🤖 machine learning

Latent Geometry Beyond Search: Amortizing Planning in World Models

本文证明，通过对预训练世界模型的潜在几何进行平滑性和均匀性正则化，目标导向的规划可被摊销为轻量级的逆动力学映射，在将计算成本降低超过 100 倍的同时，实现与迭代搜索方法相当或更优的性能。

原作者： Hoang Nguyen, Xiaohao Xu, Xiaonan Huang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Hoang Nguyen, Xiaohao Xu, Xiaonan Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人走迷宫，或者将一块积木推到特定位置。过去，为了做出决策，机器人必须停下来思考：“如果我向左移动，会发生什么？如果我向右移动，会发生什么？让我在脑海中模拟 9000 种不同的未来场景，以找到最佳路径。”这就像一位棋手在走出每一步之前，都要计算接下来一小时的所有可能走法。这种方法虽然有效，但极其缓慢且计算成本高昂。

本文介绍了一种教导机器人的新方法，它完全跳过了“向前思考”的环节。机器人不再模拟成千上万种未来，而是学会仅根据它当前所在的位置和它想去的地方，直接“知道”下一步该做什么。

以下是他们发现的拆解，使用了简单的类比：

1. 问题：“规划税”

作者们关注了一种名为“世界模型”的现代机器人“大脑”。这个模型非常擅长预测世界的下一步状态（例如：“如果我推动积木，它会滑到这里”）。然而，即使拥有这样聪明的“大脑”，机器人在决定下一步行动时，仍然必须运行一个庞大而缓慢的搜索过程。

作者将这种现象称为“规划税”。这就像拥有一辆超级快速的跑车（世界模型），却被迫以每小时 5 英里的速度行驶，因为你必须在每个路口停下来询问交警（搜索过程）该往哪里走。车很快，但决策过程成了瓶颈。

2. 洞察：地图本身已完美无缺

研究人员注意到机器人所使用的“心理地图”（潜在空间）有一个特殊之处。由于机器人的训练方式，这张地图非常平滑且井然有序。

类比：想象一条连接你家和办公室的、完美平滑笔直的高速公路。
旧方法（搜索）：你在每个英里标记处停下，拿出地图，计算最佳路线，检查交通状况，然后行驶一英里。接着重复这个过程。
新方法（GC-IDM）：因为道路如此笔直平滑，你无需停下来计算。你只需查看当前位置和目的地，你的大脑就会瞬间明白：“向前开。”

论文认为，如果机器人的内部地图组织得足够好，它就不需要“搜索”路径。路径已经编码在地图的几何结构中。

3. 解决方案：“即时反射”（GC-IDM）

他们用一个微小、轻量级的神经网络——GC-IDM（目标条件逆动力学模型）——取代了缓慢的 9000 步搜索过程。

工作原理：它不再问“最佳路径是什么？”，而是问“鉴于我当前的位置、我想去的地方以及剩余的时间，下一步该做什么？”
类比：想象一位熟练的网球选手。他们在挥拍前不会花 10 秒钟去计算球的物理轨迹、风向和对手的位置。他们看到球和靶心，身体便瞬间执行挥拍动作。这就是该模型所做的。它将复杂的规划问题转化为简单的反射动作。

4. 结果：速度与智能

团队在四个不同的机器人任务上测试了这种方法：

双房间（Two-Room）：机器人穿过门进行导航。
推 T 形物（Push-T）：机器人推动一个 T 形物体（需要精细的接触控制）。
OGB 立方体（OGB-Cube）：机器人操作一个三维立方体。
机械臂抓取（Reacher）：机械臂伸向目标。

研究发现：

速度：新方法比旧搜索方法快100 到 130 倍。它在几分之一秒内就能做出决策。
性能：在 8 个测试场景中的 7 个里，新方法在达成目标方面与缓慢的搜索方法一样好，甚至更好。
平滑度：机器人的移动更加流畅。旧方法经常因为分块重新计算路径而显得 jerky（顿挫）。新方法则自然流畅，因为它在每一步都在重新评估其位置。

5. 为何有效（“秘密配方”）

论文解释说，这之所以有效，是因为机器人的内部地图在训练过程中被“正则化”（组织化）了。

类比：如果你画一张地图，其中每条街道都是直线，每个路口都标记清晰，那么你就不需要 GPS 来指路；你只需沿着线条走即可。
研究人员证明，如果地图足够平滑，机器人就能学会一个简单的“逆映射”（一条规则，即“要从 A 到 B，就执行 X"），从而取代复杂的搜索需求。

总结

该论文表明，我们并不总是需要强迫机器人通过数千种可能性来“思考”以做出决策。如果我们教会它们构建一个组织严密的内部世界地图，我们就可以用快速、轻量级的“反射”取代缓慢、沉重的“规划”过程，这种反射几乎能瞬间生效。

核心要点：一个结构良好的心理地图，使机器人能够用快速习得的直觉，替代昂贵且缓慢的计算。

技术摘要：超越搜索的潜在几何

问题陈述

现代基于视觉的世界模型，特别是那些基于联合嵌入预测架构（JEPA）的模型，擅长将观测表示为紧凑且富有表达力的潜在流形。然而，在面向目标的控制方面仍存在显著瓶颈：虽然世界模型能够高效地预测未来状态，但将这些预测转化为行动通常需要进行昂贵的在线优化（例如交叉熵方法 CEM）。

作者识别出一种“规划税”现象，即决策（在候选行动序列上进行搜索）的计算成本远远超过了世界模型预测本身的成本。例如，在 LeWorldModel（LeWM）中，单次规划步骤需要 9,000 次候选轨迹展开和 45,000 次预测器前向传播。核心问题在于：这种搜索是控制固有的，还是问题表述方式的产物？具体而言，如果潜在空间经过充分正则化（平滑且均匀），能否将规划负担从在线优化转移到学习推理上？

方法论：目标条件逆动力学模型（GC-IDM）

本文提出了GC-IDM，一种用轻量级、学习到的逆动力学映射替代迭代式测试时搜索的方法。

核心洞察

作者假设，如果潜在空间通过 SIGReg 等技术针对平滑性和均匀性进行了正则化，那么从当前状态、目标状态和剩余视界到下一个行动的映射就是一个适定的局部逆问题。控制器无需搜索轨迹，而是可以直接推断出最优行动。

架构与训练

冻结骨干网络：该方法利用预训练的 LeWorldModel（LeWM），其编码器和预测器均被冻结。潜在空间被正则化为各向同性和平滑。
模型：GC-IDM 是一个轻量级的目标条件逆动力学模型（一个包含约 150 万参数的 3 层多层感知机 MLP）。
输入：
- $z_t$ ：当前潜在状态（从观测 $o_t$ 编码得到）。
- $z_g$ ：目标潜在状态（从目标观测 $o_g$ 编码得到）。
- $h_t$ ：剩余视界（归一化并进行正弦编码）。
输出：下一个行动 $\hat{a}_t$ 。
训练：该模型在冻结的 LeWM 潜在空间上，使用与 LeWM 相同的离线演示数据集，通过监督回归进行训练。它最小化给定 $(z_t, z_g, h_t)$ 元组下预测行动与真实行动之间的均方误差（MSE）。
推理：在测试时，控制器以闭环方式运行。在每一步，它重新编码当前观测，计算剩余视界，并通过 GC-IDM 进行单次前向传播以确定行动。不执行任何迭代搜索或轨迹展开。

主要贡献

GC-IDM 提案：一种针对 JEPA 世界模型的学习式规划方法，将控制重构为潜在空间中的逆问题，用每个环境步的单次前向传播替代了迭代式测试时搜索。
实证优越性：证明了轻量级逆模型在 LeWM 基准测试中能够超越或匹配广泛的测试时规划器家族（包括 CEM、iCEM、MPPI 和基于梯度的方法），同时将规划成本降低了100–130 倍。
潜在结构验证：实验证实，在充分正则化的表示上学习潜在逆动力学能够实现快速、有效的闭环规划，这表明搜索所恢复的大部分结构已经局部编码在表示之中。

实验结果

作者在四个基准环境中评估了 GC-IDM：Two-Room（导航）、Push-T（富含接触的操作）、OGBench-Cube（3D 物体操作）和Reacher（连续抓取）。

成功率：GC-IDM 在8 种环境 - 协议设置（变化采样数量 $n=50$ $n = 50$ 和 $n=200$ $n = 200$ ）中的7 种上匹配或超过了 CEM 的性能。
- 在 OGBench-Cube 和 Reacher 中观察到了显著提升，GC-IDM 在成功率上显著优于 CEM。
- 在 Push-T（一项需要长接触序列的任务）中，当 $n=50$ 时 CEM 略占优势，但 GC-IDM 仍具有竞争力且效率极高。
效率：
- 加速比：与 CEM 相比，GC-IDM 实现了100–130 倍的单决策规划成本降低。
- 挂钟时间：在 Two-Room 环境中，GC-IDM 完成一个回合约需 2.9 秒，而 CEM 约需 42 秒。
轨迹质量：与 CEM 相比，GC-IDM 产生了更平滑的轨迹（更低的动作加加速度）和更直接的路径（更高的潜在单调性）。这归因于 GC-IDM 的闭环特性，它在每一步重新编码状态，避免了 CEM 开环块规划中固有的误差累积和不连续性。
求解器家族比较：在其他规划器（iCEM、MPPI、GradientSolver）中，性能差距依然存在，GC-IDM 始终以最低的计算成本实现了最高的成功率。

意义与主张

本文认为，“规划税”并非控制固有的，而主要是当潜在表示结构不够充分时，控制表述方式所导致的产物。

从优化到推理的转变：结果表明，通过具有充分正则化的潜在空间（例如通过 SIGReg），规划问题可以从在线优化转移到学习推理上。规划所需的“结构”已局部编码在表示中，使得显式搜索对于许多任务变得多余。
局限性：作者指出，该方法在需要精细多步接触规划的任务中（如某些视界下的 Push-T）效果会减弱，因为此时局部逆恢复变得更加困难。他们还承认，该方法依赖于预训练世界模型潜在几何的质量。
未来工作：作者建议探索该机制在具有更强不可逆性、更长视界接触结构以及更高维行动空间设置中的极限，并比较各向同性与非各向同性潜在空间。

总之，本文证明，通过利用经过良好正则化的潜在世界模型的几何特性，可以用简单、快速且有效的逆动力学模型替代计算昂贵的基于搜索的规划器，从而从根本上改变基于模型控制的效率特征。