🤖 machine learning

Beyond the Next Step: Variable-Length Latent World Models for Long-Horizon Planning

本文介绍了变长潜世界模型（Variable-length Latent World Models, VLWMs），这是一个通过课程训练学习预测变长动作时界内的未来潜状态的框架，从而克服了传统单步模型的复合误差，并显著提升了长时界规划性能。

原作者： Tianqi Du, Qi Zhang, Yifei Wang, Yisen Wang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Tianqi Du, Qi Zhang, Yifei Wang, Yisen Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何通过迷宫或将方块推到特定位置。为了做到这一点，机器人需要一个“心理地图”或世界模型（World Model）。这个模型就像是在机器人的大脑中运行的一个模拟器，让它能在实际行动之前，先在脑海中构思：“如果我这样移动手臂，会发生什么？”

长期以来，这些心理模拟器都有一个重大缺陷：它们就像一个人走一步、看一眼落点、再走一步、再看一眼。如果机器人在第一步时犯了一个微小的错误，这个误差会随着后续的每一步而不断放大。到它尝试规划一段长途旅程时，它的心理地图已经完全偏离了。这被称为复合误差（compounding error）。

你提供的论文介绍了一种名为 VLWM（可变长度潜空间世界模型，Variable-length Latent World Models） 的新系统。以下是其工作原理的简单解释：

1. 旧方法：“小碎步”问题

把旧的模型（比如他们称之为 LeWM 的模型）想象成一个通过一次只练习一步来学习走路的学生。

训练过程： 老师只问：“如果你走一步，你会落在哪里？”
问题所在： 当学生尝试规划一段 100 步的旅程时，他必须在脑海中连续模拟 100 个单步动作。如果他在第 1 步时踉跄了一下，那么他对第 100 步的预测就会变得极其离谱。他们擅长短途旅行，但在长途规划方面表现糟糕。

2. 新方法：“蛙跳式”法 (VLWM)

作者提出了一种更聪明的训练机器人大脑的方式。与其仅仅练习走一步，不如教会机器人预测任何距离之外的未来。

可变长度训练： 想象一位老师问学生：“如果你走 3 步，你会落在哪里？”然后问：“如果你走 5 步，你会落在哪里？”接着问：“如果你走 10 步呢？”
结果： 机器人学会了“跳过”中间的过程。它不需要计算每一个细微的动作才能到达终点；它可以直接跳跃到 5 步或 10 步序列后的目的地。这防止了微小误差的堆积。

3. “动作即标记”技巧 (The "Action-as-Token" Trick)

在旧模型中，机器人的动作（如“向左移动”或“向前推”）是以一种僵化的数学方式隐藏起来的。这就像是在读一本单词被粘在一起的书。

新技巧： 作者将每个动作视为一个独立的标记（token）（就像句子中的一个单词）。他们将“状态”（机器人在哪里）和“动作”（它在做什么）混合成一个长序列，就像一个句子一样。
为什么有效： 这使得机器人可以阅读由 3 个动作组成的句子或由 10 个动作组成的句子，而无需改变其大脑结构。它非常灵活且自然。

4. “爬山策略”（课程学习）

你不能在第一天就教一个婴儿跑马拉松。如果你试图立即教机器人预测 100 步，它会感到困惑并失败。

解决方案： 他们使用了一种课程（Curriculum）。
- 第一阶段： 机器人只学习预测 1 步。
- 第二阶段： 它学习预测 1 步或 2 步。
- 第三阶段： 它学习预测 1、2、3 或 4 步。
- 最终阶段： 它可以预测任何最大距离内的步数。
这在增加长程规划的复杂性之前，先建立了一个强大的短期技能基础。

5. 规划：“分块”策略 (The "Chunking" Strategy)

当机器人实际需要解决问题（如导航迷宫）时，它并不只使用一种方法。它拥有一个策略工具箱：

固定跳跃： 它决定每次总是跳跃 5 步。
随机跳跃： 它跳 2 步，然后跳 7 步，再跳 3 步，进行随机跳跃。
由长到短： 它从大跨度的跳跃开始以获得大致路径，然后在接近目标时切换到微小、精确的跳跃。
优势： 因为机器人在训练中已经学会了处理任何跳跃尺寸，它可以根据需要随时混合使用这些策略，从而避免陷入困境。

结果：他们发现了什么？

作者在三个不同的任务上测试了该系统：

PushT： 推动一个 T 形方块。
OGBench-Cube： 一个机械臂抓取立方体。
TwoRoom： 一个机器人通过一扇门从一个房间导航到另一个房间。

研究发现：

短途旅行： 新系统表现得与旧系统一样出色。
长途旅行： 新系统的表现显著更好。在“TwoRoom”任务中，当目标很远时，旧系统的成功率仅为 36%，而新系统的成功率达到了 68%。
原因： 旧系统因为采取“走一步看一步”的方式产生了“复合误差”，从而迷失了方向。而新系统通过学会观察大局，保持了航向。

总结

该论文认为，要让机器人擅长长期规划，我们不应该只教它们一次走一步。相反，我们应该教它们以不同大小的分块来预测未来，从从小步开始，逐渐过渡到大步。这种简单的改变让它们能够在不迷失方向的前提下，规划得更远。

技术摘要：用于长程规划的可变长度潜空间世界模型

1. 问题陈述

世界模型已成为构建智能体的一种范式，通过学习环境动力学的预测模型来构建智能体。虽然最近的潜空间世界模型（例如 JEPA 式架构）通过在紧凑的表示空间中运行，提供了比像素空间预测更高效的替代方案，但它们在**长程规划（long-horizon planning）**方面面临显著局限。

识别出的主要问题包括：

复合误差（Compounding Errors）： 现有的模型通常依赖于单步预测（ $t \to t+1$ ）。对于长程任务，这些模型必须进行递归展开，导致预测误差迅速累积，从而引发时间漂移和轨迹质量下降。
训练-规划不匹配（Training-Planning Mismatch）： 大多数模型使用固定步长的预测目标进行训练。这仅在局部时间尺度上提供监督，未能显式地优化长程一致性。因此，训练信号与长程规划问题的本质并不一致。
架构僵化（Architectural Rigidity）： 当前的潜空间世界模型通常通过专门的调节机制（例如 FiLM 层或交叉注意力）引入动作，将动作融合进隐藏状态。这种设计将模型与固定的动作布局（通常是一个步长对应一个动作）紧密耦合，使得模型难以解耦多个动作的贡献，也难以自然地处理可变长度的动作序列。

2. 方法论：可变长度潜空间世界模型 (VLWM)

作者提出了 VLWM，这是一个旨在单个模型中学习跨多个预测时界的潜空间环境动力学的框架。

2.1 可变长度监督

VLWM 不再将监督限制在紧接的下一步，而是训练一个单一预测器 $g_\phi$ 来预测任意未来偏移量 $k \ge 1$ 的潜状态。其训练目标为：
$\mathcal{L}_{VLWM} = \mathbb{E}_{t, k \sim p(k)} \left[ \| g_\phi(s_t, a_{t:t+k-1}) - \bar{g}(\bar{f}_{\bar{\theta}}(o_{t+k})) \|_2^2 \right]$
其中 $s_t$ 是当前潜状态， $a_{t:t+k-1}$ 是长度为 $k$ 的可变长度动作段，目标是 $t+k$ 时刻的潜状态。这在单一目标下统一了短期动力学和长程语义一致性。

2.2 动作即 Token 化表征 (Action-as-Token Formulation)

为了原生支持可变长度的动作序列，VLWM 摒弃了层内调节机制。相反，它将动作嵌入视为一等公民级别的 Transformer Token。

输入序列： 模型接收一个包含历史状态 Token 序列以及随后跟随的可变数量动作 Token（ $e_t, \dots, e_{t+k-1}$ ）的序列 $X$ 。
机制： 状态 Token 和动作 Token 通过加性类型嵌入（additive type embeddings）进行区分。Transformer 是因果性的，预测的潜状态 $\hat{s}_{t+k}$ 直接从序列中最后一个 Token 的输出中读取。
优势： 这消除了对预定义动作调节接口的需求，允许模型在无需更改架构的情况下，对任意数量的过去动作进行条件化。

2.3 课程学习训练策略

由于直接使用大预测时界进行训练会因为噪声梯度和优化失败而导致不稳定，VLWM 采用了课程学习策略：

训练分为多个阶段。在阶段 $j$ 中，时界 $k$ 从 $\{1, 2, \dots, j\}$ 中均匀采样。
模型从 $k=1$ 开始，逐步扩大采样时界的范围，直到达到最大值 $K_{max}$ 。
这确保了长程语义是在已学好的短时界动力学基础之上构建的，从而稳定了优化过程。

2.4 基于可变长度跳跃的规划

在推理过程中，规划时界 $H$ 被划分为连续的块（chunks）： $H = k_1 + k_2 + \dots + k_M$ 。规划器将展开过程评估为一系列可变长度的潜空间跳跃，而非递归的单步预测。论文提出了三种规划策略：

P1（固定但任务自适应）： 使用每个任务选定的常数块大小 $k^*$ （细粒度控制使用较小的 $k^*$ ，长程目标使用较大的 $k^*$ ）。
P2（随机时界采样）： 在每个边界处从 $\{1, \dots, K_{max}\}$ 中均匀采样块大小。
P3（由长到短）： 从大块开始以覆盖长程结构，并逐渐缩小块大小以精细化细粒度动力学（一种由粗到精的搜索）。

3. 核心贡献

统一框架： 引入了 VLWM，这是一个能在多个时界下学习潜空间动力学，并通过“动作即 Token”表征自然支持可变长度动作序列的框架。
稳定的训练与规划： 提出了可扩展的课程学习策略，用于稳定的可变长度训练，以及一套能够在其单一模型内自适应利用不同预测时界的规划算法。
实证验证： 证明了 VLWM 在长程规划基准测试中始终优于固定时界的世界模型（特别是 LeWM），并通过分析展示了其在长程可预测性和下游可控性方面的提升。

4. 实验结果

作者在三个目标条件规划环境上评估了 VLWM：PushT（2D 操作）、OGBench-Cube（3D 机器人操作）和 TwoRoom（2D 导航）。

性能增益： 在所有数据集上，VLWM 比最先进的 LeWM 平均提升了 13%。这种增益在长程场景下最为显著（例如，在时界为 100 步的 TwoRoom 环境中，成功率从 LeWM 的 36% 提升至 VLWM 的 68%）。
误差缓解： 可视化显示，虽然 LeWM 的递归展开会出现漂移并无法跨越环境边界（例如门），但 VLWM 的分块可变长度跳跃能紧贴真实轨迹。
表示质量： 在冻结编码器的线性探测评估中，相比于 LeWM，VLWM 生成的潜空间在物理属性（如方块角度）上具有更高的皮尔逊相关系数，这表明其能更好地捕捉缓慢的语义状态变化。
课程学习的必要性： 消融实验证实，课程学习训练策略对于稳定的可变长度训练至关重要，特别是在需要扩展规划的任务中。

5. 重要性与主张

本文声称 VLWM 提供了一种简单且有效的方法论，用于改进潜空间世界模型中的长程预测和规划。

超越工程层面： 作者认为，长程规划的困难不仅仅是一个工程问题，更是训练目标的问题。通过从固定步长转向可变长度监督，VLWM 使训练信号与长程推理的需求相一致。
统一接口： 该框架在一个训练好的模型内涵盖了一系列固定时界和分层时界策略，消除了对独立的高层和底层策略或辅助模块的需求。
未来方向： 结果表明，可变长度监督是迈向更鲁棒的规划算法的基础性步骤，它提供了一个灵活的接口，使规划器能够根据特定任务的需求调整预测粒度。