🤖 AI

FF-JEPA: Long-Horizon Planning in World Models with Latent Planners

本文介绍了 FF-JEPA，这是一种采用无动作潜空间规划器来预测子目标的层级化世界模型，从而在不需要显式目标图像的情况下实现高效的长程规划，并克服了传统计算昂贵方法的局限性。

原作者： Sergi Masip, Jonathan Swinnen, Yutong Hu, Renaud Detry, Tinne Tuytelaars

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Sergi Masip, Jonathan Swinnen, Yutong Hu, Renaud Detry, Tinne Tuytelaars

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文 FF-JEPA: 基于潜空间规划器的世界模型长程规划 的解释，通过简单的概念和日常类比进行了拆解。

核心问题：“长途旅行”的困境

想象一下，你正在试图教一个机器人把一个方块从桌子上推到某个特定位置。

目前的 AI 方法（称为世界模型/World Models）就像是一个能够“想象”未来的机器人。它观察当前的画面，然后猜测如果向左推会发生什么，再猜如果向右推会发生什么，以此类推。它试图寻找一条通往特定目标图像（例如：方块在最终位置的照片）的路径。

然而，这种方法有两个主要缺陷：

“太远”问题： 如果行程很短，机器人可以轻松地想象出整个路径。但如果行程很长（步数很多），机器人的想象就会变得模糊。第一步产生的微小误差会不断放大，直到机器人想象出的未来完全错误。这就像试图预测下个月的天气；预测的时间越久，准确度就越低。
“目标照片”问题： 为了进行规划，机器人通常需要一张最终目的地的精确照片。但在现实世界中，你往往没有未来的照片。你只知道你想让方块去“那边”，但你还没见过“那边”具体长什么样。

解决方案：FF-JEPA（“停下来检查”策略）

作者提出了一种名为 FF-JEPA 的新系统。它不再试图一次性想象整个漫长的旅程，而是将其分解为一个层级结构。你可以把它想象成一次带有 GPS 导航的公路旅行。

它不像是在脑海中进行一次巨大的跨越，而是使用两个层级：

1. 潜空间规划器 (The Latent Planner) —— 即“GPS”

这是添加到系统中的新“大脑”。它不看摄像头的原始像素，而是观察一个简化的、抽象的地图（称为“潜空间”）。

它的作用： 它观察当前位置，并预测一段短距离内的子目标（一个检查点）。
神奇之处： 它不需要最终目的地的照片。它只需预测：“好的，在 2 步之后，方块应该在这里。”它就像一个 GPS 在说“前往下一个出口”，而不是“开车前往最终的酒店”。

2. 世界模型 (The World Model) —— 即“驾驶员”

这是现有的、知道如何移动方块的 AI。

它的作用： 一旦“GPS”（规划器）说“前往这个检查点”，那么“驾驶员”（世界模型）就会计算出到达该点的具体动作。
循环过程： 一旦机器人到达该检查点，规划器会选择一个新的检查点，然后驾驶员再计算如何到达那里。

为什么这更好（类比）

想象你正试图穿过浓雾走向一座山峰。

旧方法（平铺式规划）： 你试图在脑海中一次性构思出通往山峰的完整路径。因为有雾，走过 10 步后你就糊涂了，结果在原地转圈。而且，你还需要一张山峰的照片才能开始，但你并没有。
FF-JEPA 方法： 你有一个向导（规划器）。向导说：“走到那块大石头那里。”你走到了石头那里。然后向导说：“现在走向那棵树。”你走到了树那里。
- 你永远不需要同时想象整座山（解决了“太远”问题）。
- 你不需要山峰的照片；你只需要看到下一个地标（解决了“目标照片”问题）。

实验结果：推动“T”型块

研究人员在名为 PushT 的任务上测试了该系统，即机器人必须将一个 T 型方块推向目标点。

短程任务： 旧方法表现尚可。
长程任务： 旧方法惨败（成功率降至几乎为 0%）。它们在迷雾中迷失了方向。
FF-JEPA： 在长程任务中成功率超过了 90%。即使他们将机器人放在随机且混乱的初始位置（即不知道目标是否可达的情况下），FF-JEPA 仍能达到约 82% 的成功率。

两种类型的“GPS”

论文测试了构建“规划器”（GPS）的两种不同方式：

确定性规划器 (Deterministic Planner)： 一种直接、快速的预测器。它像一张简单的地图。它非常轻量且快速，但在极短距离内的准确性略低。
扩散规划器 (Diffusion Planner)： 一种更复杂、更具“创造力”的预测器（类似于生成图像的 AI）。它速度较慢，消耗更多计算资源，但在处理长距离、困难任务时最为准确。

总结

论文表明，通过添加一个能将大问题分解为易于处理的小块的“规划器”，机器人可以在不需要终点照片的情况下，规划更远的未来。它将一个困难的长距离导航问题转化为了系列简单的短距离跳跃。

核心要点： 你不需要看到整个旅程才能进行规划；你只需要知道下一步，然后是下一步，如此循环往复。

技术摘要：FF-JEPA：基于潜空间规划器的世界模型中的长程规划

问题陈述

视觉世界模型的最新进展，特别是像 LeWorldModel (LeWM) 这样的联合嵌入预测架构 (JEPA)，已经展示了预测未来观测并支持通过采样规划器（如交叉熵方法 CEM）进行基于模型的控制的能力。然而，作者指出，这些“扁平化”的世界模型在部署到现实世界的长程任务时，存在三个关键局限性：

计算限制： 在长程范围内进行规划需要重复的展开（rollouts）以及日益庞大的动作序列，这使得 CEM 优化在计算上变得难以承受。
误差累积： 自回归预测误差会在许多步之后不断累积，导致规划器在处理复杂轨迹时发生发散。
目标依赖性： 现有方法通常需要一个显式的目标图像或状态 ( $o_g$ ) 来驱动规划。在许多现实场景中，这种具体的目标规范是无法获得或不切实际的。

虽然层次化方法和生成式方法试图解决这些问题，但它们通常仍运行在像素空间，或者依赖于外部指定的图像或轨迹，从而限制了其在开放式环境中的适用性。

方法论：前向-前向 JEPA (FF-JEPA)

本文提出了 FF-JEPA，这是一个层次化框架，它通过引入一个与标准动作条件化前向模型 ( $P$ ) 并行的潜空间规划器 ( $G$ )，扩展了 JEPA 式的世界模型。该方法将长程规划分解为一系列可处理的短期优化问题，且无需显式的目标图像。

核心架构

该系统由两个主要组件组成，它们在由预训练且冻结的世界模型编码器 ( $E$ ) 定义的潜空间内进行训练：

世界模型 ( $P$ )： 一个标准的动作条件化前向动力学模型（基于 LeWM），它根据历史状态和动作预测下一个潜状态： $\hat{z}_{t+1} = P(z_{t-W_P+1:t}, a_t)$ 。
潜空间规划器 ( $G$ )： 一个无动作条件的前向动力学模型，它仅根据之前的潜空间子目标历史来预测下一个子目标潜状态 ( $\hat{z}_{sg}$ $\overset{z}{^}_{s g}$ )。它在更高的时域分辨率上运行（每 $H$ $H$ 个环境步执行一次）。
- 确定性规划器 ( $G_{Det}$ )： 一种 Transformer 架构（类似于世界模型的预测器，但不包含动作条件），旨在最小化预测值与真实未来子目标之间的均方误差。
- 扩散规划器 ( $G_{DM}$ )： 一个 DiT（扩散 Transformer）骨干网络，通过去噪分数匹配目标进行训练，用以预测未来的子目标序列。

规划推理

推理过程是层次化的：

子目标预测： 潜空间规划器 $G$ 根据当前的子目标历史预测下一个子目标状态 $\hat{z}_{sg, m+1}$ 。
动作优化： 世界模型 $P$ 使用 CEM 来寻找一个动作序列 ( $a_{1:H}$ )，使预测状态在短时程 $H$ 内趋向于预测的子目标 $\hat{z}_{sg, m+1}$ 。
迭代： 此循环不断重复，有效地通过链接短时程规划来实现长程目标。

至关重要的是，这种方法在推理时移除了对目标图像的需求；规划器通过生成隐式定义的目标的轨迹来进行规划。

核心贡献

无目标的长程规划： 该框架通过使用生成中间子目标的潜空间规划器，实现了无需显式目标图像的世界模型规划。
层次化分解： 它通过将复杂的轨迹分解为短小的、可解的子问题，解决了扁平化世界模型的“长程崩溃”问题，减轻了误差累积和计算成本。
无标签训练： 潜空间规划器可以在无标签的成功演示数据（从世界模型的潜空间中抽样）上进行训练，减少了对动作标签数据的依赖。
统一框架： 它将世界模型重新诠释为一个在想象的潜空间轨迹上运行的逆动力学模块，将预测建模与控制统一在一个连贯的潜空间内。

实验评估

作者在 PushT 任务上评估了 FF-JEPA 的表现，采用了三种实验设置：短程（25 步）、长程（75 步）以及随机初始化（带有随机起始位置的 300 步）。

结果

长程性能： 基线扁平化 LeWM 在长程任务中崩溃（ $t=75$ 时成功率为 3.52%），并在随机初始化下完全失败（0.00%）。相比之下，FF-JEPA（扩散版本）在 $t=75$ 时达到了 91.80% 的成功率，并在随机初始化下达到了 82.42%。
无目标优势： 不同于需要目标图像进行推理的基线（LeWM, DINO-WM），FF-JEPA 不需要目标图像。尽管如此，它在短程（96.09% vs. 89.0%）和长程（91.80% vs. 61.0%）设置中均优于层次化 DINO-WM 基线。
数据效率： 消融研究表明，仅使用 200 个高质量演示进行训练（减少了 40 倍的数据量）仍能获得极具竞争力的性能（76.17% vs. 82.42% 全量数据），这表明其具有极高的数据效率。
计算开销： 与 CEM (~~926ms) 相比，确定性规划器增加的推理时间微乎其微 (~~2.1ms)，而扩散规划器增加了约 242ms。两者都显著快于长程扁平化规划所需的重复展开过程。

失败分析

失败案例通常发生在智能体偏离预测的子目标位置过远，或者当潜空间规划器生成了低质量的子目标状态（例如遗漏了智能体）时。

意义与主张

本文将 FF-JEPA 定位为可扩展、无目标的机器人学习的一个极具前景的方向。通过证明动作条件化世界模型与在无标签数据上训练的潜空间规划器相结合，可以克服扁平化规划的局限性，作者表明这种方法使智能体能够在缺乏显式目标规范的开放式环境中运行。这项工作强调，将规划分解为短期子目标是缓解当前世界模型方法中固有的计算和误差累积问题的可行策略。