🤖 AI

MoP-JEPA: Hard-Assigned Predictor Mixtures for Stochastic JEPA World Models

MoP-JEPA 通过采用具有 $K$ 个硬分配头的仅上下文路由器来生成有限数量的候选后继状态，解决了随机 JEPA 世界模型中单输出预测器的局限性，在图搜索任务中的原始覆盖率和验证路径成功率方面均显著优于标准的回归和混合密度网络（MDN）方法。

原作者： Zhi Song, Ximing Xing, Zhenchao Tang, hanbo Huang, Weilong Yan, Tianxu Lv, Minghao Yang, Zhongzheng Niu, Bing He, Lusheng Wang, Jianhua Yao

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhi Song, Ximing Xing, Zhenchao Tang, hanbo Huang, Weilong Yan, Tianxu Lv, Minghao Yang, Zhongzheng Niu, Bing He, Lusheng Wang, Jianhua Yao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何在巨大的、扭曲的迷宫中导航。这个机器人拥有一个“水晶球”（世界模型），它试图猜测在采取一步行动后会发生什么。

问题：“平均值”陷阱
大多数目前的机器人使用的一种水晶球，就像一个非常礼貌但优柔寡断的图书管理员。如果你问：“如果我往左走，我会到哪里？”而这里有两个可能的答案（也许是传送门把你送到了厨房，或者陷阱把你送到了花园），这个图书管理员不会给你两个选项。相反，它会给你一个答案：即厨房和花园之间的精确中点。

在现实世界中，并不存在厨房和花园之间的“中间点”。如果机器人试图走向那个中间点，它就会撞上一堵在两种现实中都不存在的墙。这篇论文称之为“单输出限制”（single-output restriction）。它指出，当未来是混乱且具有多种可能性（随机性）时，试图只预测一个“平均”的未来，是导致失败的诱因。

解决方案：“硬分配”团队
作者 Zhi Song 及其来自腾讯和香港城市大学的团队构建了一种新型的水晶球，称为 MoP-JEPA。它不再是雇佣一位图书管理员，而是雇佣了一个由 K 个不同专家（头）组成的团队。

它是这样运作的：

路由（The Router）： 一个聪明的经理观察当前的情况，并决定哪些专家可能处于活跃状态。至关重要的是，这个经理只能看到当前的上下文；它无法窥探未来究竟发生了什么。
专家（The Experts）： 每个专家都经过训练，能够非常擅长预测一种特定的未来类型。
候选集（The Candidate Set）： 当一个新的情况发生时，系统不会将专家的意见融合为一个答案。相反，它会输出一个来自活跃专家的列表，包含若干个截然不同的可能性。

这创造了一个由截然不同的、有效的可能性组成的列表（一个“候选集”），而不是一个模糊、虚假的平均值。这就像是向旅行社询问一个可能的目的地列表，而不是一张通往巴黎和东京之间某个位置的地图。

证据：它真的有效吗？
该团队在一些棘手的迷宫（来自数据集 OGBench）上测试了它，在这些迷宫中，机器人可能会传送或被缝合到不同的路径中。

旧方法： 当标准机器人尝试利用其“平均”预测进行路径规划时，它仅在 0.02 到 0.09（2% 到 9%）的查询中成功。它大多是在错误地猜测。
新方法： 使用其由不同可能性组成的列表的 MoP-JEPA 机器人在 0.85（85%）的查询中成功。

但作者非常谨慎。他们知道，仅仅拥有一个很长的猜测列表是不够的；你可能会通过胡乱猜测所有可能来碰运气。因此，他们增加了一个严格的测试，称为 “realroute”。这会检查机器人的猜测列表是否真的包含了一条由可以实际行走的真实转换所构成的路径。

结果： MoP-JEPA 在所有三个迷宫上都通过了这个严格的测试。
对比： 另一种被称为“混合密度网络”（MDN）的方法虽然可以猜测很多东西（高覆盖率），但其中的许多猜测都是现实迷宫中并不存在的虚假边缘。MoP-JEPA 的猜测是有用的且真实的。

这意味着什么（以及不意味着什么）
论文证明，对于在不确定世界中导航的机器人来说，你需要一个能够说“可能是 A，也可能是 B”的系统，而不是“会在 A 和 B 之间”的系统。

它排除了什么： 论文明确反对使用“门控”混合（如 M3-JEPA）这类将专家融合为单一输出的做法。即使内部有很多专家，如果它们将答案压合成一个向量，你仍然会陷入“平均值陷阱”。
它建议了什么： 作者认为，这种“硬分配”的方法是处理现实世界中多路径性质的更好方式。
信心来源： 结果是在特定的、留出的数据集（OGBench）上测量的。论文显示，在这些模拟中，新方法远优于旧有的“平均值”预测器。它并不声称已经解决了所有机器人规划问题，但它展示了在这些特定迷宫场景中的一次清晰且有据可查的胜利。

简而言之，如果你想让机器人为一个具有多种可能性的未来进行规划，请停止要求它给出平均值。给它一个专家团队，让他们生成一份真实的选项列表，然后让机器人从这份列表中选择最佳路径。

技术摘要：MoP-JEPA

问题陈述
JEPA（联合嵌入预测架构）世界模型通常使用单个回归器来预测下一个潜状态。虽然这种方法在确定性环境中非常有效，但在随机转移的情况下会失效，因为一个单一的上下文（状态-动作对）可能会导致多个有效的后继状态。标准的回归目标（平方损失或余弦损失）会迫使模型预测条件均值或该均值的归一化方向。在多模态分布中，这种“折中”输出往往对应于一个不存在的状态（例如，两个不同目的地之间的无效中点），使得预测器对于需要枚举有效未来路径的规划任务变得毫无用处。现有的引入随机性的尝试，例如通过加权和融合的门控混合专家（MoE）或单高斯变分分布，仍然会坍缩到每个上下文下的单个输出向量，保留了相同的根本局限性。

方法论
本文提出了 MoP-JEPA（混合预测器 JEPA），它将单输出预测器替换为一种能够在单次前向传播中产生有限候选后继集合的结构。

架构： 模型保留了标准的 JEPA 主干（编码器 $f_\theta$ 和 EMA 目标编码器 $f_\xi$ ），但将单个预测器 $g_\phi$ 替换为 $K$ 个并行的预测头 $\{g_{\phi_k}\}_{k=1}^K$ 。
路由（Router）： 一个仅依赖上下文的路由函数 $r_\psi$ 接收上下文 $c = [z, a]$ （潜状态和动作），并输出关于 $K$ 个预测头的概率分布 $\pi$ 。至关重要的是，路由不会看到目标未来状态 $z^+$ ，从而确保它学习的是基于当前上下文预测有效的后继状态。
硬分配目标： 训练利用了受条件向量量化启发的“胜者全拿”（Winner-Take-All, WTA）机制。对于每个目标 $z^+_i$ $z_{i}^{+}$ ，首先识别最近的预测头 $k^*_i$ $k_{i}^{*}$ 。损失函数由三部分组成：
1. 预测损失： 获胜预测头的输出与目标之间的距离。
2. 路由损失： 用于训练路由以预测获胜预测头索引的交叉熵。
3. 负载均衡： 一种防止路由坍缩到单个预测头的惩罚项，旨在鼓励利用所有的 $K$ 个预测头。
推理： 在测试时，模型输出一个包含 $K$ 个候选潜状态 $\{u_k\}$ 及其关联路由概率 $\{\pi_k\}$ 的集合。这个有限集合为下游规划器（如 BFS 或 MPC）提供了转移图，而无需解码器或多次展开。

核心贡献

为 JEPA 提供有限后继接口： 本文引入了一种机制，将 JEPA 的单输出限制转换为有限候选集，从而能够显式地表示多模态转移。
对坍缩的理论表征： 作者通过命题 1–3 正式证明，确定性预测器和融合 MoE 本质上是在优化条件均值，而这在随机环境中往往是一个无效状态。他们指出，硬分配的预测头是一种可以覆盖不同模态的条件向量量化形式。
验证路径（Verified-Route）评估协议： 考虑到可以通过无差别预测（例如，无论上下文如何都预测所有可能的边）来实现高覆盖率，本文引入了 “realroute” 指标。该指标评估所提出的候选集是否包含一条从起点到终点的“真实”转移的有效路径，从而区分了上下文相关的学习与单纯的覆盖。

结果
作者在 OGBench 数据集（包括具有传送和缝合功能的 PointMaze 和 AntMaze 变体，这些变体会诱发多模态转移）上对 MoP-JEPA 进行了评估。

规划性能： 在留出的 OGBench 转移任务中，使用单输出预测器的图搜索成功率仅为 0.02–0.09。相比之下，MoP-JEPA 达到了 0.85 的成功率。
模态恢复： 潜空间中的可视化（图 3 和图 4）显示，密集预测器会坍缩到两个分支之间的单个无效中点，而 MoP-JEPA 能够成功恢复出对应于每个有效分支的清晰峰值。
验证路径成功率： MoP-JEPA 在所有三个迷宫环境的 “realroute” 指标上均处于领先地位。虽然混合密度网络（MDN）实现了很高的原始覆盖率，但它预测了许多不存在的边，在验证路径测试中失败了。MoP-JEPA 在保持高覆盖率的同时，确保了预测的边确实对应于实际的转移。
消融实验： 实验表明路由门控机制是必不可少的；如果没有它，模型可能会保留那些与特定上下文转移不符的预测头。

意义与主张
本文声称，当前 JEPA 世界模型在随机设置下的主要局限在于单输出限制，这迫使模型做出一种无法被规划算法利用的折中。通过引入硬分配的预测头，MoP-JEPA 允许模型“枚举”离散的后继模态，而非进行平均。作者强调，其贡献不在于提出新的编码器或抗坍缩机制，而在于一种特定的预测器级机制，该机制能够为规划层面的成功提供证据。这项工作提供了一个实证说明，解释了单输出预测如何在随机环境下降低规划性能，并提供了一套协议，用以区分有用的、上下文相关的后继状态与无差别的覆盖。

技术摘要：MoP-JEPA

类似论文