🤖 machine learning

XP-JEPA: Cross-Predictive Physics Grounding for Forecastable Latent Dynamics

该论文介绍了一种名为 XP-JEPA 的跨预测学习框架，该框架在训练期间通过特权物理轨迹来锚定视觉潜动力学，从而显著提高可预测性和控制性能，同时在仅使用视觉的部署阶段舍弃物理分支。

原作者： Kehan Wen, Ziming Li, Siyuan Luo, Fan Shi

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Kehan Wen, Ziming Li, Siyuan Luo, Fan Shi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

能够进行预判的机器人通常依赖一种心理捷径：它们构建一个内部世界地图，一种可以在实际执行动作之前测试不同移动方式的模拟环境。为了实现这一点，机器人会对周围环境进行拍照，将图像转化为一组简化的数字，然后询问计算机程序，如果机器人推动、抬起或转动某个物体，这些数字在片刻之后会变成什么样。如果预测结果符合目标，机器人就会执行该动作。当机器人的内部地图能准确反映物理世界的变化时，这一过程运作良好。然而，当机器人仅通过图像来学习预测未来时，一个常见的问题便会出现。它可能会变得“过于聪明反被聪明误”，在视觉数据中发现一些易于预测但与真实物理学无关的模式。例如，机器人可能会学到某种灰色通常会跟随某种蓝色出现，即使实际物体根本没有移动。这产生了一种脆弱的理解，导致机器人的预测偏离现实，使其在尝试与世界互动时失败。

新加坡国立大学的一个研究小组开发了一种新方法来修复这一缺陷，确保机器人的内部预测始终符合物理定律。他们将这种方法称为 XP-JEPA。研究人员并没有让机器人仅仅通过观看视频来学习，而是在训练期间给了它第二路信息流：物体物理状态的直接读数，例如它们的精确位置、大小和空间方位。这些物理数据就像是一个机器人通过摄像头看不见、但在学习过程中可以获取的“隐藏真理层”。研究人员设计了一个系统，让机器人的“视觉大脑”和“物理大脑”协同工作。两部分都会接收相同的动作历史，并尝试预测未来。视觉侧预测下一帧图像看起来是什么样，而物理侧则预测下一组坐标。至关重要的是，该系统强制要求这两项预测保持一致。如果视觉侧预测方块会向上移动，而物理侧预测方块保持不动，系统就会判定视觉预测是错误的。这种交叉检查的过程教会了视觉系统去关注真正重要的物理变化，而不是仅仅基于肤浅的视觉模式进行猜测。

研究人员在多种机器人任务中测试了这种方法，包括推动方块、堆叠物体以及将物品投入容器等。他们将新系统与仅从图像中学习的标准模型进行了对比。结果令人瞩目。当研究人员让新系统运行任务模拟时，其预测误差随时间增长得非常缓慢。相比之下，标准模型的预测出现了显著漂移，在短短几步之后就变得不可靠。具体而言，新方法将预测误差从 0.361 降低到了 0.104。这种准确性的提升直接转化为了更好的表现。当机器人被要求实际执行任务时，新系统的成功率为 78.2%，相比于标准视觉模型的 53.6% 有了大幅跃升。这种改进在六种不同类型的交互中均保持有效，表明该方法适用于广泛的物理挑战。

该研究最重要的发现之一是，当机器人停止使用物理数据时会发生什么。物理信息仅在机器人的训练阶段可用；在执行任务期间，真实的机器人无法测量这些数据。研究人员发现，一旦机器人完成了借助物理数据的学习过程，他们就可以完全丢弃物理传感器。此时，机器人仅凭摄像头即可运行，就像标准模型一样。尽管失去了对物理数据的访问，机器人依然保留了改进后的未来预测能力。这表明机器人已成功将其内部的物理规则内化到了视觉理解中。它学会了以一种自然尊重物体运动和交互的方式来观察世界，而不是仅仅记忆视觉技巧。

研究还探讨了仅仅教机器人识别物体位置是否足以解决问题。他们尝试了另一种方法，即强迫机器人直接从单张图像快照中猜出物体的方位。虽然这种方法让机器人非常擅长识别特定时刻物体的所在位置，但它并未帮助机器人预测物体未来的运动。机器人仍能准确猜出位置，但其对物体未来路径的预测与标准模型一样不可靠。这种区别至关重要：知道某物现在在哪里并不等于理解它将如何变化。新方法的成功之处在于，它专注于“动作”与“未来状态”之间的关系，利用物理数据来引导对这种关系的学习，而不是仅仅教机器人如何标注当前的场景。

研究人员还测试了如果切断视觉与物理数据之间的联系会发生什么。在一次实验中，他们将一个任务的视觉视频与另一个完全无关的任务的物理数据配对。在这种情况下，机器人的预测变得混乱，其控制能力也崩溃了，成功率仅为 16.6%。这一结果证明，该系统依赖于视觉与物理信息的正确配对。仅仅拥有物理数据是不够的，机器人必须学习视觉内容与该场景物理演变之间的特定联系。研究证实，这种进步源于对世界动态规律的学习，而非仅仅是拥有更多的数据。

最后，这项工作展示了通往更可靠机器人规划的路径。通过使用一个临时性的、具有特权的物理世界视角来训练机器人的视觉系统，研究人员创造出了一个更擅长想象未来的模型。机器人能够更精确地预判其行为的后果，从而降低在操纵真实物体时失败的风险。虽然目前的实验是在模拟环境中进行的，但该方法提供了一个清晰的策略，用于教机器不仅将世界视为图像的集合，更是一个受一致规则支配的运动部件系统。机器人不需要在现实世界中携带沉重的物理传感器；它只需要学会正确的观察方式。

技术摘要：XP-JEPA：用于可预测潜空间动力学的跨预测物理对齐

1. 问题陈述

潜在世界模型（Latent world models）通过在表示空间中进行搜索来实现规划：智能体编码当前场景，通过学习到的动力学过程推演候选动作，并选择其预测结果趋近于目标的动作。这种方法依赖于具有可靠动作条件动力学的表示。

然而，自预测模型（即编码器和预测器共同优化的模型）经常面临一种特定的失效模式：表示与预测器会针对那些在内部可预测、但在底层物理演化方面约束较弱的潜空间转换进行协同适应（co-adapt）。如论文所述，两种不同的物理状态（例如，被夹持器夹住的方块与沿同一相机射线停留在桌面上的方块）可能会投影为几乎相同的图像。自预测目标并不要求它们的潜空间转换产生分离，即使它们在相同动作下会以截然相反的方式演化。这种歧义会导致“展开漂移”（rollout drift），即预测的未来与物理现实发生显著偏离，从而削弱控制性能。

虽然特权物理状态（如物体位姿、速度）提供了外部参考以减少这种歧义，但现有方法通常仅将其用于监督表示内容（通过蒸馏或状态回归）或下游行为。本文认为，仅仅使物理状态从单个潜空间快照中可解码，并不一定能约束这些潜变量在动作作用下随时间如何演化。核心挑战在于利用特权轨迹来监督预测转换本身，确保学习到的动力学植根于物理现实，而无需在测试时需要特权输入。

2. 方法论：XP-JEPA

作者引入了 Cross-Predictive JEPA (XP-JEPA)，该框架将视觉观测与特权物理状态视为同一轨迹的两种视图。与蒸馏固定物理目标到视觉表示的方法不同，XP-JEPA 通过一个共享的预测器将两种模态的演化耦合在一起。

核心架构与目标

XP-JEPA 构建于 LeWM（联合嵌入预测架构）基线之上，该基线共同学习一个视觉编码器 $f_\theta$ 和一个动作条件预测器 $g_\psi$ 。XP-JEPA 通过增加一个物理分支对其进行了增强：

双编码器： 视觉编码器 $f_\theta$ 处理观测值 $o_t$ ，物理编码器 $h_\phi$ 处理特权状态 $s_t$ 。
共享预测器： 单个动作条件预测器 $g_\psi$ 将来自任一模态（ $Z^o_t$ 或 $Z^s_t$ ）的历史向前推进。
跨预测损失： 模型优化一个包含四个项的损失函数：
- 模态内项： 视觉自预测（ $g_\psi(Z^o_t, a_t) \to z^o_{t+1}$ ）和物理自预测（ $g_\psi(Z^s_t, a_t) \to z^s_{t+1}$ ）。
- 跨模态项： 视觉历史预测未来的物理表示（ $g_\psi(Z^o_t, a_t) \to z^s_{t+1}$ ），以及物理历史预测未来的视觉表示（ $g_\psi(Z^s_t, a_t) \to z^o_{t+1}$ ）。

损失函数定义为：
$\mathcal{L}_{\text{XP-JEPA}} = \sum_{m,n \in \{o,s\}} \| g_\psi(Z^m_t, a_t) - z^n_{t+1} \|^2_2 + \beta [\Omega(z^o) + \Omega(z^s)]$
其中 $\Omega$ 是各向同性正则项（SIGReg），用于防止表示崩溃。

统一的特权状态接口

为了将此方法应用于异构任务（如抓取、推动、堆叠），作者设计了一个统一的刚体模式（rigid-body schema）。场景由一组 Token 表示：

物体 Token： 包含规范几何（池化的符号距离场 SDF）、半长宽高、位姿（旋转与位置）。
执行器 Token： 末端执行器旋转、位置及手指开合度。
桌面 Token： 一个完成集合的已学习 Token。
场景被填充至固定的物体槽位数（例如六个），未使用的槽位会被掩码处理。这使得单个物理编码器能够处理多样化的配置，而无需特定于类别的标签。

训练与部署

训练： 两个编码器和共享预测器被共同训练。物理分支作为第二个在线预测视图，约束视觉动力学。
部署： 物理编码器 $h_\phi$ 和特权状态 $s_t$ 被丢弃。部署的模型仅包含视觉编码器和预测器。它接收与基线相同的视觉观测，在推理期间没有特权输入。规划通过在学习到的潜动力学中展开候选动作序列，并根据编码的目标进行评分来完成。

3. 核心贡献

Cross-Predictive JEPA： 一种新颖的架构，通过将视觉和物理历史通过共享预测器推进，并将每个预测与两种模态的未来进行匹配，从而将潜空间转换锚定在特权物理轨迹中。这实现了逐点对应关系与动作条件预测的耦合。
统一的特权状态接口： 一种刚体模式，允许单个物理编码器在无需类别标签或特定任务状态场的情况下，跨越多样化的物体交互配置运行。
属性分离： 本研究明确区分了可解码性（从快照中恢复物理变量）、可预测性（随时间进行可靠的动作条件预测）和规划效用。研究表明，高可解码性并不保证高可预测性或控制成功率。

4. 实验结果

作者在多任务套件（基于 Meta-World，22 种配置）和四个单任务环境（Push-T, OGBench-Block, Two-Room, Reacher）上对 XP-JEPA 进行了评估。

可预测性 (Forecastability)

展开漂移 (Rollout Drift)： XP-JEPA 显著降低了新拟合预测器的相对展开漂移。在多任务套件上，漂移从 0.361（视觉基线）降至 0.104。
泛化性： 这种提升在所有单任务环境中均保持一致（例如，Two-Room 的漂移从 0.503 降至 0.221）。
消融实验： 移除跨预测功能（ALIGN-ONLY）对降低漂移的效果较差（0.158），而移除共享预测器（CROSS-ONLY）则维持了较低的漂移（0.101），这表明跨模态预测是实现高可预测性的主要驱动力。

控制性能

成功率： 在多任务套件上，XP-JEPA 将平均控制成功率从 53.6% 提高到 78.2%（提升了 24.6 个百分点）。
任务依赖性： 虽然可预测性得到了普遍提升，但控制增益因任务而异。例如，XP-JEPA 在 Two-Room 和 OGBench-Block 中表现出显著优于基线的性能，但在 Push-T 和 Reacher 中增益较小。
与回归对比： 一个从视觉潜变量中回归全面基于位姿的状态目标的基线（REGRESS）实现了极高的位置可解码性（ $R^2 = 0.991$ ），但未能改善可预测性（漂移 0.373）或控制性能（53.7% 成功率）。这证实了仅靠快照内容并不能确保可靠的展开预测。

消融实验洞察

对应关系 vs. 预测： 正确的视觉-物理对应关系（匹配正确的轨迹）对于控制至关重要。SHUFFLE 消融实验（使用正确的架构但使用了错误的轨迹）保留了低漂移（0.167），但控制成功率坍缩至 16.6%，证明了如果动力学无法保留与动作选择相关的区别，那么即便可预测也无法实现有效控制。
预测器共享： 仅共享预测器（SHARE-ONLY）带来的收益很小（56.7% 成功率），这表明模态之间的耦合比权重共享更为重要。

5. 重要性与主张

本文声称，跨预测物理对齐产生了更具可预测性的潜动力学，从而实现了基于展开的控制，且在测试时无需特权输入。

机制： 改进并非源于简单地编码更多物理信息，而是通过使用对应的物理轨迹来约束表示的预测演化。
区分： 本研究阐明了“可解码性”（我们能否读取状态？）与“可预测性”（我们能否预测未来？）是不同的属性。一个模型可以高度可解码，但可预测性较差，从而导致控制失败。
局限性： 作者谦虚地指出，结果受限于模拟环境，需要在训练期间使用配对的特权轨迹，并且依赖于固定的刚体状态模式。将此扩展到现实世界的观测和更广泛的物理交互仍是未来的工作方向。

总之，XP-JEPA 证明了通过将特权状态视为第二个预测视图，并强制执行转换动力学中的跨模态一致性，可以学习到对物理歧义具有鲁棒性的视觉世界模型，从而显著提升规划与控制性能。