🤖 machine learning

SCALE: State-Calibrated Latent Embeddings for JEPA Planning in the Right Geometry

该论文提出了 SCALE，一种轻量级的训练时正则化器，它通过将端到端学习的潜嵌入几何结构与标准化的任务相关状态空间进行对齐，从而在无需额外规划时开销的情况下，确保嵌入空间中的高方差方向能够有效捕捉状态信息，进而提升 JEPA 的规划性能。

原作者： Jiaming Hu, Yan Zheng, Tian Wang

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiaming Hu, Yan Zheng, Tian Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在构建能够像生物一样思考和行动的机器的过程中，研究人员长期以来一直依赖于一个被称为“世界模型”（world model）的概念。想象一个机器人，它不仅仅是根据眼前所见做出反应，而是会在脑海中进行关于未来的模拟。在移动任何一寸肌肉之前，它会自问：“如果我伸手去拿那个杯子，会发生什么？”它会想象一系列事件的序列，预测结果，然后才选择能带来最佳结果的行动。为了让这些模拟能够奏效，机器需要一种能够表示世界的方式，这种方式既要足够紧凑以便快速计算，又要足够详细以发挥作用。如果表示方式过于混乱，机器人就会迷失在噪声中；如果过于简单，它又会错过成功的关键细节。挑战在于寻找一种平衡点，使机器的内部世界地图不仅准确，而且其组织方式能让规划变得容易。

波士顿大学和 Unity Technologies 的研究人员最近的一项研究针对了目前构建这些心理地图时一个微妙但至关重要的缺陷。他们发现，一台机器可以学会完美地理解一项任务，但在尝试进行规划时却仍然失败。问题不在于信息缺失，而在于信息隐藏在了机器内部几何结构的错误部分。为了解决这个问题，该团队开发了一种名为 SCALE 的新方法，它通过重塑机器的内部地图，使得对于某项任务最重要的细节，在机器做出决策时能成为最突出的特征。

研究人员首先观察了机器学习表示世界的两种不同方式。一种方法用于名为 DINO-WM 的系统，它依赖于在机器人接触特定任务之前，从海量数据中学习到的特征。这种方法自然地创建了一个让重要状态之间的差异易于辨识的地图。另一种方法被称为 LeWorldModel，它教导机器从零开始预测未来。虽然这种方法具有灵活性且学习速度快，但研究人员发现，由此产生的地图往往会隐藏最重要的信息。尽管机器在被直接询问时理论上可以提取出正确答案，但它衡量不同未来可能性之间距离的方式却被无关紧要的细节所主导。这就像是一个图书馆，虽然每本书都被正确地编目了，但图书管理员却只根据书皮的颜色来决定挑选哪一本，而忽略了实际的内容。

为了理解为什么会发生这种情况，请考虑机器如何决定采取哪种行动。它会想象许多可能的未来，并测量它认为自己将到达的位置与目标位置之间的距离。在那些从零开始学习的系统中，机器对距离的内部衡量深受数据中最常见变化的影响，而这些变化通常对于特定任务而言是无关紧要的。关于任务的关键信息（例如物体的位置或关节的角度）可能已经编码在机器的记忆中，但它位于地图的一个安静角落，规划过程很少注意到它。机器可以在被迫的情况下解码这些信息，但在需要做出选择时，它并不会使用这些信息。

该团队提出了一个解决方案，旨在强制机器以不同的方式组织其地图。他们引入了一种训练规则，将机器的内部距离感与现实世界中状态之间的实际物理距离直接联系起来。在训练期间，系统会被展示成对的情境，并被告知：如果两个情境在现实中相距较远，那么它们在机器的内部表示中也必须相距较远。这并不是要取代机器的学习过程；相反，它像是一个温柔的引导，推动机器重新排列其内部地图，使最重要的任务相关差异成为最显著的特征。这确保了当机器计算未来行动的代价时，其计算是由真正对成功有意义的细节所驱动的。

研究结果非常显著。研究人员在五个不同的环境中测试了他们的新方法 SCALE，环境涵盖了从推动方块到穿越迷宫，并使用了三种不同的规划算法。在每一次测试中，使用 SCALE 训练的系统都优于标准的从零开始学习的系统。这种提升是一致的，无论可用的计算能力多少或使用哪种规划算法。为了证明成功归功于新的几何结构而非仅仅是更好的记忆力，他们将其与另一种方法进行了对比——另一种方法只是试图让任务信息更容易从机器的记忆中读取。那种替代方法确实可以准确地读取信息，但在提高规划性能方面，其一致性远不如 SCALE。这证实了成功的关键不仅在于拥有信息，更在于信息的排列方式能让规划器真正使用。

这项研究揭示了关于人工智能的一个基本洞察：一个表示的质量不仅取决于它包含什么信息，还取决于信息的结构化方式。机器可以在脑海中持有正确的答案，但如果通往答案的路径被错误类型的噪声所遮蔽，机器就会失败。通过将世界模型的内部几何结构校准到与任务现实相匹配，研究人员表明，规划变得更加可靠。这项工作表明，为了让机器真正掌握复杂的任务，我们不仅要教它们如何观察世界，还要教它们如何以一种对它们需要做出的决策有意义的方式来观察世界。

技术摘要：SCALE：为右侧几何结构的 JEPA 规划提供状态校准的潜层嵌入

1. 问题陈述

联合嵌入预测架构（JEPA）通过预测未来的潜层表示，并根据预测的终止嵌入与目标嵌入之间的距离来为候选动作序列评分，从而实现规划。虽然像 LeWorldModel (LeWM) 这样的模型通过抗坍缩正则化（SIGReg）成功学习了非坍缩、端到端的表示，但**可解码性（decodability）与几何影响力（geometric influence）**之间存在着关键的脱节。

论文指出，尽管 LeWM 的全量嵌入中通常可以解码出与任务相关的状态信息，但这并不一定能塑造用于规划的潜层几何结构。在标准的平方欧几里得代价函数下，高方差的方向会主导距离度量。如果任务相关的变化被编码在低方差方向中，它们虽然可以通过回归头轻松解码，但在规划器的候选选择过程中却几乎没有影响力。这导致了一种情况：模型“知道”状态，但却无法有效地“使用”它来进行规划。

核心问题在于，现有的端到端 JEPA 训练目标并未明确确保度量杠杆（metric leverage）（即一个潜层方向在规划代价中所承载的权重）与任务相关的状态变化相一致。

2. 方法论：SCALE

作者提出了 SCALE（状态校准潜层嵌入，State-CAlibrated Latent Embeddings），这是一种在训练阶段设计的正则化方法，旨在重塑潜层几何结构，使成对的潜层距离与标准化的任务相关状态空间中的距离相关联。

核心组件：

状态校准（State Calibration）： 在训练期间，观测值与模拟器状态变量 ( $q$ ) 配对。这些状态经过标准化处理（例如，对角度使用正弦-余弦编码，排除速度），以定义目标几何结构。
相关性损失 ( $L_{corr}$ ）：SCALE 对样本对（包括在不同回合内及跨回合的帧对）进行采样，并计算平方欧几里得距离在潜层空间中的距离 ( $x_k = \|z_i - z_j\|^2$ $x_{k} = ∥ z_{i} - z_{j} ∥^{2}$ ) 与标准化状态空间中的距离 ( $y_k = \|q_i - q_j\|^2$ $y_{k} = ∥ q_{i} - q_{j} ∥^{2}$ )。
- 该目标函数最小化这些距离的标准化剖面之间的相关性损失：
  $L_{corr} = 1 - \frac{1}{K} \sum_{k=1}^K \tilde{x}_k \tilde{y}_k$
- 这迫使潜层空间进行组织，使得较大的状态差异会导致比例更大的潜层距离。
集成方式： 总目标函数结合了标准的 LeWM 预测损失 ( $L_{pred}$ )、SIGReg 抗坍缩项以及新的相关性项：
$L_{SCALE} = L_{pred} + \lambda_{sig} \text{SIGReg}(Z) + \lambda_{corr} L_{corr}$
零推理开销： SCALE 仅作为训练时的正则化项运行。在测试时，编码器和预测器保持仅图像输入；规划过程中不需要辅助头或状态信息。

机理控制（辅助基线）

为了区分“编码信息”与“塑造几何结构”，作者引入了一个 Aux 基线。该基线在训练期间附加一个回归头，用于从潜层 $z$ 预测状态 $q$ 。这确保了状态是可解码的，但仍让潜层度量保持不受约束。结果表明，高可解码性（Aux）并不保证改进规划性能，从而证实了几何对齐是一个截然不同的因素。

3. 核心贡献

识别度量杠杆： 论文正式定义了度量杠杆为期望的潜层方向对平方欧几里得规划代价的贡献，并证明它恰好与该方向的方差（ $2\lambda_j$ ）成正比。这解释了为什么位于低方差方向的任务相关信息无法影响规划。
引入 SCALE： 一种新型正则化器，直接将成对的潜层距离与任务相关的状态距离相关联，从而在不替换已学习编码器的情况下，有效地“校准”了潜层几何结构。
实证验证： 通过在五个环境（Push-T, Reacher, Cube, Two-Room, PointMaze）、三种规划求解器（CEM, iCEM, MPPI）和五种计算预算下的广泛实验，证明了 SCALE 始终优于基线 LeWM。

4. 结果

规划性能： 在 所有 15 个任务-求解器平均值 上，SCALE 的成功率均高于 LeWM。这种提升在不同的计算预算下依然存在。例如，在 Two-Room 任务中，在 iCEM 下，SCALE 实现了 92.9% 的平均成功率，而 LeWM 为 82.9%。
与 DINO-WM 的比较： 虽然 DINO-WM（使用预训练特征空间）在某些任务中表现出很强的对齐性，但在其他任务（如 Push-T）中表现较差。相比之下，SCALE 在任何任务-求解器对上从未低于 LeWM，展示了在不继承固定预训练编码器所带来的任务特定偏差的情况下，实现更一致提升的能力。
几何分析：
- 方差重新分布： 与 LeWM 和 Aux 基线相比，SCALE 将方差向领先主成分（高度量杠杆）转移。
- 状态可预测性： SCALE 的领先主成分比 LeWM 或 Aux 的主成分具有更高的任务相关状态预测性。
- 展开质量（Rollout Quality）： SCALE 提高了预测的终止嵌入与真实的模拟器结果之间的 Kendall's $\tau$ 排名一致性，这表明重组后的几何结构在预测展开过程中得以保留，并改善了候选者的排序。
可解码性 vs. 几何结构： Aux 基线在全量嵌入的状态可解码性方面达到或超过了 SCALE，但在规划增益方面未能匹配 SCALE。这证实了仅仅使状态可解码是不够的；状态必须塑造用于规划的度量。

5. 意义与主张

论文声称，规划性能不仅取决于表示中是否存在任务相关信息，还取决于这些信息的几何组织方式。

几何影响力： 作者认为，对于欧几里得规划器而言，表示的“质量”取决于任务相关的变化是否占据了高方差方向（高度量杠杆）。
端到端灵活性： SCALE 获得了预训练特征模型（如 DINO-WM）所观察到的有利几何特性，同时保留了端到端学习表示的灵活性和适应性。
极低开销： 该方法在训练期间仅增加了一个轻量级的正则化项，并且在规划阶段不引入任何计算开销。

研究结论认为，有效的潜层空间规划需要实现潜层度量与任务相关状态空间之间的显式对齐，而仅靠标准的抗坍缩正则化并不能保证这一特性。