🤖 machine learning

LpWM: A Case for Sparse Representations in World Models

本文介绍了 LpWM，这是一种联合嵌入预测架构，它利用通过整流分布匹配进行正则化的稀疏、非负潜在表示，与传统的稠密表示相比，显著降低了预测器的复杂度并提高了规划成功率，同时揭示了具有可解释性的、模态分解的动力学结构。

原作者： Yilun Kuang, Yash Dagade, Quentin Le Lidec, Lucas Maes, Randall Balestriero, Yann LeCun

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Yilun Kuang, Yash Dagade, Quentin Le Lidec, Lucas Maes, Randall Balestriero, Yann LeCun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

要理解机器是如何学习在世界中移动的，请想象教一个孩子如何在房间里穿行。孩子不仅仅是记住一张静态的地图；他们还会建立一个心理模型，理解当他们推开一把椅子或打开一扇门时，房间会发生怎样的变化。在人工智能领域，这种心理模型被称为“世界模型”（world model）。为了让计算机规划路径或执行任务，它需要根据当前状态和所采取的行动来预测下一步会发生什么。一种常见的方法是将复杂的视觉世界转化为一种更简单的、内部的数字语言，即所谓的“潜空间”（latent space）。在这个隐藏的空间里，计算机通过推动这些数字向前演进，从而预测未来。然而，一个持久存在的问题是，这些内部表示往往变得过于密集，集合中的每一个数字都承载着某种数值，这使得预测任务变得异常困难且容易出错。

研究人员长期以来一直在思考是否存在一种更好的方式来构建这种内部语言。如果计算机使用的不是填满每一个位置的信息，而是一种稀疏语言——其中大多数数字为零，只有极少数携带意义——情况会怎样？这个想法表明，通过强制系统具有选择性，控制世界变化规律的过程可能会变得更容易学习。这是由来自纽约大学、杜克大学和布朗大学等机构的研究团队开展的一项新研究中所探讨的核心问题。他们旨在测试这种稀疏方法是否能让人工智能更容易理解并控制其环境，并特别观察了这些内部数字的几何结构如何影响任务的难度。

该团队引入了一个名为 LpWorldModel 的新系统，旨在学习这些稀疏表示。与以往鼓励内部代码每个部分都保持活跃的方法不同，该系统使用一种特定的数学约束，以确保代码中的大多数数字保持为精确的零。他们在两个不同的环境中训练了这个系统：一个是简单的导航任务（一个点穿过门口移动），另一个是更复杂的操控任务（一个机械臂必须将 T 形块推送到目标位置）。在较简单的环境中，无论内部代码是稠密的还是稀疏的，系统表现都很好，因为运动规则足够简单，即使是基础的预测器也能处理。然而，在更困难的推物体任务中，结果发生了剧烈变化。

当研究人员使用不同复杂度的预测器测试该系统时，他们发现稀疏方法提供了明显的优势。在复杂度处于中等范围时——即预测模型不够强大，无法处理稠密、杂乱的表示时——稀疏系统在稠密系统失败的地方取得了成功。具体而言，在推物体任务中，当使用具有中等容量的预测器时，稀疏系统相比稠密系统将规划成功率提高了高达 57%。这表明，通过将信息组织成稀疏格式，系统降低了建模世界动力学所需的复杂度。稠密系统之所以挣扎，是因为它必须学习一个复杂的交互网络，而稀疏系统则可以依赖一套更简单、更直接的规则。

除了提高性能外，研究人员还发现，稀疏表示组织信息的方式具有惊人的可解释性。系统自然地将世界的“模式”（mode）与状态的具体细节分离开来。在一个物理规则随代理所在区域而变化的测试环境中，系统利用特定数字的存在或缺失（即“支撑集”，support）来识别它处于哪个区域，从而有效地充当了应用不同物理规则的开关。随后，非零数字的实际数值则捕捉了连续的细节，例如代理在区域内的精确位置。这种分离使得系统能够理解世界的规则发生了改变，而不仅仅是看到一堆变化的像素。

在涉及机械臂与立方体交互的一个更复杂的场景中，研究人员发现稀疏系统可以追踪物体的物理状态，例如机械臂是否正在接触立方体。然而，如果没有额外的引导，系统往往会关注场景中移动最快的部分（如机械臂本身），而不是更缓慢但更重要的接触事件。通过添加一个简单的约束，鼓励系统在时间上保持稳定，他们成功地转移了焦点，使稀疏代码能够追踪机械臂与立方体之间的接触。这证明了稀疏表示可以经过调节，从而突出最重要的物理事件，将内部代码转变为一张关于世界动力学的可读地图。

该研究得出结论，稀疏表示为目前人工智能中使用的稠密方法提供了一种强大的替代方案。通过强制系统具备选择性，研究人员展示了使预测未来的任务变得更容易是可能的，从而允许更简单的模型实现更好的效果。研究结果表明，内部语言的几何结构至关重要；一种稀疏且有结构的方案比稠密且无结构的方案能更清晰地揭示系统的底层规则。尽管该系统仍需要仔细调优以确保其追踪正确的物理事件，但结果表明，稀疏性是通往更高效、更具解释性的世界模型的极具前景的路径，这可能使机器能够以更少的计算能力学习复杂的行为。

技术摘要：LpWM：论世界模型中稀疏表示的必要性

问题陈述

联合嵌入预测架构（JEPA）已成为从像素实现基于模型的控制的一种可行方法，其中编码器将观测值映射到潜空间，预测器在动作作用下展开潜动力学，用于通过模型预测控制（MPC）进行规划。为了防止表示坍缩（退化为常数或低秩子空间），先前的方法采用了抗坍缩损失，通过将特征与最大熵分布（如各向同性高斯分布）进行匹配来最大化信息。这一过程产生了稠密表示，即所有潜坐标均为非零值。

然而，目前尚不清楚稠密几何结构对于建模受控动力学是否是最优的。本研究探讨的核心问题是：稀疏表示是否能为建模动作条件的潜动力学提供更有利的几何结构，从而简化用于成功规划的预测器，并揭示可解释的动力学结构。

方法论

通过稀疏性实现的线性化理论动机

作者提出，足够高维的稀疏表示可以利用线性潜转移来近似非线性受控动力学。

命题 1： 对于具有 Lipschitz 连续动力学的紧致状态空间，存在一个有限维的 one-hot 稀疏编码，使得潜动力学是精确线性的（ $z_{t+1} = P_\epsilon(a_t)z_t$ ）。解码误差由 $(L+1)\epsilon$ 限制，其中 $L$ 是 Lipschitz 常数。
推论 1： 随着编码维度 $N$ 的增长，展开误差趋于零（ $O(N^{-1/d})$ ）。
启示： 虽然精确的 one-hot 编码在优化中并不实际，但这启发了分布式稀疏表示（其中非平凡比例的坐标精确为零）作为一种可学习的松弛形式，它可能会简化动力学模型。

LpWorldModel (LpWM) 架构

本文引入了 LpWM，一种旨在学习非负、稀疏潜码的 JEPA 模型。

编码器 ( $f_\theta$ )： 一个将观测值映射到潜嵌入的视觉 Transformer (ViT)。
预测器 ( $g_\phi$ )： 一个带有 AdaLN-zero 动作条件的 Transformer，在给定当前状态和动作的情况下预测下一个潜状态。
整流分布匹配正则化 (RDMReg)： 为了防止坍缩并诱导稀疏性，模型最小化一个包含预测误差项和正则化项 $R(z)$ $R (z)$ 的损失函数。
- $R(z)$ 将潜特征的边缘分布与整流广义高斯 (RGG) 分布进行匹配。
- 通过设置形状参数 $p=1$ 且位置 $\mu=0$ ，目标分布变为整流拉普拉斯 (Rectified Laplace) 分布。这种在 $\ell_1$ 约束下的最大熵分布鼓励了稀疏性。
- 该损失使用 2-Wasserstein 距离（通过随机投影）来匹配编码器的输出分布与目标分布。
激活函数： 编码器和预测器投影器均使用重参数化 ReLU (RepReLU)。在前向传播中，它表现为标准 ReLU（产生精确的零）；在反向传播中，梯度通过 GeLU 组件流动，以缓解“死亡 ReLU”问题。

规划

在测试时，训练好的世界模型作为 MPC 的动力学模型。系统将当前观测和目标观测编码为潜变量 $z_0$ 和 $z_g$ ，然后使用交叉熵方法 (CEM) 来搜索使预测展开与目标潜变量之间距离最小化的动作序列。

核心贡献

LpWorldModel (LpWM)： 一个利用 RDMReg 学习非负、精确稀疏潜表示，用于动力学建模和规划的 JEPA 框架。
用于潜线性化的稀疏表示： 形式化了这样一个直觉：高维稀疏编码可以近似具有线性转移的非线性动力学，从而为实践中的分布式稀疏编码提供了动机。
降低预测器复杂度： 实验证据表明，稀疏性降低了成功规划所需的预测器容量。在 PushT 环境中，当使用中等容量预测器时，稀疏 LpWM 的表现显著优于稠密 LeWM（使用 SIGReg）（成功率高出高达 57%），而在使用高容量预测器时表现相当。
模态分解的潜动力学： 发现学习到的稀疏表示将动力学组织成可解释的因子：
- 支撑集 (Support, 二进制)： 编码离散的动力学机制（例如接触状态或空间区域）。
- 量级 (Magnitudes)： 捕捉机制内的连续状态（例如精确位置）。

实验结果

环境

实验在以下环境中进行：

Wall (墙壁)： 通过门口的 2D 导航任务（简单动力学）。
PushT： 将 T 形块推向目标姿态的操控任务（复杂的、富含接触的动力学）。
Piecewise (分段)： 一个具有已知分段仿射动力学的合成 2D 导航环境（具有不同力场的区域）。
OGBench-Cube： 机械臂操控立方体（富含接触）。

性能发现

预测器容量 vs. 稀疏性：
- 在 Wall 环境中，即使是简单的线性预测器 (LTI) 在稠密和稀疏模型中都实现了接近 100% 的成功率，这表明动力学本身已经足够简单，稀疏性并未带来额外优势。
- 在 PushT 环境中，由于动力学更难建模，稀使用中等容量预测器（如 MLP $\circ$ LTI, MLP $\circ$ LTV）时，稀疏 LpWM 显著优于稠密 LeWM。成功率差距在 24% 到 57% 之间。
- 使用高容量预测器 (Deep-AdaLN) 时，性能差距缩小，这表明表达能力可以补偿稠密几何，但当模型容量受限时，稀疏性提供了显著优势。
对其他正则化方法的泛化性： LpWM 在多个预测器族中优于使用 VICReg（另一种抗坍缩方法）的稠密 JEPA 变体，表明稀疏性的益处超出了 LeWM 所使用的特定高斯目标。
可解释性 (Piecewise & OGBench-Cube)：
- 在 Piecewise 中，稀疏码的二进制支撑集能以近乎完美的准确度 (94–99%) 解码真实的区域身份，而量级则解码连续的智能体位置。支撑集的 Jaccard 指数在区域内保持高位，并在边界处急剧下降，从而恢复了底层的动力学机制结构。
- 在 OGBench-Cube 中，如果不添加额外约束，支撑集倾向于追踪快速的执行器运动。然而，添加时间 Jaccard (TJ) 损失会促进支撑集的稳定性，使支撑集追踪较慢的物理机制变化（如接触事件），而非仅仅是运动。

重要性与主张

论文声称，稀疏表示为控制中的潜空间几何提供了独特的优势：

简化动力学： 稀疏性可以使动作条件的潜动力学更容易建模，允许更简单的（低容量）预测器在稠密表示失败的地方实现成功的规划。
可解释性： 稀疏编码自然地将动力学分解为离散机制（由支撑集编码）和连续状态（由量级编码），提供了比稠密嵌入更具可解释性的结构。
实用性： 所提出的 LpWM 框架无需使用难以优化的离散类别潜空间，而是通过分布匹配实现连续、非负的稀疏编码，从而获得了这些益处。

作者得出结论，虽然稠密表示在具有足够表达能力的预测器下表现良好，但稀疏表示是更优的默认选择，因为它们可以降低预测器的复杂度并揭示可解释的动力学结构，特别是在复杂的、富含接触或分段动力学的环境中。