🤖 machine learning

Learning Abstract World Models with a Group-Structured Latent Space

本文提出了一种通过融入几何先验和具有群结构的潜在空间来编码环境对称性以学习抽象世界模型的框架，从而在多种三维环境中实现了更高的预测精度、更优的下游强化学习性能以及更解耦的表征。

原作者： Thomas Delliaux, Nguyen-Khanh Vu, Vincent François-Lavet, Elise van der Pol, Emmanuel Rachelson

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Thomas Delliaux, Nguyen-Khanh Vu, Vincent François-Lavet, Elise van der Pol, Emmanuel Rachelson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何在新城市中导航。如果你只是给它展示数百万张每个街角的照片，它或许最终能学会，但这将耗费永恒的时间并占用海量内存。这就像试图通过逐字逐句阅读每一本书来背诵整个图书馆，却不去理解故事情节一样。

本文提出了一种更聪明的方法来教导机器人：赋予它一张尊重城市规则的地图。

以下是他们想法的分解，使用简单的类比：

1. 问题：“像素”陷阱

大多数 AI 机器人通过观察原始数据（如高清视频帧/像素）来学习。为了理解世界，它们试图将这些数百万像素压缩成一个较小的“抽象”摘要。

问题所在： 在没有指导的情况下，机器人将每一个微小的变化都视为独特的。如果你向左转 1 度，它会看到一个全新的世界；如果你向左转 359 度（几乎是一整圈），它又会看到一个完全不同的世界。它没有意识到转 360 度会让你回到起点。它必须每次都重新学习这个“循环”。

2. 解决方案：“分组”地图

作者建议构建机器人的内部地图（称为潜在空间），并内置几何规则或先验。

类比： 想象一个视频游戏角色在平坦的网格上行走。如果它走出右边缘，它会立即出现在左边缘。这是一个“环绕”世界（就像经典游戏《小行星》）。
旧方法： 机器人试图通过观察这一现象发生一百万次，来死记硬背“右边缘”和“左边缘”是同一个位置。
新方法： 作者告诉机器人：“嘿，你的地图实际上是一个甜甜圈（环面）。”在甜甜圈上，如果你从右侧走出，自然会循环回到左侧。机器人不需要记忆这种连接；地图的形状迫使它理解世界是相连的。

3. 工作原理：“对称性”工具

本文使用称为群论的数学概念来描述这些形状。

对称性： 想象一个旋转的陀螺。如果你旋转它，陀螺从不同角度看起来都是一样的。本文教导机器人识别“旋转”是一种遵循可预测模式的特定运动类型。
“群作用”： 这只是一个花哨的术语，指代一本规则手册。机器人获得了一本规则手册，上面写着：“如果你应用动作 A（向右转），你就会沿着地图上的这条特定曲线移动。”
混合混乱与整洁： 现实生活不仅仅是完美的圆圈。有时你会转弯（对称性），有时你会走过一座独特的建筑（无结构）。作者的方法之所以巧妙，是因为它构建了一张拥有两条车道的地图：
1. 一条对称车道（如用于转弯的圆形赛道），规则严格且可预测。
2. 一条自由车道（如直路），用于那些不遵循模式的混乱、独特的细节。
  这使得机器人的大脑保持有序，将“世界规则”与“随机事物”区分开来。

4. 结果：学得更快，看得更远

研究人员在三个层面上测试了这种方法：

简单网格： 机器人在一个环绕的正方形板上移动。
3D 甜甜圈： 机器人在一个呈环面（甜甜圈）形状的表面移动。
第一人称游戏（VizDoom）： 机器人玩视频游戏，通过摄像头观察世界（高度复杂，如同现实生活）。

发生了什么？

更好的泛化能力： 当机器人仅用少量样本进行训练时，它能够预测它在从未见过的情况下会发生什么。例如，如果它学会了向右转一点点，它就能预测向右转很多会发生什么，因为“甜甜圈地图”告诉它路径是连续的。
所需数据更少： 与没有这种特殊地图的机器人相比，它用少得多的训练样本就学会了相同的技能。
更清晰的思维： 机器人的内部“思想”（表征）变得更加简单。它不会感到困惑；它清晰地将“我正在转弯”与“我正在向前移动”区分开来。

核心结论

与其强迫机器人死记硬背街角的每一张照片，不如给机器人一张骨架地图，这张地图已经知道世界是如何环绕和重复的。通过将机器人的学习拟合到这个预先存在的形状中，它能学得更快，犯错更少，并且即使面对复杂的 3D 视频游戏，也能理解世界运动的“大局”。

注意： 本文严格专注于改进机器人如何在模拟环境（如网格世界和视频游戏）中学习预测其环境并执行任务。它并未讨论将其应用于医疗诊断、现实世界中的自动驾驶汽车或其他具体的现实行业。

技术摘要：利用群结构潜在空间学习抽象世界模型

问题陈述

学习马尔可夫决策过程（MDP）有意义的抽象模型，对于提升强化学习（RL）中从有限数据泛化的能力至关重要。尽管现有的世界模型学习方法成功地将高维数据嵌入到低维抽象空间以提高样本效率，但最先进的方法通常需要大量训练数据才能实现超越人类的表现。一个关键局限在于缺乏对环境动力学中固有的已知几何结构（对称性）的整合。若无此类先验，智能体可能难以泛化到未见场景，或需要过量数据来学习简单的对称性，例如旋转或平移不变性。

方法论

作者提出了一种框架，该框架对所学转移模型的低维表示流形施加几何先验。核心方法论包括：

群结构潜在空间：作者不再将抽象状态空间 $Z$ 视为标准的欧几里得向量空间，而是将其建模为商空间（例如 $\mathbb{R}/k\mathbb{Z}$ ）或此类空间的乘积。这一选择反映了环境的底层对称群（例如用于旋转的循环群）。
群作用作为转移动力学：转移模型 $\tau: Z \times A \to Z$ 被约束为通过群作用运行。具体而言，下一个潜在状态被预测为当前状态与学习到的转移向量通过群运算 $\oplus$ 结合的结果：
$\hat{z}_{t+1} = z_t \oplus \Delta(z_t, a; \theta_{trans})$
对于像 $\mathbb{R}/k\mathbb{Z}$ 这样的商空间，该运算通过模运算实现，自然地编码了周期性边界条件。
解耦表示：为了处理同时包含对称（结构化）和非对称（非结构化）特征的环境，该框架促进解耦。对转移向量 $\Delta$ 应用稀疏正则化，强制那些在特定动作下应保持不变的特征为零。这是通过基于映射 $\sigma(a)$ 屏蔽转移向量的特定坐标来实现的，该映射定义了动作 $a$ 影响哪些潜在维度。
学习目标：该模型使用自监督对比学习目标（InfoNCE 损失）进行训练，以将预测的转移与真实值对齐，并结合奖励预测损失和体积正则化损失，以保持抽象空间的紧凑性和可解释性。与之前通过权重共享网络架构强制等变性（这可能计算成本高昂）的方法不同，该方法直接在潜在空间几何中强制结构。

主要贡献

潜在空间中的几何先验：本文展示了如何通过选择适当的潜在空间（商空间）和相应的群作用来整合已知的对称结构（例如旋转和平移对称性），而不是修改神经网络架构。
处理混合对称性：该框架成功学习了结合结构化（对称）和非结构化特征的表示，使模型能够扩展到复杂环境，例如并非所有动力学都具有对称性的第一人称 3D 视角。
改进的泛化能力：与完全非结构化的基线相比，该方法产生了更简单、更解耦的表示，能够更好地泛化到未见转移，并需要更少的训练样本。
下游 RL 性能：学习到的抽象模型作为下游 RL 任务的有效先验，显著提高了低数据 regime 下的样本效率。

实验结果

作者在多个环境中评估了其方法：

玩具 MDP（通道与环面）：在简单的循环网格世界和环面 MDP（两个循环群的乘积）中，群结构模型准确预测了非结构化基线失败的未见转移。该模型仅使用 2 个潜在维度就恢复了正确的拓扑结构（例如，将潜在空间映射到 $\mathbb{R}^3$ 中的环面）。
MiniGrid（俯视视角）：该方法成功将方向（建模为循环群）与位置（建模为欧几里得空间）解耦，从而产生了乘积空间表示 $\mathbb{R}/2\pi\mathbb{Z} \times \mathbb{R}^2$ 。
VizDoom（第一人称 3D 视角）：在具有 RGB 输入的高维环境中，该模型将复杂的视觉数据映射到 3 维潜在空间。它正确捕捉了旋转的循环性质和移动的平移性质，在泛化指标（Hits@k、平均倒数排名）和下游 RL 任务中优于基线。
定量指标：在所有环境中，"AWM + 几何先验”模型在未见转移的泛化方面显著优于非结构化基线（无先验的 AWM）和其他方法（PRAE、旋转矩阵），特别是在低数据 regime 下。在下游 RL 任务（环面、MiniGrid、VizDoom）中，使用几何先验的智能体以更少的训练步数获得了更高的累积奖励。

意义与主张

本文主张，通过选择潜在空间和群作用来利用几何先验，可以在没有等变神经网络计算开销的情况下，学习更具样本效率和泛化能力的世界模型。作者强调，他们的方法允许灵活地组合对称和非对称特征，使其适用于复杂的现实场景，如 3D 第一人称游戏。这项工作表明，在抽象表示中尊重环境的底层对称性会导致“更简单、更解耦的表示”，进而促进更好的预测和规划。作者提供了完整代码以确保可复现性。