🤖 AI

Accurate and Efficient World Modeling with Masked Latent Transformers

本文介绍了 EMERALD，这是一种高效的世界模型，它将空间潜状态与 MaskGIT 预测相结合，以在潜空间中生成准确的轨迹，通过在 1000 万步内超越人类专家，在 Crafter 基准测试上实现了最先进的性能。

原作者： Maxime Burchi, Radu Timofte

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Maxime Burchi, Radu Timofte

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩像《我的世界》（Minecraft）这样复杂的视频游戏。为了做到这一点，机器人需要一个“世界模型”——一个能帮助它预测如果采取某种行动，接下来会发生什么的心理地图。

长期以来，最优秀的机器人（比如 Dreamer 系列）通过将游戏世界压缩成微小的、抽象的摘要来进行学习。这就像是试图通过只保留几张模糊的快照来记住一部高清电影。虽然这种方式很快，但机器人经常会错过关键细节，比如洞穴里隐藏的钻石，或者从身后悄悄靠近的骷髅怪。因为这些快照很模糊，机器人经常会犯错。

另一方面，更新的方法尝试在记忆中保留完整的、高清的视频。这让机器人看得非常清晰，但由于数据量过于庞大且运行缓慢，机器人无法通过足够快的速度来掌握游戏。

走进 EMERALD：“聪明的素描画家”

论文作者们创造了一个全新的机器人大脑，叫做 EMERALD。他们找到了一种兼顾高准确度和高速度的方法。以下是他们实现这一目标的方式，我们使用一些简单的类比：

1. “分组式”记忆（空间潜状态）

EMERALD 没有将整个游戏画面挤压成一个微小的点（像之前的各种方法那样），而是将屏幕分解成许多小方块组成的网格，就像马赛克一样。

类比： 想象你在向朋友描述一张森林的照片。你不会只说“那是一个绿色的团块”，你会说：“左边有一棵树，中间有一条河，右边有一只狐狸。”
益处： 这使得机器人能够追踪特定的细节（比如狐狸或钻石），而不需要存储整张高清图像。它记住的是世界的“结构”，而不只是像素。

2. “填空”技巧 (MaskGIT)

这是核心秘诀。当机器人尝试想象未来（预测下一帧）时，它并不会试图按顺序从头开始绘制每一个像素。那样做太慢了。相反，它使用了一种叫做 MaskGIT 的技术。

类比： 想象你在玩“填词游戏”（Mad Libs）或填字游戏，其中有些单词缺失了。
1. 机器人观察当前的场景。
2. 它猜测缺失的部分（被遮盖的标记/tokens）可能是什么。
3. 它一次性地（并行地）填补这些空白，而不是一个接一个地填。
4. 如果某个猜测看起来很奇怪，它会在下一轮快速修正它。
益处： 这就像一位画家，他会先一次性勾勒出整幅画的轮廓，然后快速完善细节，而不是一次只画一个微小的点。这既快又精准。

3. “做梦”阶段

就像以前的 Dreamer 机器人一样，EMERALD 通过“做梦”来学习。它在自己的脑海中（在其潜空间内）模拟成千上万种可能的未来，而无需实际接触游戏。

类比： 在去参加派对之前，你可能会在脑海中预演：“如果我打招呼，他们可能会微笑；如果我弄掉了饮料，他们可能会笑。”你在脑海中进行这些练习，这样你就不用真的把饮料洒出来来学习教训。
区别： 由于 EMERALD 的“梦境”非常清晰（得益于马赛克记忆和填空技巧），它比那些在模糊快照中做梦的机器人学得更快，也犯错更少。

结果：击败人类

研究人员在 Crafter 基准测试上对它进行了测试，这是一个需要长期记忆和敏锐观察力的困难游戏。

得分： EMERALD 得分为 58.1%，而顶尖的人类专家得分仅为 50.5%。
壮举： 这是第一个仅通过 1000 万步训练就能击败人类专家的算法。
成就： 它成功解锁了游戏中所有 22 项可能的成就，包括收集钻石和制作铁剑等高难度任务。

为什么这很重要

该论文声称，EMERALD 证明了你不需要在“快”与“准”之间做选择。通过使用“空间”网格进行记忆和使用“掩码（masking）”技巧进行预测，机器人可以清晰地观察世界并快速学习。

作者还指出，这种方法在旧游戏（如 Atari）上也表现出色，证明了它是一个通用的工具，可以用来教机器人理解它们所处的世界。他们已经发布了代码，供他人尝试。

简而言之： EMERALD 是一个通过高清“做梦”来学习的机器人，但它做得如此高效，以至于在复杂的生存游戏中击败了人类专家。

技术摘要：基于掩码潜变量 Transformer 的高精度且高效的世界模型

问题陈述
基于模型的强化学习（RL）算法，特别是 Dreamer 系列，通过在潜在世界模型中训练智能体生成的模拟轨迹，取得了显著成功。然而，存在一个关键的局限性：标准方法（如 DreamerV3）中潜在空间的压缩特性往往会导致关键环境细节的丢失，从而降低智能体在复杂环境（如 Crafter）中的表现。相反，近期旨在提高准确性的方法（如 $\Delta$ -IRIS 和 DIAMOND）通常需要直接从重建的像素图像中训练智能体。这种方法降低了训练效率，并阻碍了智能体利用世界模型所学习到的丰富内部表示（例如长期记忆）。挑战在于开发一种既能精确捕捉细粒度细节，又能在训练和推理中保持高效的世界建模方法。

方法论：EMERALD
作者提出了 EMERALD（Efficient MaskEd latent tRAnsformer worLD model，高效掩码潜在 Transformer 世界模型），这是一种旨在解决准确性与效率之间权衡的 Transformer 架构强化学习算法。该架构由三个主要部分组成：

基于 MaskGIT 的空间潜在状态：与以往将观测值压缩为单个向量的方法不同，EMERALD 使用了空间潜在状态（ $z_t$ ）。该状态被表示为一个 Token 栅格，而非扁平向量。为了高效解码这些 Token，模型采用了 MaskGIT（掩码生成式图像 Transformer）。MaskGIT 没有使用缓慢的自回归顺序解码，而是采用了并行调度解码。在训练期间，Token 根据余弦调度进行掩码处理，模型并行预测它们。在想象（推理）过程中，模型通过多个步骤（例如 $S=3$ ）不断优化预测，以确保连贯性并避免幻觉。
时间 Transformer 网络：模型集成了时间掩码 Transformer（TSSM）来处理长程依赖关系。它通过掩码自注意力机制处理空间潜在状态，以生成时间隐藏状态（ $h_t$ ）。这取代了 DreamerV3 中使用的基于 GRU 的循环状态空间模型（RSSM），从而在不产生循环处理瓶颈的情况下，更好地建模历史上下文。
潜在空间 Actor-Critic 学习：智能体（Actor 和 Critic 网络）完全在世界模型的内部表示（潜在空间）中进行训练。这使得智能体能够受益于世界模型学习到的记忆和空间特征，而不像基于像素的方法那样需要从重建图像中重新学习表示。

训练目标最小化了一个复合损失函数，包括：

掩码损失 ( $L_{mask}$ )：目标潜在状态与预测的掩码 Token 之间的 KL 散度。
动力学损失 ( $L_{dyn}$ )：用于确保编码器表示可以从隐藏状态中被预测出的正则化项。
重建损失 ( $L_{rec}$ )：输入观测值的像素级重建。
奖励与持续损失 ( $L_{rew}, L_{con}$ )：预测环境奖励和回合持续标志。

核心贡献

新颖架构：引入了一种结合了空间潜在状态与 MaskGIT 预测的世界模型，实现了高保真轨迹生成，且无需承担自回归解码的高昂计算成本。
效率与精度：该方法实现了近乎完美的图像重建（如低像素误差以及对钻石和骨骼箭头等细节的保留所证明的那样），同时通过将智能体保持在潜在空间内，维持了极高的训练效率。
最先进的性能：该方法在 Crafter 基准测试上设定了新标杆，超越了以往的模型驱动方法以及人类专家水平。

结果
在 1000 万环境步数的预算下，在 Crafter 基准测试上的评估结果如下：

成就得分：EMERALD 达到了 58.1% 的得分，超过了之前的最优水平（DreamerV3 XL 为 39.6%），并超过了人类专家表现（50.5%）。
成就覆盖率：智能体在评估期间成功解锁了全部 22 项成就至少一次，展示了强大的长期规划和感知能力。
训练效率：EMERALD 在 RTX 3090 上达到了 27 FPS 的采集速度，这明显快于 $\Delta$ -IRIS（12 FPS）和 DreamerV3 XL（23 FPS），同时在得分上也优于它们。
消融实验：实验证实，空间潜在状态与 Transformer 架构的结合至关重要。移除空间潜在状态或使用单步解码会显著降低性能和预测准确性。

意义与主张
论文声称，EMERALD 通过解决世界模型准确性与训练效率之间的紧张关系，代表了模型驱动强化学习领域的重大进展。通过利用 MaskGIT 在空间潜在空间中进行并行解码，该方法使智能体能够感知此前在压缩向量表示中丢失的关键环境细节。作者强调，这是第一个在 1000 万步内超过人类专家表现的方法。此外，这项工作证明了带有掩码注意力的 Transformer 架构可以有效地建模长程依赖和空间关系，为处理复杂、高内存需求的领域提供了一种可扩展的替代方案。作者将这项工作定位为迈向更强大的自主智能体（如在 Minecraft 等复杂领域中）的重要一步。