🤖 machine learning

WorldDiT: A Unified Diffusion Architecture for World and Action Modeling

WorldDiT 引入了一种统一的扩散 Transformer 架构，能够同时生成连续动作并预测未来的视觉帧，在不依赖大型预训练视觉语言模型的情况下，在多个机器人操控基准测试中实现了最先进的性能。

原作者： Sen Wang, R. Gnana Praveen, Bidhan Roy, Marcos Villagra

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Sen Wang, R. Gnana Praveen, Bidhan Roy, Marcos Villagra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个机器人不再仅仅遵循死板的指令，而是会真正“梦见”接下来会发生什么的场景。这是机器人学习的前沿领域，一个试图教会机器如何在混乱的现实世界中移动的领域。长期以来，最大的突破来自于一个特定的配方：拿一个已经掌握了所有语言和图像知识的庞大、预训练好的“大脑”（就像一个既能看又能读的超级智能百科全书），然后把它连接到一个机器人的手臂上。这确实有效，但就像是试图通过先训练一只小狗成为教授来教它捡球一样；这种方式沉重、昂贵，而且很难判断机器人究竟是在学习任务，还是仅仅在抄袭教授的笔记。科学家们提出的重大问题是：我们能否构建一个更小、更轻量，并且能够同时学习移动和预测未来的机器人大脑，而不需要那个巨大的、预加载的百科全书？

欢迎来到 WorldDiT，由 Bagel Labs 的研究人员设计的一种新型机器人大脑。请不要把 WorldDiT 看作是一个正在抄写教科书的学生，而要把它看作是一个通过观看自己未来的电影来学习绘画的年轻艺术家。WorldDiT 并不依赖于一个巨大的、预训练好的“视觉-语言模型”（一种能够描述图像和文本的庞大 AI），它使用一个统一的引擎同时完成两件事。首先，它计算出机器人手臂的下一步动作。其次，它尝试预测几秒钟后摄像机将看到什么。这就像一位棋手，不仅在规划下一步棋，还在脑海中预演未来三步的棋局，以确保计划合理。

研究人员在名为 LIBERO 的模拟世界中训练了这个系统，在这些世界里，机器人必须执行诸如堆叠积木或移动物体之类的任务。他们发现，WorldDiT 的规模竟然非常小（不到 4 亿个参数，而其他顶尖方法使用的是数十亿个参数），却能以惊人的准确度预测未来的摄像机画面和机器人的动作。事实上，在测试中，该机器人在四种不同类型的挑战中取得了约 95% 的成功率。最令人兴奋的部分是：它在没有使用大多数成功机器人所依赖的那种沉重的、预训练好的“骨干网络”的情况下，就实现了这一点。它证明了你不需要一个巨大的、预加载的大脑也能成为一个优秀的机器人；你只需要一个能在移动时学会预见未来的大脑。

“做梦”的机器人

那么，WorldDiT 究竟是如何工作的呢？想象一下你正在学习如何玩杂耍。如今大多数机器人就像是那些背诵了一千个杂耍大师视频的学员，正试图完全模仿他们。WorldDiT 则不同。它就像是一个蒙着眼睛但拥有水晶球的杂耍学生。

秘诀在于：每当 World-DiT 规划一个动作时，它也会同时尝试“梦见”摄像机在未来会看到什么。它观察机器人的当前状态、收到的指令（例如“拿起红色的积木”）以及过去几秒钟的视频。然后，它同时向自己提出两个问题：

“机器人下一步应该做什么？”
“如果我这样做，下一刻画面会变成什么样？”

研究人员称之为扩散 Transformer (diffusion transformer)。如果这听起来像是科幻术语，请将其理解为一个“去噪”过程。想象一张被静电噪声覆盖的照片。World-DiT 从一个关于机器人下一步动作和未来画面的完全随机、充满噪声的猜测开始。然后，通过一步步地清理这些噪声，不断精炼其猜测，直到找到一条通往目标的清晰、平滑的路径。它对机器人的动作和未来的图像都进行同样的操作。

这种神奇之处在于，这两项任务是相辅相成的。通过尝试预测未来的图像，机器人被迫理解世界的物理规律。如果它计划推一下积木，但它的未来“梦境”显示积木悬浮在空中，它就知道自己的计划错了。它必须调整动作，直到“梦境”与现实相匹配。这创造了一个反馈循环，机器人通过尝试预测接下来会发生什么，从而学习世界的规则。

结果：小大脑，大成功

研究人员在四个不同的模拟套件（可以把它们想象成四种不同的障碍赛道：空间、物体、目标和长程）中测试了 WorldDiT。他们将其与 24 种著名的机器人学习方法进行了对比。

关键点在于：WorldDiT 非常微小。它拥有大约 3.99 亿个参数（即它大脑中的“神经元”）。许多表现优异的机器人模型使用 10 亿 甚至 100 亿 个参数。通常情况下，更大的大脑意味着更好的性能，但 WorldDT 打破了这个规则。

在这些模拟实验中，WorldDiT 在所有四条赛道上的平均成功率达到了 94.9%。

空间 (Spatial)： 98.0% 成功率
物体 (Object)： 97.0% 成功率
目标 (Goal)： 92.8% 成功率
长程 (Long)： 91.8% 成功率

当你将这些结果绘制在图表上时，WorldDiT 位于“帕累托前沿 (Pareto frontier)”上。用通俗的话说，这意味着它是该房间里效率最高的机器人。如果你想要一个像 WorldDiT 一样聪明但使用更小大脑的机器人，你是找不到的。如果你想要一个像 WorldDT 一样小但比它更聪明的机器人，你也找不到。每一个表现优于 94.9% 的机器人，其规模都明显更大、更重。

为什么这很重要

论文明确反对了“必须使用大规模预训练视觉-语言模型 (VLA) 才能获得良好机器人控制”的观点。一段时间以来，该领域一直认为：“我们需要一个巨大的大脑来理解世界。”而 WorldDiT 说：“不一定。”

研究人员展示了通过将动作生成（移动）与世界建模（预测未来）相结合，单一的统一架构可以非常有效地学习控制机器人。他们不仅仅是提出了这个建议，还在数千个模拟回合中进行了测量。机器人不仅仅是“运气好”，它持续地超越了规模大得多的模型。

然而，这里有一个前提条件。这些结果来自于模拟环境（机器人生活的计算机游戏）。论文指出，虽然表现强劲，但这只是未来研究的一个基准。我们尚不知道这种“做梦”的机器人在一个真实的、混乱的厨房里——面对真实的重力和真实的湿滑地板时——是否能完美运作。但模拟实验的结果是一个强烈的暗示：我们未来或许能够制造出更小、更便宜、更高效的机器人——这些机器人通过想象未来，而非仅仅通过记忆过去来进行学习。

归根结底，WorldDiT 表明，一个聪明机器人的秘诀不在于拥有海量的知识库，而在于拥有一个能够在脑海中演练未来，从而在当下做出更好决策的大脑。

技术摘要：WorldDiT

问题陈述

近期机器人策略学习的进展通常依赖于将动作生成附加到大型预训练视觉语言模型（VLM）上。虽然这种方法利用了广泛的感知和语言理解能力，但它模糊了模型规模与架构的具体贡献。当一个策略包含数十亿个参数时，很难区分强大的控制性能究竟源于动作设计、预训练骨干网络，还是两者的结合。作者提出了这样一个问题：能否通过一种统一的扩散 Transformer（Diffusion Transformer）架构，将连续动作生成与辅助的未来视觉预测目标相结合，从而在不依赖大型预训练 VLM 作为动作骨干网络的情况下，实现强大的控制性能？

方法论：WorldDiT

WorldDiT 是一种统一的扩散 Transformer 架构，旨在将动作生成与视觉世界建模耦合。与使用大型 VLM 按顺序生成动作 Token 的自回归世界-动作模型不同，WorldDiT 采用单一共享的扩散 Transformer（DiT）骨干网络，同时对连续机器人动作和从未来摄像机帧中选取的归一化 RGB Patch 进行建模。

架构与编码

该系统采用了“冻结”与“可训练”的混合方法：

编码器： 使用冻结的视觉编码器（用于图像的 MAE 和用于文本的 CLIP）以及一个可训练的机器人状态编码器（分别对机械臂和夹持器状态进行编码）来处理输入。
Token 化： 系统构建了由以下部分组成的多模态 Token：
- 34 个视觉 Token（来自主摄像头和手腕摄像机的 34 个 Patch）。
- 1 个语言 Token（来自指令）。
- 1 个状态 Token（机器人状态）。
- 这在每个时间槽内产生了 36 个干净的上下文 Token。
骨干网络： 核心是一个共享的 DiT 骨干网络，深度为 4，隐藏层大小为 1024，拥有 16 个注意力头和 4 个寄存器 Token（register tokens）。它使用逐 Token 的 AdaLN-Zero 以及严格的块因果（block-causal）、动作安全注意力机制，确保动作查询无法读取带噪声的 RGB 目标。

训练目标：流匹配（Flow Matching）

WorldDiT 使用流匹配进行训练。训练窗口（ $N=10$ ）包含：

上下文（ $C=3$ ）： 包含语言、多视图 RGB 和机器人状态的三个观测步骤。
目标（ $H=7$ ）： 一个 7 步动作块（action chunk）和一个未来的归一化 RGB Patch 目标。

未来的视觉目标是通过在时间偏移量为 $H$ 的位置构造主摄像头和手腕摄像机的帧来构建的。每个 224x224 的帧被分为 16x16 的 Patch；从每个摄像头中保留 64 个均匀分布的 Patch，并通过各自的均值和方差进行归一化，最后拼接形成一个 128 Token 的目标（ $Y_{rgb}$ ）。

模型接收干净的上下文 Token 和带有高斯噪声的损坏目标 Token（动作和 RGB Patch）。它预测从噪声到干净目标的直线路径的流速度。总损失是动作速度损失和 RGB Patch 速度损失的加权和：
$L_{total} = w_{action}L_{action}^{flow} + w_{rgb}L_{rgb}^{flow}$
至关重要的是，RGB Patch 预测在训练期间作为辅助监督信号，但在推理阶段是不存在的。

推理

在部署时，系统采用收缩时界（receding horizon）模式运行：

统一的骨干网络接收直到当前步骤的历史信息（语言、观测、状态）。
不提供未来的 RGB 目标或动作标签。
模型通过对学习到的动作速度场进行数值积分（从高斯噪声 $\tau=0$ 到干净状态 $\tau=1$ ，共 20 个欧拉步），生成一个 7 步动作块。
执行预测出的动作块中的前三步动作，观察状态，并移动窗口进行重新规划。

核心贡献

统一架构： 一个单一的扩散 Transformer，共同学习连续动作生成和未来归一化 RGB Patch 预测，且无需大型预训练 VLM 骨干网络。
训练/部署设计： 一种新颖的设计，其中 RGB Patch 预测在训练期间提供监督，但在推理图中被移除，从而实现了紧凑的、仅限动作的部署路径。
十亿参数以下基准： 一个总参数量约为 3.99 亿（其中 1.35 亿可训练）的配置，为未来的规模化研究建立了强大的基准。

结果

作者在 LIBERO 操作基准测试上评估了 WorldDiT，具体涵盖了四个套件：Spatial（空间）、Object（物体）、Goal（目标）和 Long（长程，即 LIBERO-10）。

性能： WorldDiT 达到了以下平均成功率：
- Spatial: 98.0%
- Object: 97.0%
- Goal: 92.8%
- Long: 91.8%
- 总体平均值： 94.9%
帕累托前沿（Pareto Frontier）： 当针对总实例化模型参数进行绘图时，WorldDiT 位于报告的帕累托前沿上。在所有报告了四个套件结果的方法中，每一个具有更高平均成功率的方法都使用了更多的总参数。反之，具有相似或更少参数的方法报告了较低的成功率。
对比： WorldDiT 优于其他不使用大型预训练 VLM 骨干网络的方法（如 DreamVLA、FlowVLA、Octo），并且尽管参数量显著减少，仍能与使用此类骨干网络的方法进行有力竞争。

重要性与主张

论文声称，WorldDiT 证明了即使不在动作骨干网络中放置大型预训练视觉语言模型，也能获得强大的基准性能。通过将动作生成与未来视觉预测目标耦合，该架构实现了高参数效率的权衡。

作者将 WorldDiT 定位为一个“强大的十亿参数以下基准”，用于未来的规模化研究。他们认为，这一结果支持了统一的世界与动作建模，这是一种跨越模型容量、数据多样性和部署设置的紧凑基础。论文也谦虚地指出，虽然这些结果表征了十亿参数以下的权衡，但未来仍需研究这种权衡是否能在更大规模下持续存在，以及归一化未来 RGB 目标具体如何塑造控制。作者还强调了将共享的流匹配公式分解为针对异构硬件的独立训练专家模型的潜力。