💻 computer science

Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model

本文提出了 DUST，一种双流扩散框架，通过引入世界模型增强视觉 - 语言 - 动作模型，以克服模态鸿沟并提升机器人策略学习，借助跨模态因果学习与异步采样，在模拟和真实世界任务中均实现了显著的性能提升。

原作者： John Won, Kyungmin Lee, Huiwon Jang, Dongyoung Kim, Jinwoo Shin

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： John Won, Kyungmin Lee, Huiwon Jang, Dongyoung Kim, Jinwoo Shin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人做饭。你希望它不仅能听从你的语音指令（“把洋葱切碎”），还能理解切碎洋葱后会发生什么。洋葱会飞起来吗？它会留在碗里吗？

目前的机器人“大脑”（称为视觉 - 语言 - 动作模型，或 VLAs）在听和看方面表现出色，但它们往往像只盯着汽车正前方道路的司机。它们知道如何转动方向盘，但并没有真正“想象”未来的景象。它们难以预测自己的行动将如何改变周围的世界。

其他研究人员试图通过强迫机器人在同一时刻预测未来并决定行动来解决这个问题，使用同一个“大脑”。但这就像试图用同一只手同时绘制一幅细致的风景画和写一首诗；这两项任务截然不同，以至于它们会互相干扰。机器人在手臂平滑、简单的动作与视频图像中混乱、复杂的细节之间感到困惑。

现在出现了DUST（双流扩散），这是作者提出的一种新框架。以下是其工作原理，使用简单的类比：

1. 双轨列车系统（双流）

DUST 没有强迫机器人在一个巨大的大脑中完成所有事情，而是为它提供了两条独立的轨道：

轨道 A（动作流）： 这条轨道处理机器人的运动。它就像一位指挥家，管理着平滑、有节奏的舞蹈。它不需要担心桌面的纹理或房间的灯光；它只需要知道如何移动。
轨道 B（视觉流）： 这条轨道处理“未来的画面”。它就像一位电影导演，想象接下来几秒钟的场景会是什么样子。它处理复杂、高清的细节。

通常，这两条轨道并行运行。但 DUST 拥有一座特殊的桥梁（称为“跨模态注意力”层）将它们连接起来。这使得“电影导演”可以告诉“指挥家”：“嘿，如果你把杯子移到那里，它可能会洒出来！”而指挥家可以回答：“好的，我会慢一点移动。”它们在分享知识的同时不会互相纠缠。

2. “噪声”游戏（解耦训练）

为了训练这两条轨道协同工作，研究人员使用了一种涉及噪声（静电或杂讯）的巧妙训练游戏。

想象一下，你试图同时教某人识别一张脸（视觉）和一个声音（动作）。
在旧方法中，你会以完全相同的方式在同一时间模糊人脸并扭曲声音。
在DUST中，他们玩一种“混合与匹配”的游戏。有时他们展示一张清晰的脸，但声音完全被扰乱；其他时候，他们展示清晰的声音，但人脸模糊。
这迫使机器人深入理解因果关系。它学会了：“如果我看到这个特定的动作，我就应该预期那个特定的视觉结果”，即使数据很混乱。它教会机器人理解世界的物理规律，而不仅仅是记忆模式。

3. 异步之舞（推理时的扩展）

当机器人实际执行任务（推理）时，这两条轨道不需要以相同的速度移动。

视觉很复杂。它就像绘制一幅杰作；需要许多微小、细致的笔触才能确保细节正确。
动作更简单。它就像轻敲一下鼓；不需要那么多步骤就能把握节奏。
DUST 允许视觉轨道进行更多步骤来细化其对未来的预测，而动作轨道则进行较少步骤来决定做什么。这就像一场舞蹈，其中一位舞伴进行缓慢、复杂的旋转，而另一位则进行快速的步伐。这节省了时间，使机器人更聪明，而不会过度减慢其速度。

他们发现了什么？

作者在三个方面测试了这种"DUST"机器人：

在模拟中（RoboCasa 和 GR-1）： 他们将机器人放入虚拟厨房和虚拟人形身体中。DUST 以显著优势（高达 6% 的提升）击败了所有之前的最佳机器人，尤其是在给予其较少的学习数据时。
在现实世界中（Franka 机械臂）： 他们将机器人安装在真实实验室中的真实金属机械臂上。DUST 在抓取物体和使用工具等任务上的成功率比竞争对手高出 10%。
从视频中学习： 他们向 DUST 展示了数千小时的视频，这些视频没有包含任何机器人动作（只有人们在移动物体）。DUST 从这些视频中学习，然后将这些知识迁移到真实机器人上，使其工作表现大幅提升。

结论

DUST 是一种教机器人“提前思考”的新方法。它没有将所有内容塞进一个混乱的大脑，而是为机器人提供了两个专门的助手——一个负责移动，一个负责想象未来——它们不断相互沟通。这使得机器人能够更好地理解物理世界，减少错误，并加快学习速度，无论是在计算机模拟中还是在现实世界的厨房里。

技术摘要：用于世界模型增强的视觉 - 语言 - 动作模型的双流扩散

1. 问题陈述

视觉 - 语言 - 动作（VLA）模型通过利用互联网规模的视觉 - 语言模型（VLM）的感知 grounding，已成为通用机器人策略学习的一种强大范式。然而，标准的 VLA 往往缺乏对底层物理过程的显式理解，难以建模其动作如何改变环境。

近期尝试通过引入世界建模目标（联合预测未来状态和动作）来弥补这一差距的努力，面临着显著的架构挑战：

统一联合扩散：将动作和视觉 token 拼接至单一潜在空间的方法，常因模态差距而失败。它们难以协调低维、时间平滑的动作轨迹预测与高维、空间复杂的视觉数据预测。
因果/单向设计：将模态分离到不同模型中的方法（例如，基于世界模型输出条件化地生成动作），虽促进了模态特定学习，但本质上阻碍了双向知识转移，限制了模型学习跨模态因果关系的能力。

核心挑战在于设计一个框架，在保持模态特定保真度的同时，实现有效的跨模态整合与因果推理。

2. 方法论：双流扩散（DUST）

作者提出了DUST（双流扩散），这是一种旨在解决跨模态整合与模态特定保真度之间权衡的世界模型增强型 VLA 框架。

架构

DUST 基于多模态扩散 Transformer（MMDiT）构建，为动作和观测（未来视觉嵌入）维护独立的 token 流，同时促进跨模态交换：

双流：动作和视觉 token 在 MMDiT 块内通过独立的路径传播。
跨模态注意力：流仅在共享的跨模态注意力层中交互，允许信息交换而不强制统一的潜在表示。
模态特定处理：在共享层之后，流被路由到模态特定的 DiT 块进行专门的去噪。视觉路径专注于重建语义一致的未来嵌入，而动作路径则优化低级运动控制。
条件化：模型基于当前观测和任务指令，从冻结的 VLM 骨干网络（Eagle-2）提取的语义特征进行条件化。

训练算法：解耦流匹配

DUST 采用解耦扩散训练算法来学习双向因果依赖：

独立噪声调度：与所有 token 共享噪声调度的标准扩散不同，DUST 对每种模态应用独立的噪声扰动（动作为 $\tau_A$ ，视觉为 $\tau_o$ ）。
双向因果学习：通过让模型接触各种噪声配置（例如，干净的未来状态配合完全加噪的动作，或反之），模型学习正向动力学（“此动作的后果是什么？”）和逆向动力学（“导致此状态的动作是什么？”）。
损失函数：模型通过由模态特定流匹配损失组成的联合目标进行优化：
$L_{Joint}(\theta) = L_A(\theta) + \lambda_{WM} L_{WM}(\theta)$
其中 $L_A$ 是动作损失， $L_{WM}$ 是世界建模损失（预测未来观测嵌入而非原始像素，以避免高频噪声）。

推理：异步联合采样

为了解决模态间的计算不对称性（高维视觉需要更多步数，而低维动作收敛更快），DUST 引入了一种异步采样策略：

测试时扩展：视觉 token 在每一步扩散中更新，而动作 token 更新频率较低（每 $q$ 步更新一次）。
机制：这使得视觉表示能够进行更细粒度的细化，同时避免了因对动作进行过多去噪步骤而导致的性能下降或延迟。

3. 主要贡献

双流架构：一种基于 MMDiT 的新型设计，为动作和观测维护独立流，实现了跨模态知识转移，而无需强制统一的潜在空间。
解耦训练：一种利用每种模态独立噪声调度的训练算法，迫使模型学习动作与未来状态之间稳健的双向因果关系。
异步采样：一种测试时扩展方法，通过以不同速率演化视觉和动作 token，平衡了推理效率与准确性。
迁移学习能力：证明了 DUST 能够有效利用异构数据源，包括机器人 - 人类混合数据的联合训练，以及在无动作视频数据集上的预训练。

4. 实验结果

作者在模拟基准（RoboCasa, GR-1）、真实世界任务（Franka Research 3）以及迁移学习场景中对 DUST 进行了评估。

模拟基准：
- RoboCasa：在各种任务类别和演示规模（100 到 1000 次演示）下，DUST 的成功率比最先进基线（包括 GR00T-N1.5 和 FLARE）高出6%。
- GR-1：DUST 在抓取放置和关节任务上的表现均比基线高出5-6%。
- 测试时扩展：增加视觉去噪步数（同时保持动作步数固定），使成功率额外提升了2–5%。
真实世界性能：
- 在 Franka Research 3 机器人执行的 7 项多样化任务（抓取放置、插入、工具使用）中，DUST 的胜率比基线高出10%，证明了其稳健的物理 grounding 能力。
迁移学习：
- 联合训练：当在 RoboCasa、GR-1 和 EgoDex（人类）数据的混合集上训练时，DUST 显示出比基线显著的提升，有效弥合了异构机器人与人类数据集之间的差距。
- 预训练：在动作-free 视频数据（BridgeV2）上预训练，随后在机器人数据上进行微调，相比无预训练的训练方式，成功率提高了8.4%，突显了被动视频数据对策略学习的效用。
消融研究：
- 移除双流结构或解耦噪声调度分别导致性能下降 8% 和 12%，证实了这两个组件的必要性。
- 使用语义嵌入（SigLIP-2）作为世界建模目标被证明优于像素级重建（Flux.1 VAE），表明高频视觉细节通常与控制无关。

5. 意义与主张

本文主张，DUST 通过维护独立的模态流同时实现跨模态交换，成功解决了动作与观测联合建模中的固有冲突。通过解耦噪声调度，模型学习到了有意义的因果依赖，而非表面相关性。

作者强调，DUST 提供了一个统一的框架，用于利用异构数据（机器人与人类）扩展 VLA 模型，并利用无动作视频进行预训练，从而解决了收集机器人演示成本高昂的问题。异步采样策略进一步提供了一种实用的测试时扩展机制，允许用户根据任务需求在推理速度与预测准确性之间进行权衡。结果表明，当设计时考虑到模态特定保真度，世界模型增强的 VLA 可以显著提升模拟和真实环境中的机器人策略学习。