💻 computer science

NoiseGate: Learning Per-Latent Timestep Schedules as Information Gating in World Action Models

该论文提出了 NoiseGate，这是一种面向世界动作模型的新颖框架，它用可学习的潜在变量门控策略取代了共享的时间步调度，以动态调节用于动作生成的未来观测潜在变量的可靠性，从而提升在多样化机器人操作任务上的性能。

原作者： Wen Huang, Haoran Sun, Yongjian Guo, Yunxuan Ma, Haoran Li, Jing Long, Zhouying Mo, Zhong Guan, Yucheng Guo, Shuai Di, Junwu Xiong

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wen Huang, Haoran Sun, Yongjian Guo, Yunxuan Ma, Haoran Li, Jing Long, Zhouying Mo, Zhong Guan, Yucheng Guo, Shuai Di, Junwu Xiong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教机器人执行一项任务，比如拿起一个杯子并将其放在桌子上。为此，机器人使用“世界动作模型”（WAM）。将这个模型想象成一位电影导演，他同时编写剧本（机器人的动作）并逐帧构想未来的场景（世界将呈现的样子）。

在传统机器人导演中，有一条严格的规则：电影中的每一帧未来画面必须以完全相同的速度被清晰化。

如果机器人即将抓取杯子，它会构想接下来 10 秒的视频。在旧方法中，模型试图让“手接触杯子”（2 秒后）和“手将杯子放在桌子上”（8 秒后）的图像在同一时刻达到同等清晰度。这就像试图用单个固定焦距旋钮，同时对焦一朵花的特写和远处的山峰。论文指出，这种做法效率低下，因为未来的某些部分对当下的决策比其他部分更为重要。

问题：“一刀切”的时间表

作者将旧方法称为“共享标量时间表”。这就像一个交通信号灯，无论车辆是缓慢行驶的卡车还是快速的跑车，所有汽车都在完全相同的时刻变绿灯。

在机器人的大脑中，这意味着每一个构想的未来时刻都被视为同等可靠。但在现实中，如果机器人对某个棘手动作（例如抓取一个滑腻的物体）感到不确定，那么最好让该特定未来时刻保持“模糊”（不确定）稍长一段时间，同时先清晰化接下来的即时步骤。旧系统强制所有事物要么同时清晰，要么同时模糊，这可能导致机器人做出过度自信、过早的错误决策。

解决方案：NoiseGate

论文引入了NoiseGate，这是一个新系统，充当机器人想象力的智能、自适应编辑器。

NoiseGate 不再使用单一固定时间表，而是学会为每一帧未来画面单独分配独特的“噪声水平”（或模糊水平）。其工作原理如下，使用一个简单的类比：

“信息门”类比：
想象机器人的决策过程是一个挤满人（“动作令牌”）的房间，他们试图决定该做什么。他们正看着一面显示未来可能性的屏幕墙（“视频潜在变量”）。

旧方法： 所有屏幕同时被清晰化。如果某块屏幕显示了一幅令人困惑、模糊的未来灾难图像，房间里的人可能会因为被迫过早地看到那幅模糊图像而恐慌，从而做出糟糕的决策。
NoiseGate 方法： 系统拥有一个守门人（门控策略网络）。这位守门人观察情况并决定：“嘿，显示 2 秒后抓取杯子的屏幕超级重要；让我们立即将其清晰化。但显示 5 秒后放置桌子的屏幕仍然朦胧且不确定；让我们暂时保持其模糊，以免分散我们的注意力。”

通过让那些不太重要或不确定的未来帧保持“噪声”（被屏蔽），守门人防止机器人过度依赖不可靠的预测。只有当信息准备好时，它才允许“可靠”的信息通过大门。

如何训练它

研究人员并没有硬编码这些规则。他们使用了一个三步训练过程：

基底： 首先，他们教导机器人的大脑，它可以处理不同帧的不同模糊级别（借鉴了称为“扩散强制”的技术技巧）。
守门人： 他们添加了一个小型、轻量级的 AI（门控策略网络），其唯一的工作是决定在每一步多少未来帧需要被清晰化。
奖励： 他们没有告诉守门人如何去做。相反，他们让机器人在模拟器中尝试任务。如果机器人成功了（例如，成功放置了杯子），守门人就会获得奖励。如果失败，则没有奖励。随着时间的推移，守门人学会了：“哦，对于这项特定任务，我需要让‘抓取’帧保持模糊更长时间，但对于那个任务，我需要快速将其清晰化。”

结果

在名为RoboTwin的基准测试中（机器人需要在随机、杂乱的环境中操作物体），NoiseGate 的表现优于旧方法。

它不仅仅是让机器人在所有方面都略有提升；它特别帮助了那些机器人需要谨慎处理的棘手情况。
在一项视觉测试中，旧机器人因为对其模糊的未来预测“过度自信”而过早尝试抓取杯子。NoiseGate 将该预测保持轻微模糊（不确定），直到机器人真正准备好，从而实现了成功的抓取。

总结

NoiseGate 是一种让机器人“想象力”变得灵活的方法。它不再强制每一个未来想法在同一时间变得清晰，而是学会对信息进行门控，将不确定的未来保持模糊直到需要它们，并提前清晰化关键时刻。这防止了机器人基于对未来的过早或不可靠猜测而犯下错误。

技术摘要：NoiseGate——在世界动作模型中将每潜在变量时间步调度重构为信息门控

1. 问题表述

世界动作模型（WAMs）代表了一种范式，其中机器人动作生成与未来观测建模相耦合，在给定当前观测（ $v_0$ ）和语言指令（ $l$ ）的情况下，共同生成一段未来的潜在视频帧（ $v$ ）和动作块（ $a$ ）。Motus 和 Fast-WAM 等知名实现利用基于混合 Transformer（MoT）架构的联合视频 - 动作去噪骨干网络。在这些系统中，视频令牌和动作令牌通过共享的自注意力层进行交互。

现有 WAMs 的一个关键局限在于对扩散时间步的处理。虽然架构理论上允许每个预测的潜在帧拥有独立的时间步（ $t_f$ ），但当前系统在每个去噪步骤中将这一自由度坍缩为所有预测帧共享的单一标量时间步（ $t$ ）。在扩散强制（Diffusion Forcing）的“噪声即掩码”解释下，这种共享调度强加了一个缺乏正当理由的先验：它假设在任何给定步骤中，每个预测的潜在帧对于动作生成过程都具有同等的可靠性和“可见性”。

然而，未来帧对动作预测的影响本质上是异质的且依赖于任务。例如，在抓取等关键事件期间，模型可能受益于将相应的想象潜在帧保持得“更模糊”（更高噪声），以避免过度依赖不确定的预测。手工设计的调度（例如单调噪声衰减）仅仅是用另一个固定先验替换了原有的固定先验，无法适应不同任务所需的具体信息密度。

2. 方法论：NoiseGate

作者提出了NoiseGate，这是一个将每潜在变量时间步调度重构为可学习信息门控策略的框架。NoiseGate 不再依赖固定调度，而是通过学习动态调整每个潜在帧的键/值（Key/Value）对动作令牌贡献的可靠性（即调整其噪声水平）来实现。

该方法包含三个耦合组件：

A. 联合视频 - 动作 MoT 骨干网络

系统采用混合 Transformer 骨干网络，将分块双向视频扩散 Transformer（DiT）与动作专家 DiT 集成。

共享自注意力：视频和动作令牌共享自注意力块，使动作令牌能够关注视频潜在变量。
模态特定专家：每种模态保留其自身的前馈层。
门控机制：视频潜在变量上的噪声水平 $t_f$ 直接调节其对动作令牌隐藏表示贡献的可靠性。

B. 独立每潜在变量时间步采样（训练基底）

为了使骨干网络在推理期间能够泛化到任意每帧调度，作者采用了受扩散强制启发的训练策略。

在训练期间，为每个潜在帧采样独立的时间步 $t_v = (t_1, \dots, t_F)$ ，而非共享标量。
这创建了一个“异质噪声”输入，教导骨干网络有效地“读取”视频分块中不同级别的 uncertainty。

C. 门控策略网络（GPN）与 GRPO 优化

核心创新是门控策略网络（ $\pi_\phi$ ），这是一个学习最优时间步调度的轻量级网络。

输入：在每个去噪步骤 $k$ ，GPN 观察当前异质噪声的视频分块（ $v_t^{(k)}$ ）、干净观测（ $v_0$ ）以及当前时间步（ $t_v^{(k)}$ ）。
输出：它预测相对尺度增量（ $r_f$ ），以确定每个帧的时间步应减少多少（ $\Delta t_f$ ）。观测帧保持在 $t_0=0$ 不变，动作时间步遵循固定的全局调度。
训练：GPN 使用**组相对策略优化（GRPO）**进行训练。骨干网络被冻结，策略针对稀疏的二元任务成功奖励（ $r \in \{0, 1\}$ ）进行优化。这将门控策略建立在实际任务效用之上，而无需手工设计的形状先验。

3. 主要贡献

重构调度：作者指出，联合视频 - 动作 WAM 中传统的共享标量时间步是一种限制模型灵活性的强隐式先验。他们提出将每潜在变量调度视为共享自注意力上的可学习信息门控策略。
NoiseGate 架构：他们引入了 NoiseGate，该架构结合了骨干网络训练期间的独立每潜在变量时间步采样、用于发出每潜在变量时间增量的轻量级 GPN，以及由任务奖励驱动的 GRPO 优化。
实证验证：在随机场景条件下的 RoboTwin 基准测试中，NoiseGate 表现出优于共享标量基线和手工设计调度变体的一致性改进，证实了学习门控策略对于利用每潜在变量自由度至关重要。

4. 实验结果

评估在RoboTwin基准测试上进行，特别是在物体姿态、颜色和背景均随机的随机场景条件下。

主要对比：NoiseGate 与强基线（Fast-WAM、LingBot-VA、 $\pi_{0.5}$ $π_{0.5}$ 、Motus）以及第一阶段 WAM（使用独立噪声训练但采用共享标量推理的骨干网络）进行了比较。
- NoiseGate 实现了 94.28% 的平均成功率，优于第一阶段 WAM（92.58%）及所有其他基线。
- 在需要精确计时或处理不确定性的任务中观察到显著提升（例如：悬挂马克杯 +9%，积木按大小排序 +7%，将物体放入柜子 +7%）。
消融研究：
- 移除 GPN 并恢复为共享标量（ $Shared\text{-}t$ ）导致了最大的性能下降（在受控消融设置中从 67.5% 降至 57.5%）。
- 使用手工设计的单调调度虽然比共享标量有所改善，但仍劣于学习到的 GPN（63.4% 对比 67.5%），表明任务自适应控制是必要的。
定性分析：
- 噪声即掩码：注意力图证实，随着噪声水平增加，动作到视频的注意力呈单调衰减，验证了门控机制。
- 任务自适应调度：可视化显示，GPN 为不同任务学习到了独特的、非均匀的时间步轨迹。例如，在抓取任务中，GPN 将关键抓取帧保持在较高噪声水平（更不确定）的时间比其他帧更长，从而防止过早的动作承诺。

5. 意义与主张

该论文声称，NoiseGate 成功证明了世界动作模型中的每潜在变量时间步调度是一个一级设计对象，而非固定的超参数或隐式先验。

机制：通过将时间步视为可学习门控，模型可以有选择性地向动作策略暴露未来信息。这使得系统能够在关键且难以预测的未来事件上保持较高的不确定性（模糊），同时清除不太关键的信息，从而提高复杂操作任务中的鲁棒性。
效率：该方法利用轻量级策略网络和稀疏奖励优化调度，避免了对复杂手工先验的需求或重新训练庞大的生成骨干网络。
泛化性：虽然专注于机器人领域，但作者指出，将每潜在变量噪声视为可学习信息门控的观点可能适用于其他生成场景，其中下游消费者从具有异质效用的联合去噪令牌中读取信息（例如：自动驾驶、视频预测）。

作者在局限性方面保持谦逊，指出当前的训练依赖于稀疏的模拟器滚动，这可能数据效率低下，并且将学习到的调度策略扩展到大规模多任务套件仍是未来的工作。