💻 computer science

Self-Improving VLA Policies: Selected Diffusion Noise for Spurious-Robust Action Smoothing

本文介绍了选择性扩散噪声（Selected Diffusion Noise, SDN），这是一种无需训练的测试时方法，通过动态选择噪声向量来减轻伪视觉相关性并减少模拟与真实世界机器人任务中的动作抖动，从而增强基于扩散的视觉-语言-动作策略的鲁棒性和成功率。

原作者： Duc Minh Nguyen, Bao-Ngoc Dao, Tung M. Luu, Binh Gia Nguyen, Vinh Tong, Anji Liu, Vu N. Duong, Dung D. Le, Daniel Sonntag, Trung Le, Ngan Le, Jan Peter, An Thai Le, Minh Nhat Vu, Mathias Niepert, Khoa

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Duc Minh Nguyen, Bao-Ngoc Dao, Tung M. Luu, Binh Gia Nguyen, Vinh Tong, Anji Liu, Vu N. Duong, Dung D. Le, Daniel Sonntag, Trung Le, Ngan Le, Jan Peter, An Thai Le, Minh Nhat Vu, Mathias Niepert, Khoa D. Doan, Duy M. H. Nguyen, Vien Anh Ngo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常有天赋的机器人厨师。这位厨师看过数百万个烹饪视频，几乎可以做出你要求的任何菜肴。然而，就像一个记住了食谱但并不真正理解食材的人一样，这个机器人有时会感到困惑。

问题：“幻觉”与“抖动”
该论文指出了机器人失败的两种主要方式：

“幽灵”错误： 有时，机器人看着桌子，看到一根胡萝卜，并开始执行将其放到盘子上的动作。但如果胡萝卜突然消失了（或者机器人只是“以为”它还在那里），机器人仍会继续执行动作。这就像一个人伸手去拿一个杯子，尽管杯子不在手里，却坚信它还在手中。机器人是在依赖“视觉捷径”或错误的猜测，而不是在真正观察物体。
“抖动”错误： 即使机器人知道该做什么，它的动作也可能是摇晃、颠簸或剧烈的。它可能会尝试让手臂移动得非常快，以至于看起来像是在抽搐，这对机器人的物理健康和安全都很不利。

解决方案：“选择性扩散噪声”（SDN）
作者提出了一种聪明的、免费的升级方案——SDN。把机器人的大脑想象成一台收音机，它通过接收来自“静态噪声”的信号来决定下一步做什么。通常情况下，机器人只会捕捉听到的第一个信号。

SDN 改变了游戏规则，它将那份静态噪声视为一个遥控器。机器人不再仅仅听从一个信号，而是生成许多不同的“如果……会怎样”的情景（比如尝试同一个动作的 12 个不同版本），然后扮演一名严格的编辑，从中挑选出最好的一个。

以下是 SDN 的工作原理，它使用了两个简单的过滤器：

过滤器 1：“我是在产生幻觉吗？”测试（接地性/Grounding）

机器人问自己：“如果我假装我要抓取的物体不存在，我还会尝试去抓它吗？”

工作原理： 机器人运行一个模拟过程，在其中它会对目标物体进行数字化的“遮蔽”（比如在胡萝卜上贴一张黑色的贴纸）。
逻辑： 如果机器人即使在物体被遮住的情况下仍然试图抓取胡萝卜，那么它就是在产生幻觉。它是在依赖背景线索（比如盘子）而不是实际的物体。SDN 会丢弃这些“产生幻觉”的猜测。
结果： 机器人只保留那些只有在物体实际可见时才合理的动作。

过滤器 2：“平稳操作员”测试（稳定性/Stability）

随后，机器人查看剩余的那些好的猜测，并问自己：“这些动作中，哪一个看起来最平滑？”

工作原理： 它计算动作的“颠簸度”。它会拒绝任何涉及突然、剧烈停止和启动的动作。
结果： 它会选择那个像流水一样顺畅的动作，确保机器人不会摇晃或损坏自身的关节。

最终成果
通过使用这个两步过滤机制，机器人在无需重新训练或教授新知识的情况下，变得更加可靠。

在模拟环境中： 机器人的成功率比之前提高了约 8%。
在现实世界中： 成功率提升了 10%，且动作明显变得更加平滑，不再那么摇晃。

为什么这很重要
以往的大多数方法都试图通过添加沉重的外部计算机或改变机器人的大脑来修复机器人（这既昂贵又具有风险）。SDN 则不同：它是一个在机器人思考过程中发生的“即插即用”的小技巧。它并不改变机器人的大脑，它只是帮助机器人从它已有的许多想法中选出最好的一个。

简而言之，SDN 教会机器人在行动前双重检查其视觉并平滑其动作，从而使其成为一个更安全、更成功的劳动者。

技术摘要：用于消除伪影鲁棒动作平滑的选定扩散噪声（Selected Diffusion Noise）

问题陈述

基于扩散模型的视觉-语言-动作（VLA）策略，如 $\pi_0$ 和 GR00T，通过在大规模数据集上进行缩放，在机器人操控领域展示了卓越的泛化能力。然而，这些基础策略在分布外（OOD）设置中表现出两个关键的失效模式：

伪影视觉相关性（幻觉）： 模型往往会过拟合于偶然的专家方差或背景线索。例如，即使在抓取失败后，机器人仍可能继续执行“放置”轨迹，因为它依赖于“视觉捷径”（如背景上下文）而非实际的物体状态。
运动学不稳定性： 策略经常优先考虑语义似然度而非物理可行性，从而生成具有高加加速度（jerk，即突发加速度变化）或振荡运动的轨迹。这些“抖动”的动作会导致机械磨损，并在物理扰动下导致行为脆弱。

目前的解决方案，如分类器自由引导（CFG）、Best-of-N 采样或非高斯先验，通常依赖于外部评估器（如视觉语言模型）、需要昂贵的重新训练，或者依赖于无法直接解决物理平滑性的启发式参数操纵。此外，策略对比解码（PCD）等方法需要计算密集型的图像修复（inpainting）来模拟负向观测。因此，需要一种无需训练、测试时运行的机制，能够在不修改模型参数或需要辅助网络的情况下，自主优化动作分布。

方法论：选定扩散噪声 (SDN)

作者提出了 Selected Diffusion Noise (SDN)，这是一个无需训练、即插即用的框架，它将初始扩散噪声向量 ( $A_0$ ) 视为一个可控的自由度。SDN 并非通过逐步引导单个轨迹步骤，而是通过对从不同噪声种子生成的多个候选轨迹进行全局搜索，并通过一个两阶段的分层选择过程进行过滤。

1. 第一阶段：对比接地过滤器（视觉鲁棒性）

此阶段旨在消除依赖于伪影背景线索的“幻觉”噪声种子。

候选生成： 在每个推理步骤中，策略生成两组动作块：
- 正向集合 ( $G$ ): 从原始观测 ( $o$ ) 和指令 ( $\ell$ ) 生成。
- 负向集合 ( $B$ ): 从“混淆”输入 ( $o_{neg}$ ) 生成，其中目标物体被零掩码处理。这种掩码处理比 PCD 等前作中使用的图像修复计算成本更低。
评分机制： 该方法采用非参数化 $k$ $k$ -最近邻 ( $k$ $k$ -NN) 密度估计来计算接地得分 ( $R_{ground}$ $R_{g r o u n d}$ )。
- 一个具备接地能力的动作应当在正向集合中是稠密的（任务对齐），而在负向集合中是稀疏的（易于失败）。
- 得分通过差异化的局部距离进行近似： $R^{(i)}_{ground} = d^{(i)}_B - d^{(i)}_G$ ，其中 $d$ 代表到 $k$ 个最近邻的平均距离。
- 候选动作按此得分进行排名，并保留前 $M$ 个。这有效地过滤掉了即使在目标物体不可见时仍能生成高置信度动作的候选者。

2. 第二阶段：运动学稳定性精炼（物理平滑性）

此阶段确保所选轨迹在物理上是可行且平滑的。

扩展时界（Extended Horizon）： 为了检测在短窗口内无法察觉的延迟振荡，该方法评估比执行时界更长的动作块。
平滑度指标： 该方法最小化 Jerk RMS ( $S(A_i)$ )，它量化了动作序列的三阶有限差分（离散加加速度）。
选择： 最终动作 $A^*$ 被选为前 $M$ 个接地集合中使加加速度指标最小的候选者：
$A^* = \arg \min_{A_i \in G_M} S(A_i)$

核心贡献

自诊断潜空间引导： 本文引入了一种机制，通过对比原始视图与物体掩码视图下的策略输出，来识别并过滤“幻觉”噪声种子。这可以在不重新训练的情况下，引导冻结的模型远离伪影视觉相关性。
双目标优化： SDN 将视觉接地与运动学稳定性统一起来。它同时实现了与不可靠动作集的最大分离（通过负向集合）以及最小化平滑度指标（以消除高加加速度、振荡运动）。
即插即用增强： 该框架在多种扩散式 VLA 骨干网络（ $\pi_0$ , GR00T-N1.5, GR00T-N1.6）及基准测试（Google Robot, Widow-X, 以及真实的 ALOHA 机器人）中得到了验证。它在不需要辅助网络、参数更新或实时图像修复的情况下，提供了持续的成功率提升和改进的物理可靠性。

实验结果

作者在仿真基准（SIMPLER）和真实世界机器人任务上评估了 SDN。

仿真性能：
- 在使用 GR00T-N1.6 的 Google Robot 和 Widow-X 平台上，SDN 将平均成功率提升了 +5.1%（达到 54.5%），其中特定任务如“打开抽屉”的成功率实现了三倍增长（4.0% $\to$ 14.0%）。
- 在 $\pi_0$ 模型上，SDN 在九项任务中实现了 8.7% 的平均成功率提升，优于 CFG、WNG、ACG 和 PCD 等基线。值得注意的是，虽然某些基线在特定任务上表现下降，但 SDN 展示了“无害性”属性，在所有任务中均表现出非负收益。
真实世界性能：
- 在部署于 ALOHA 机器人（GR00T-N1.5）时，SDN 实现了 48.33% 的平均成功率，相比 Vanilla 模型实现了 18.33% 的绝对提升。
- 运动质量： 与显著增加加加速度和动作总变差（ATV）的基线（如 ACG）不同，SDN 将这些指标降低到了 Vanilla 基线以下（例如，Jerk 从 12.45 降至 11.8），确保了更平滑且机械更安全的轨迹。
效率： 由于避免了计算昂贵的图像修复，转而使用直接物体掩码，SDN 的运行速度比 PCD 快 1.53 $\times$ 。

意义与主张

论文声称，扩散噪声选择可以作为一种有效的通用机制，用于在测试时增强 VLA 策略。通过利用噪声空间作为诊断工具，SDN 在无需承担微调数十亿参数模型或依赖外部评估器的高昂计算成本的情况下，解决了视觉幻觉和运动学不稳定的双重挑战。

作者强调，其方法范围适中：它是一个无需训练的封装器，用于改进现有的冻结模型。他们也承认了局限性，指出当前的以物体为中心的掩码可能无法捕捉所有形式的幻觉（例如由动态光照或纹理变化引起的幻觉），并且固定的噪声候选数量限制了对不同任务复杂度的适应性。然而，结果表明，将扩散噪声视为一个可控的自由度，为提高通用机器人策略在实际部署中的可靠性提供了一条稳健的路径。