💻 computer science

dVLA-RL: Reinforcement Learning over Denoising Trajectories for Discrete Diffusion Vision-Language-Action Models

本文介绍了 dVLA-RL，这是一种针对离散扩散视觉-语言-动作模型的强化学习框架，它通过优化去噪轨迹的联合概率，克服了边缘动作概率难以计算的问题，从而通过统一的、可变步长的调度方法，在机器人操控基准测试中实现了最先进的性能。

原作者： Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人做一道复杂的菜肴，比如舒芙蕾。

旧方法（“复读机”问题）：
以前，机器人通过观察人类厨师做一次动作，然后尝试完全复制这些动作来学习。这被称为“监督微调”（Supervised Fine-Tuning）。对于简单的任务，这种方法效果尚可，但如果厨房变得凌乱或者食材稍有不同，机器人就会陷入恐慌并失败。这就像是一个背下了练习题答案的学生，却无法解决一个新问题。

新工具（“去噪”机器人）：
最近，科学家们构建了一种新型的机器人大脑，叫做 dVLA（离散扩散视觉-语言-动作模型）。这个机器人不再是瞬间做出决定，而是以一种“带有噪声”的方式进行思考。想象一下，机器人从一张布满涂鸦的白纸（噪声）开始。然后，它通过一步步擦除涂鸦，逐渐显现出完美的食谱。

第 1 步： 它猜出几个词。
第 2 步： 它根据所见内容对这些词进行精炼。
第 3 步： 它最终确定食谱。

这种“缓慢显现”的过程非常出色，因为它允许机器人迭代地完善它的计划，就像艺术家在勾勒线条之前先画草图一样。

缺失的一块（“强化学习”的差距）：
虽然这种“缓慢显现”的机器人很聪明，但它仍然只是一个复读机。它还没有学会从自己的错误中学习。科学家们想要使用 强化学习（RL）——这是一种让机器人尝试各种操作，并根据成功获得“赞赏”（奖励）或失败获得“差评”（惩罚）来随时间不断进步的方法。

核心难题：
这里存在一个数学上的障碍。在标准的机器人大脑中，你可以很容易地计算出得到正确答案的概率。但在这种“缓慢显现”的机器人中，最终答案是经过一系列漫长且曲折的猜测路径而产生的。试图通过观察机器人可能采取的所有路径来计算最终结果的精确概率，就像是试图通过数清沙滩上的每一粒沙子来预测潮汐一样，这在数学上是无法实现的（不可计算的）。

解决方案：dVLA-RL（“旅程”法）
论文作者通过改变问题的切入点解决了这个问题，他们提出了 dVLA-RL。他们不再问：“得到最终完美答案的概率是多少？”而是问：“走完刚才那条特定路径的概率是多少？”

把这想象成电子游戏：

旧数学： 在比赛开始前，试图计算赢得整个锦나赛的概率。
新数学 (dVLA-RL)： 计算你刚刚采取的具体步骤来达到下一关的概率。

通过将机器人的“缓慢显式”过程视为一个逐步进行的旅程（轨迹/trajectory），他们可以利用标准的强化学习来教导机器人。我们通过奖励机器人完成任务所采取的整个路径，而不仅仅是看最终的结果。

“混合”策略（“智能调度员”）
论文还引入了一个聪明的技巧，叫做 Hybrid dVLA-RL。

简单任务： 如果机器人擅长处理简单任务（比如拿起一个杯子），它不需要花费 10 个步骤去思考。它可以只用 1 或 2 个步骤。这节省了时间和能量。
复杂任务： 如果任务很复杂（比如堆叠积木塔），机器人可以被允许进行更多步骤来“思考”并完善计划。

这就像老师给学生布置作业：简单的题目进行快速测试，而对于复杂的科研论文，则允许采用论文的形式。这让机器人在处理简单工作时更快，在处理困难任务时更聪明。

实验结果
团队在两个主要的机器人训练场上测试了该方法：

LIBERO： 一个用于单臂机器人的模拟环境。新方法实现了 99.7% 的成功率，几乎完美完成了所有任务。
RoboTwin 2.0： 一个更难的、针对双臂机器人（类似人类）的模拟环境。与旧有的“复读机”版本相比，新方法将成功率提升了 30.6%，击败了其他顶尖的机器人大脑。

总结
这篇论文展示了一种教导“慢思考”机器人从自身经验中学习的方法。与其困于计算关于最终结果的无法实现的数学难题，不如教导机器人去学习它所经历的特定旅程。这使得机器人能够显著提升遵循指令的能力，并更好地处理复杂的物理任务。

技术摘要：dVLA-RL

问题陈述

视觉-语言-动作（VLA）模型通过将控制逻辑建立在大型视觉语言模型（VLM）的语义推理之上，为机器人操控确立了一种强大的范式。虽然离散扩散 VLA（dVLAs）已成为一种极具前景的替代方案，它通过掩码生成建模将视觉、语言和动作统一到一个单一的离散标记空间中，但其训练仍局限于监督微调（SFT）。

将强化学习（RL）应用于原生 dVLA 面临一个根本性的瓶颈：边际动作概率（marginal action probability）的不可计算性。标准的策略梯度算法（如 PPO）需要最终执行动作的精确概率 $\pi_\theta(a_t | s_t)$ 。然而，在离散扩散模型中，最终动作是 $K$ 步随机去噪过程的结果。计算精确的边际概率需要对所有可能的中间去噪轨迹的组合空间进行求和，这在计算上是不可行的。此外，仅利用最后一步的输出来近似策略会忽略决定整个展开过程（rollout）的中间状态，从而导致梯度失配和训练不稳定。

方法论：dVLA-RL

为了解决这一问题，作者提出了 dVLA-RL，该框架将学习目标从难以计算的边际动作概率转向了采样去噪轨迹的联合概率。

1. 轨迹级概率建模

作者将去噪过程建模为一个马尔可夫决策过程（MDP）。他们不再优化最终的动作概率，而是展开去噪过程，并将特定采样生成路径 $\tau = (x_K, \dots, x_0)$ 的概率公式化为逐步转移的乘积：
$\log \pi_\theta(\tau | s_t) = \sum_{k=1}^K \left[ \log P_{\text{unmask}}(U_k | p_\theta, k) + \sum_{i \in U_k} \log p_\theta(x_{k-1}^i | x_k, s_t) \right]$
其中 $U_k$ 是在第 $k$ 步被选择进行去掩码（unmasking）的标记子集。

2. 隐式优化去掩码过程

一个关键的挑战是，标记去掩码调度（由 Gumbel-TopK 机制决定）是离散且不可微的。直接对去掩码选择概率进行反向传播会引入高方差梯度。

解决方案： 作者将去掩码过程视为一种内在的、不可微的系统动力学。他们从梯度更新中丢弃了去掩码项，将目标完全集中在从 [MASK] 转换为特定标记 ID 的标记生成概率上。
隐式效应： 通过优化核心的标记预测准确性，网络的置信度分布得以提升，这隐式地且自适应地优化了 Gumbel-TopK 调度器，使其能够针对不确定区域进行优化，而无需为调度器本身设计显式的梯度估计器。

3. 混合去噪步数策略

利用轨迹级公式化的灵活性，作者引入了 Hybrid dVLA-RL 方法。由于该框架能够自然地适应可变的去噪时界（horizons），可以根据任务的复杂度和初始 SFT 表现，为不同任务分配不同的去噪步数：

简单任务： 较少的去噪步数可以降低展开和推理成本，同时保持较高的成功率。
复杂任务： 更大的去噪时界可以提供更好的初始动作，并为迭代优化提供更具信息量的在线探索。

核心贡献

离散扩散强化学习的公式化： 本文通过优化采样去噪轨迹的概率，而非最终动作的不可计算边际似然，为原生离散扩散 VLA 制定了强化学习方法。这为将标准策略梯度 RL（PPO）与多步离散扩散策略相结合提供了一条可行的途径。
统一训练策略： 作者引入了一种统一的步数调度方法（Hybrid dVLA-RL），使去噪步数能够匹配特定的任务复杂度。这在单一框架内平衡了动作质量、采样效率和计算成本。
实验验证： 实验表明，RL 可以显著提升离散扩散 VLA 策略在 SFT 初始化基础上的性能，在标准基准测试中达到了最先进水平（SOTA）。

实验结果

作者在两个机器人操控基准测试上评估了 dVLA-RL：LIBERO（单臂）和 RoboTwin 2.0（双臂）。

LIBERO： dVLA-RL 在所有四个套件（Spatial, Object, Goal, Long）中实现了 99.7% 的平均成功率，超越了 SFT 仅有的基线以及现有的 VLA/世界-动作模型（WAM）基线。
RoboTwin 2.0： 该方法相比于仅使用 SFT 的 MM-ACT 基线实现了 30.6% 的绝对提升（平均成功率从 61.4% 上升至 92.0%）。它在这一具有挑战性的双臂基准测试中取得了 VLA 类方法中的最佳性能，并与强大的 WAM 基线保持竞争优势。
消融研究：
- 轨迹级 vs. 最后一步： 对比显示，轨迹级建模是必要的；“仅限最后一步”的代理方法会导致训练不稳定且成功率较低，尤其是在去噪步数增加时。
- 混合策略： 混合方法成功提升了采样效率，与固定步数策略相比，能以更少的环境交互步数实现更高的成功率。

意义与主张

本文声称 dVLA-RL 解决了多步离散扩散过程与标准 RL 目标之间的根本失配。通过将优化目标重新定义为去噪轨迹的联合概率，作者实现了首次将在线 RL 成功应用于原生离散扩散 VLA 策略。

结果表明，离散扩散是 RL 优化 VLA 策略的一种极具前景的动作生成范式，能够在单臂及复杂的双臂操控任务中达到最先进的性能。这项工作强调了通过将 RL 目标与实际执行的去噪路径对齐，可以绕过扩散模型中边际概率“不可计算”的难题，从而释放超越行为克隆（behavior cloning）的策略优化潜力。