🤖 AI

ProgressVLA: Progress-Guided Diffusion Policy for Vision-Language Robotic Manipulation

本文提出了 ProgressVLA，一种通过预训练鲁棒进度估计器并结合可微进度引导机制，将任务进度感知融入视觉 - 语言动作模型，从而显著提升长程机器人操作任务成功率与泛化能力的扩散策略框架。

原作者： Hongyu Yan, Qiwei Li, Jiaolong Yang, Yadong Mu

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Hongyu Yan, Qiwei Li, Jiaolong Yang, Yadong Mu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 ProgressVLA 的新机器人控制系统。为了让你轻松理解，我们可以把机器人做任务的过程想象成一个人试图在黑暗中摸索着完成一道复杂的菜谱。

🌟 核心问题：机器人以前是怎么“迷路”的？

想象一下，你让一个机器人去“打开抽屉，拿出苹果，放在盘子里”。
以前的机器人（现有的 VLA 模型）就像是一个只盯着眼前一步的厨师：

它知道“拿苹果”这个动作大概长什么样。
它知道“放盘子”大概长什么样。
但是，它不知道“现在做到哪一步了？”也不知道“我是不是离目标越来越近了？”

这就导致它经常陷入死循环：比如它可能反复尝试抓苹果，抓了又掉，掉了又抓，因为它没有“进度条”的概念。它只能靠猜，或者靠程序员硬写规则（比如“如果做了 100 次还没成功就停止”），这非常不灵活，尤其是在长任务中。

💡 核心创新：给机器人装了一个“进度条”和“导航仪”

这篇论文提出的 ProgressVLA 给机器人装了两样神器：

1. 超级“进度条” (Progress Estimator)

比喻：想象你在看一部电影，以前的机器人只能看到当前这一帧画面，不知道剧情进展到哪了。ProgressVLA 给机器人装了一个**“剧情进度条”**。
怎么做：这个“进度条”是通过在海量机器人视频（就像在 YouTube 上看了一百万个做饭视频）上训练出来的。它能看懂：“哦，现在手已经伸到抽屉了，进度是 30%；现在手碰到把手了，进度是 60%；抽屉开了，进度是 90%。”
厉害之处：即使换了个新环境（比如灯光变了，或者苹果变成了梨），这个进度条依然能准确判断任务完成了多少，而不是被眼前的混乱搞晕。

2. “导航仪”引导的生成 (Progress-Guided Diffusion)

比喻：以前的机器人生成动作像是在闭着眼睛扔飞镖，扔出一堆动作，然后看看哪个能中。
现在的做法：ProgressVLA 就像是一个有导航的自动驾驶。
- 当机器人要决定下一步动作时，它会先在脑海里“预演”一下：如果我做这个动作，未来的画面会变成什么样？
- 然后，它用刚才那个“进度条”去检查这个预演的未来：“这个动作能让进度条从 30% 跳到 35% 吗？还是只跳到 31%？”
- 如果某个动作能让进度条跳得更多，导航仪就会用力把机器人的选择“拉”向这个动作。
结果：机器人不再盲目尝试，而是每一步都朝着“进度条增加”的方向走，动作更果断，更少做无用功。

🚀 它是如何工作的？（三步走）

先“看”过世界 (预训练)：
就像让机器人先当个“观众”，在 Open X-Embodiment 这个巨大的数据集里看各种机器人干活。它学会了识别什么是“开始”，什么是“结束”，以及中间每一步的进度大概是多少。
边“想”边“做” (世界模型)：
在真正干活时，机器人会先在心里“模拟”一下：如果我伸手，下一秒画面会怎样？它用这个“模拟未来”的能力，配合“进度条”来评估：这个动作好不好？
实时修正 (强化学习)：
如果在真实世界里，机器人发现某个动作让进度条卡住了（比如手滑了），它会利用这个反馈快速调整策略，就像你走路发现路堵了，马上换一条路一样。

🏆 效果如何？

论文在几个著名的机器人测试场（CALVIN, LIBERO）和真实的机械臂上做了实验：

成功率更高：以前机器人可能只能连续完成 2 个步骤，现在能连续完成 3-4 个步骤。
动作更利索：以前为了抓一个苹果，机器人可能要在空中挥舞 150 次手臂；现在只需要 40 次左右，因为它知道怎么最快拿到。
适应性强：换了新桌子、新灯光，或者换了个新物体，它依然能准确判断进度，不会像以前那样直接“傻掉”。

📝 一句话总结

ProgressVLA 就是给机器人装了一个“智能进度条”和“未来预演导航仪”，让它在做复杂任务时，不再盲目乱撞，而是每一步都知道自己离成功还有多远，从而走得更快、更稳、更聪明。

1. 研究背景与问题 (Problem)

现有的视觉 - 语言 - 动作（Vision-Language-Action, VLA）模型在机器人操作任务中虽然取得了进展，但在处理长视野（Long-horizon）任务时存在显著局限性：

缺乏进度感知（Lack of Progress Awareness）： 大多数模型仅依赖手写的启发式规则来判断任务是否结束，或者依赖隐式且嘈杂的“目标达成”信号。它们无法在生成动作序列的过程中持续评估“当前动作是否有效地推动了任务向目标前进”。
长视野任务的脆弱性： 在涉及级联子目标（cascaded sub-goals）的复杂任务中，缺乏明确的进度信号会导致生成策略在看似合理但任务无关的轨迹上浪费计算资源，且缺乏 principled（有原则的）终止机制。
采样效率低： 基于扩散（Diffusion）的策略通常通过条件生成来采样轨迹，但缺乏显式的、密集的进度信号来引导采样过程，导致需要更多的重采样或更长的执行步数。

2. 核心方法论 (Methodology)

作者提出了 ProgressVLA 框架，其核心思想是将任务进度估计与扩散策略生成紧密结合，通过可微分的进度引导来优化动作生成。该框架包含三个主要组件：

A. 进度估计器 (Progress Estimator)

功能： 作为一个视觉 - 语言评估器，根据语言指令 $l$ 、初始观察 $o_0$ 和当前观察 $o_t$ 输出一个归一化的任务完成分数 $p \in [0, 1]$ 。
训练策略：
- 在大规模无监督视频 - 文本机器人数据集（Open X-Embodiment, OXE）上进行预训练。
- 利用归一化的时间步 $t/T$ 作为进度标签的代理（Ground Truth），因为专家演示通常是单调向前的。
- 基于 DINOv2 提取的视觉特征和文本编码器，通过交叉注意力机制融合多模态信息。
优势： 预训练使其具备了对未见过的真实世界场景的零样本泛化能力，且能抵抗光照变化和新物体干扰。

B. 基于逆动力学的世界模型 (Inverse Dynamics World Model)

功能： 在潜在动作空间（Latent Action Space）中建立视觉状态与动作之间的双向推理。
- 逆动力学（Encoder）： 从视觉状态转换 $(o_t, o_{t+N})$ 推断潜在动作 $a_z$ 。
- 前向动力学（Decoder）： 给定当前状态 $o_t$ 和潜在动作 $a_z$ ，预测未来的视觉特征 $\hat{o}_{t+N}$ 。
作用： 该模型充当“想象器”，允许策略在生成动作时，先预测该动作会导致的未来状态，进而评估该状态下的任务进度。

C. 进度引导的扩散策略 (Progress-Guided Diffusion Policy)

这是该论文的核心创新，分为两个阶段：

两阶段生成：
- 阶段一（潜在动作专家）： 在设备无关的潜在动作空间中生成高层策略块。
- 阶段二（动作解码器）： 将潜在动作解码为机器人可执行的低层动作序列。
分类器引导（Classifier Guidance, CG）：
- 在扩散去噪的每一步，利用世界模型预测未来状态，并通过进度估计器计算该状态的进度分数 $\hat{p}$ 。
- 由于进度分数关于潜在动作是可微的，通过反向传播进度梯度，对扩散采样过程进行引导。
- 更新规则： 修改去噪均值，使其向能最大化任务进度的方向偏移：
  $x_{\tau-1} = \mu_\theta(x_\tau, \tau, c) + s \nabla_{x_\tau} \hat{p}_{t+N} + \sigma_\tau \epsilon$
- 这使得生成的动作块更倾向于那些能显著推进任务的动作。

D. 强化学习微调 (RL Finetuning)

利用在线交互数据（Online Buffer）进一步微调进度估计器和扩散策略。
单调性损失： 确保在成功轨迹中，预测的进度是单调递增的，修正评估器的偏差。
KL 约束策略优化： 将进度最大化转化为带 KL 约束的策略优化问题，通过调整去噪目标（Noise Target），使策略在保持原有分布的同时，更倾向于高进度动作。

3. 关键贡献 (Key Contributions)

鲁棒的进度估计： 提出了一种基于大规模预训练和逆动力学世界模型的进度估计器。它在仿真和真实世界场景中均表现出极低的预测残差（CALVIN 上为 0.07），并具备强大的零样本泛化能力。
可微分的进度引导： 首次将进度估计直接嵌入到扩散策略的生成过程中。通过构建“动作 $\to$ 未来状态 $\to$ 进度分数”的可微分管道，利用梯度引导扩散采样，实现了从“被动条件生成”到“主动目标导向生成”的转变。
系统性的实验验证： 在 CALVIN、LIBERO 基准测试以及真实机器人（ARX 双机械臂）部署中进行了广泛验证，证明了该方法在长视野任务成功率、执行效率和终止可靠性上的显著提升。

4. 实验结果 (Results)

CALVIN 基准（长视野仿真）：
- 相比标准扩散策略，ProgressVLA 显著提高了连续完成子任务的数量（Success Sequence Length）。
- 引入进度引导（CG）后，5 个子任务连续完成率从 52.8% 提升至 56.4%（配合预训练评估器）。
- 结合 RL 微调（Full 版本）后，平均完成长度达到 3.73，优于所有基线（如 GR-MG, Dita 等）。
LIBERO 基准（多任务迁移）：
- 在 LIBERO-LONG（长视野）子集上，ProgressVLA (Full) 取得了 66.2% 的成功率，显著优于 OpenVLA (53.7%)。
- 证明了进度引导能有效提升模型在复杂、多步骤任务中的泛化能力。
真实世界部署 (Real-World)：
- 在 ARX 双机械臂上执行 5 个不同难度的操作任务（如开抽屉、堆叠碗、抓取水果等）。
- 成功率： 从基线 Octo 的 23% 提升至 ProgressVLA (w/o CG) 的 66%，再到 ProgressVLA (w/ CG) 的 76%。
- 效率： 平均执行步数从 187.9 步大幅减少至 53.3 步，且路径长度更短，表明动作更加果断、冗余更少。
- 泛化性： 进度估计器在光照变化和引入新物体（Novel Objects）的情况下，微调后的模型依然保持高相关性（Pearson r > 0.95）和高停止可靠性。

5. 意义与总结 (Significance)

ProgressVLA 解决了当前 VLA 模型在长视野任务中“盲目生成”和“终止困难”的核心痛点。

理论意义： 它证明了在生成式策略中引入显式的、可微分的任务进度信号，可以作为一种强大的引导机制，替代传统的强化学习奖励稀疏问题。
实践价值： 该方法不需要昂贵的在线强化学习奖励设计，仅通过预训练和少量的微调即可显著提升真实机器人的操作效率和成功率。
未来展望： 这种“进度感知”的范式为构建更可靠、更具目标导向性的通用机器人（Generalist Robots）提供了新的思路，特别是在处理复杂、多步骤的家务或工业操作任务时。

简而言之，ProgressVLA 让机器人不仅知道“做什么”（通过语言指令），还能实时感知“做得怎么样”（通过进度估计），并据此动态调整“下一步怎么做”（通过梯度引导），从而实现了更高效、更稳健的长视野操作。