🤖 AI

Z-1: Efficient Reinforcement Learning for Vision-Language-Action Models

Z-1 是一个强化学习后训练框架，它利用公开可用的 RoboCasa 演示数据在组相对策略优化（GRPO）上进行训练，在不需要额外私有数据的情况下，显著提升了基于流（flow-based）的视觉-语言-动作模型的性能和成功率。

原作者： Lang Cao, Renhong Chen, Luyi Li, Peng Wang, Mofan Peng, Yitong Li

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Lang Cao, Renhong Chen, Luyi Li, Peng Wang, Mofan Peng, Yitong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人做一道复杂的菜，比如冲咖啡或者打开一个难开的抽屉。

问题所在：“复读机”机器人
直到现在，大多数机器人训练员使用的是一种叫做“行为克隆”（Behavior Cloning）的方法。这就像一个只通过观看老师完美的教学视频来学习的学生。机器人观察老师成功完成任务的过程，并试图完全复制每一个动作。

缺陷： 如果学生犯了一个微小的错误（比如伸手去抓把手时偏离了毫米级的距离），视频里并不会展示如何纠正这个错误。机器人会因此卡住，不知道如何恢复，并最终失败。它无法从自己的错误中学习，因为它在训练期间从未被允许犯错。

解决方案：Z-1（“试错型”教练）
这篇论文介绍了一种名为 Z-1 的新训练系统，它让机器人通过实践、失败和再次尝试来进行学习。这就像一位教练，让学生在厨房里练习，允许他们失败，然后给出关于下次如何做得更好的具体反馈。

以下是 Z-1 的工作原理，使用了简单的类比：

1. 起点（SFT）

首先，机器人通过观看人类完成任务（如开门或使用水槽）的公开视频来进行一次“速成课程”。这让它对要做什么有一个基本的概念，类似于在烹饪前阅读食谱。

2. “小组练习”（GRPO）

Z-1 不仅仅让机器人独自练习，而是使用了 群体相对策略优化（Group Relative Policy Optimization, GRно） 方法。

类比： 想象一位教练同时派了 8 名学生进入厨房制作咖啡。
目标： 教练不仅仅是说“做得好”或“做得不好”。相反，教练会将这 8 名学生进行相互比较。如果 7 名学生都洒了咖啡，而只有 1 名学生成功了，教练会告诉那位成功的学生：“你的做法有所不同，保持这种状态。”这有助于机器人弄清楚究竟是哪一个细微的动作造成了差异。

3. 智能技巧（新模块）

论文引入了四个聪明的技巧，使这种练习更加高效且稳定：

共享前缀（“相同起点”规则）：
- 问题： 如果学生 A 从左边走，而学生 B 从右边走，那么比较他们最终制作咖啡的技能是不公平的。因为他们的起点不同。
- 解决方法： Z-1 强制要求所有 8 名学生必须以完全相同的初始动作开始（比如走向柜台）。一旦他们都站在柜台前，他们再分头尝试不同的抓取杯子的方式。这确保了机器人学习的是关键环节（抓取），而不是走路的过程。
树状结构分支（“分支路径”规则）：
- 问题： 有时候，“走向柜台”这个环节也需要练习。如果我们强迫他们必须完全一样地开始，他们就永远学不会如何修正错误的走路姿势。
- 解决方法： Z-1 使用了一种“树”状结构。所有学生一起开始，但随后会在不同的时间点分成小组。有些人在早期分支，有些人在后期分支。这让机器人可以在练习修复小错误的同时，依然保持练习的组织性。
成功感知奖励衰减（“速度奖励”）：
- 问题： 如果一个机器人用 10 分钟打开一扇门，而另一个机器人用 1 分钟打开同一扇门，标准系统可能会给他们贴上同样的“做得好”标签。
- 解决方法： Z-1 会给完成速度更快的机器人贴上更大的“做得好”标签。它不会惩罚慢的学生，但会更奖励快的人。这鼓励机器人提高效率，同时又不会因为害怕出错而不敢尝试。
选择性联合训练（“大脑与双手”开关）：
- 问题： 有时机器人失败是因为它的“手”（动作专家）不够灵活；有时则是由于它的“眼睛”（视觉语言大脑）看不清把手。
- 解决方法： 通常情况下，为了保持稳定，Z-1 只训练机器人的“手”。但如果机器人一直因为看不清或理解不了物体而失败，Z-1 就会切换开关，同时训练“大脑”和“手”。这就像意识到：“哦，这个学生不是手笨，而是看不清把手！”并教导他们如何看得更清楚。

结果

团队在 24 种不同的家务任务（如打开抽屉、使用水槽和冲咖啡）上测试了 Z-1。

使用 Z-1 之前（仅观看视频）： 机器人的成功率约为 67%。
使用 Z-1 之后（结合了这些新技巧进行练习）： 机器人的成功率达到了 80.6%。

这一提升非常显著，甚至超越了目前公开领域中的其他顶尖机器人模型，尽管 Z-1 并没有使用任何秘密的私有数据——它仅使用了公开视频及其自身的练习过程。

总结：
Z-1 将一个只会“复读”的机器人变成了一个“问题解决者”。通过让它进行小组练习、从相同起点出发、奖励速度以及识别何时训练“眼睛”而非“双手”，机器人能够比以前更好地应对家庭环境中复杂多变的现实挑战。

技术摘要：Z-1 —— 用于视觉-语言-动作模型的效率强化学习

1. 问题陈述

视觉-语言-动作（VLA）模型已成为机器人操控领域的一种极具前景的框架，它统一了语言指令、视觉观测和连续控制。然而，当前最先进（SOTA）的策略主要通过行为克隆（BC）或在固定人类演示数据上的监督微调（SFT）进行训练。这种对模仿学习的依赖存在两个关键局限性：

泛化能力有限： 性能受限于演示数据的覆盖范围。在长程或组合任务中，微小的预测误差可能会不断累积，使机器人进入演示数据中未曾充分表示的状态。
缺乏自我纠错能力： BC 和 SFT 缺乏从自身失败中学习并改进的机制。它们无法通过试错交互来优化任务级奖励，而这对于精炼复杂的操控行为至关重要。

虽然通过强化学习（RL）进行后训练提供了一条通过优化任务级奖励来克服这些局限性的路径，但将 RL 应用于基于流（flow-based）的 VLA 模型仍然具有挑战性。主要障碍包括：生成展开（rollout）的高昂成本、奖励的稀疏性，以及当视觉-语言骨干网络被冻结时，难以纠正源于视觉接地（visual grounding）或空间推理能力的失败。

2. 方法论：Z-1 框架

Z-1 是一个专为基于流的 VLA 模型设计的模块化 RL 后训练框架。Z-1 构建在预训练的 $\pi_0.5$ 基础模型之上，采用两阶段训练流水线，仅使用公开发布的 RoboCasa 演示数据。

第一阶段：逐场景监督微调 (SFT)

该流水线首先将 $\pi_0.5$ 适配到 RoboCasa 环境中。Z-1 并非为每个任务训练一个单独的模型，而是执行逐场景 SFT（按场景类别对任务进行分组，例如门、抽屉、水槽）。这种方法通过利用场景内共享的对象布局和操控原语，提高了数据效率。在这一阶段，视觉-语言模块和动作专家（action expert）都会被更新，以产生一个鲁棒的初始化。

第二阶段：任务级组相对策略优化 (GRPO)

在 SFT 之后，Z-1 应用特定任务的 GRPO 后训练策略。与将展开视为独立完整轨迹的标准 RL 不同，Z-1 引入了四个关键模块化组件来增强效率和稳定性：

共享前缀 GRPO (Shared-Prefix GRPO)： 为了解决早期“接近（approach）”阶段差异过大导致奖励信号被稀释的问题，Z-1 强制要求 GRPO 组内的展开共享一个共同的前缀。在分支点处克隆模拟器状态，仅对后缀（分支后的动作）进行独立采样。这确保了组内相对比较能够聚焦于任务关键的交互阶段，而非冗余的接近过程变化。
树状结构前缀分支 (Tree-Structured Prefix Branching)： 对于需要在接近阶段进行精细调整的任务，Z-1 推广了扁平化的共享前缀方法。它在前缀中引入中间分支点，创建出展开簇的树状结构。这减少了过度掩码（over-masking），使得部分共享的片段仍能贡献学习信号，同时减少了冗余计算。
成功感知奖励衰减 (Success-Aware Reward Decay)： 为了处理所有成功轨迹都被同等对待的稀疏奖励问题，Z-1 引入了基于完成时间的衰减因子（ $\tilde{r}_i = r \cdot \gamma^{d_i}$ ）。完成速度更快的成功轨迹会获得更高的奖励。至关重要的是，对于所有展开都成功的组，Z-1 使用非负最小基准排序（ $A_i = R_i - \min_j R_j$ ）而非均值归一化。这防止了较慢的成功轨迹获得负优势值，从而避免了对可靠但较慢的完成过程进行过度惩罚。
选择性 VLM–动作专家联合训练 (Sel-JT)： 虽然标准的 VLA-RL 通常会冻结视觉-语言骨干网络，但 Z-1 会根据训练阶段的诊断信息（如 SFT 成功率、失败模式）动态决定是否将视觉-语言模型（VLM）与动作专家一同更新。如果失败归因于视觉接地或空间推理能力不足，而非低层控制问题，则会解冻 VLM 以实现感知-动作的协同演进。

3. 核心贡献

本文提出了以下贡献：

Z-1 框架： 一个用于基于流的 VLA 模型的模块化 GRPO 后训练框架，它仅利用公开的演示数据即可有效运行，无需依赖私有数据集。
新型展开构建方式： 提出了 共享前缀 GRPO 和 树状结构前缀分支，以减少冗余模拟并使优化聚焦于关键的交互环节。
奖励与训练创新： 开发了 成功感知奖励衰减，在不使用密集奖励塑造的情况下提供更精细的完成速度反馈，以及 选择性联合训练，以便仅在必要时调整感知模块。
新的 SOTA 性能： 在公开演示设置下的 RoboCasa 基准测试中，建立了新的平均成功率最高标准。

4. 实验结果

Z-1 在 24 个标准 RoboCasa 操控任务中进行了评估，涵盖 7 个类别（门、抽屉、拾取与放置、微波炉、水槽/水龙头、炉灶和制作咖啡）。

性能提升： Z-1 RL 将平均成功率从 67.4%（SFT 初始化）提升至 80.6%，增幅为 13.2 个百分点。
与 SOTA 对比： Z-1 RL 优于此前发表的结果，包括 GR00T、GR00T N1.5、Video Policy 和 X-WAM。具体而言，尽管 X-WAM 利用了深度信息，而 Z-1 仅依赖公开演示数据，但 Z-1 的平均表现仍超过了 X-WAM（最强的对比基准）1.4 个百分点。
特定任务的改进：
- 抽屉与水槽/水龙头： 观察到显著改进（例如，抽屉：83.4% $\to$ 96.1%；水槽：63.2% $\to$ 94.3%），证明了基于前缀的展开构建对于需要精确接近后操控的任务的有效性。
- 拾取与放置： 取得了实质性进展（53.9% $\to$ 70.9%）。
- 炉灶任务： 虽然 Z-1 较其 SFT 基准有所提升，但仍略低于 X-WAM，这表明需要复杂长程运输和鲁棒恢复的任务仍然存在挑战。
消融实验：
- 基于前缀的变体（共享前缀和树状结构）始终优于原生 GRPO，其中树状结构在训练保持稳定时能提供更高的峰值性能。
- 选择性联合训练 (Sel-JT) 在“开启炉灶”等困难任务上明显优于仅训练动作专家的方案，验证了在视觉接地不足时适配视觉表示的必要性。
- 成功感知奖励衰减相比于倾向于过度惩罚可靠但较慢完成情况的标准奖励惩罚，提供了更快且更稳定的成功率提升。

5. 重要性与主张

本文主张，系统的 GRPO 后训练可以在不依赖额外私有演示数据的情况下，显著提高基于流的 VLA 策略性能。

作者强调，Z-1 通过解决展开生成和奖励校准中的特定低效问题，证明了在线 RL 对 VLA 模型的可行性。结果表明，通过精心设计——特别是通过共享前缀构建、完成度感知的奖励校准以及模块化选择——RL 可以有效地将策略性能提升到超越模仿学习的极限。这项工作为仅使用公开数据的 VLA 训练建立了新的基准，表明通过后训练阶段的算法改进，可以获得与使用更广泛或专有数据训练的模型相媲美甚至超越的性能。