💻 computer science

Wall-OSS-0.5 Technical Report

本文介绍了 Wall-OSS-0.5，这是一个开源的 4B 参数规模视觉-语言-动作（VLA）模型，它证明了 VLA 预训练本身即可在多种具身形态中产生直接可执行的零样本机器人行为，同时增强了下游微调性能并保留了具备接地能力的视觉-语言能力。

原作者： Ryan Yu, Pushi Zhang, Starrick Liu, Brae Liu, Miracle Kang, Shalfun Li, Lights Shi, Ellie Ma, Ping Yang, Chris Pan, Jerry Chen, Dongxiu Liu, Rain Sun, Miles Guo, Byron Zhang, Hugo Zhou, Zach Xu, Vince

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ryan Yu, Pushi Zhang, Starrick Liu, Brae Liu, Miracle Kang, Shalfun Li, Lights Shi, Ellie Ma, Ping Yang, Chris Pan, Jerry Chen, Dongxiu Liu, Rain Sun, Miles Guo, Byron Zhang, Hugo Zhou, Zach Xu, Vincent Chen, Harrison Huang, James Wang, Dance Kuzi, Andy Zhai, Hang Su, Roy Gan, Lucy Liang, Hao Wang, Qian Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 Wall-OSS-0.5 技术报告的中文翻译，保留了原有的通俗易懂的风格与创意类比。

核心理念：“一次预训练，处处可行动”

想象一下，你想教一个机器人做家务。通常情况下，你必须先教它基础知识（比如什么是杯子），然后花费数月时间教它特定技能（比如如何拿起那个特定的杯子）。

Wall-OSS-0.5 背后的团队提出了一个大胆的问题：如果我们能让机器人在通用知识和运动能力上训练得足够好，以至于它在无需针对新工作进行额外训练的情况下，就能直接上手执行实际任务，那会怎样？

他们构建了一个名为 Wall-OSS-0.5 的机器人大脑。这是一个“视觉-语言-动作”（Vision-Language-Action, VLA）模型。你可以把它想象成一个既能看（视觉）、又能理解指令（语言）、还能同时移动手臂（动作）的机器人。

他们解决的问题：“教科书 vs. 实践”的差距

在过去，机器人大脑就像是那些读遍了图书馆所有教科书、却从未踏入过厨房的学生。它们完美掌握了理论，但一旦被要求实际烹饪，就会不知所措。

以往大多数机器人模型仅在经过针对特定任务的“微调”（重新训练）后才会接受测试。这留下了一个谜团：最初的训练究竟是教会了机器人如何移动，还是仅仅给了它一个良好的起点？

Wall-OSS-0.5 证明了初始训练确实教会了机器人如何移动。甚至在没有任何特定的“进修学校”式训练之前，机器人仅凭简单的指令，就能执行复杂的任务，如水果分类、叠放圆环，甚至是拉紧绳索（这是一个非常棘手的、处理柔软物体变形的任务）。

他们是如何做到的：“三脚架”模型

为了实现这一目标，他们不仅仅是向机器人喂数据，还使用了一种特殊的训练配方，叫做梯度桥接协同训练（Gradient-Bridged Co-Training）。想象一下，机器人的大脑正由三位各司其职的教练共同训练：

“动作教练”（离散 Token）： 这位教练教机器人像预测句子中的单词一样去预测“下一步动作”。它擅长教大脑掌握运动的“语法”。它扮演着桥梁的角色，向主脑发送强有力的信号，学习如何控制身体。
“理解教练”（多模态数据）： 这位教练确保机器人不会忘记如何阅读、观察和理解世界。它让机器人的认知扎根于现实，使其知道什么是“杯子”，以及“把它放进水槽”是什么意思。
“流畅操作教练”（流匹配/Flow Matching）： 这位教练教机器人如何像舞者一样进行平滑且连续的移动，而不是僵硬、机械的跳跃。这是机器人在现实世界中工作时实际使用的动作方式。

神奇之处在于： 通常情况下，这些教练会产生冲突。“动作教练”想要教大脑如何移动，但“流畅操作教练”使用的是另一种语言。Wall-OSS-0.5 构建了一座桥梁连接了两者。“动作教练”使用大脑理解得最好的语言，而“流畅操作教练”则确保最终的动作流畅且精准。

结果：一个真正能干活的机器人

他们在真实的物理机械臂上测试了这个机器人，共进行了 17 种不同的任务。

零样本学习（无需额外训练）： 在没有针对这些任务进行任何特定训练的情况下，机器人成功完成了其中几项任务：
- 方块分类： 100% 成功率。
- 水果分类： 96% 成功率。
- 拉紧绳索： 82% 成功率（这非常了不起，因为绳索是松软且难以控制的！）。
微调之后： 当他们给予机器人针对 15 个任务的少量特定训练后，它的表现变得更加出色，大幅超越了之前的顶尖机器人模型（提升了 17.5%）。

为什么这很重要（用通俗的话说）

在此之前，人们认为对机器人进行预训练就像是给学生一个很高的 GPA——它有助于学生通过期末考试，但他们仍然需要为具体的测试进行复习。

Wall-OSS-0.5 表明，预训练本身就是一场考试。机器人在大规模训练阶段就已经习得了通用的“肌肉记忆”和“常识”。这就像一个孩子，在玩遍各种玩具并观察大人如何活动后，走进一个新房间时，不需要被明确告知具体做法，也能自己摸索出如何开门或拿起玩具。

技术“秘方”

大脑： 它基于一个 30 亿参数的“大脑”（大型语言模型），并经过升级以处理机器人运动。
数据： 他们利用来自 20 多种不同类型机器人的超过 100 万次机器人运动数据，以及海量的图像和文本库对其进行了训练。
速度： 他们让机器人的思考速度足以实时控制机械臂（每秒 15 次），这对于避免掉落物体至关重要。

总结

Wall-OSS-0.5 之所以是一项突破，是因为它证明了：如果使用正确的“桥接”技术在足够多样化的数据上训练机器人大脑，机器人就不再仅仅是一个聪明的观察者，而是一个能够立即成为胜任的执行者。它可以观察一个凌乱的桌面，理解“收拾一下”这条指令，然后开始分类物品，而无需为桌上的每一件物品都准备一份说明书。

技术摘要：Wall-OSS-0.5

问题陈述

机器人社区越来越多地采用视觉-语言-动作（VLA）模型作为机器人策略的基础。然而，这些模型的评估仍存在一个关键空白：最强的结果几乎总是仅在经过任务特定微调后才被报告。这留下了一个悬而未决的核心问题：VLA 预训练本身是否能产生可执行的机器人行为，还是它仅仅是为下游策略学习提供了一个更好的初始化？

目前的证据表明，仅靠预训练可能无法产生直接可用的策略。本文认为，为了使 VLA 预训练具有可信度，预训练检查点必须在进行任何任务特定适配之前，在物理硬件上展示出可观察、可执行的能力。

方法论

Wall-OSS-0.5 是一个基于 3B 视觉语言模型（VLM）骨干网络（Qwen2.5-VL-3B-Instruct）构建的开源 4B 参数 VLA 模型。其架构和训练策略旨在满足三个要求：开箱即用地执行有用的操控技能、保留源自 VLM 的视觉语言能力，并为下游适配提供强大的先验。

1. 架构：混合 Transformer（Mixture-of-Transformers, MoT）

该模型采用了混合 Transformer 骨干网络，其中每一层都包含两个不同的专家：

VL 专家： 处理视觉、语言、本体感受和离散动作标记（tokens）。
动作专家（Action Expert）： 处理用于流匹配（flow-matching）生成的连续动作信号。
至关重要的是，这些专家共享相同的序列级注意力上下文。这使得动作专家能够在生成动作的同时关注视觉和语言信息，但更重要的是，它确保了专家之间的端到端梯度流。这是一种路由分解而非梯度停止机制，允许连续动作路径在训练期间塑造骨干网络。

2. 梯度桥接协同训练（Gradient-Bridged Co-Training）

核心方法论贡献是一个单阶段协同训练方案，同时优化三个互补的目标：

离散动作标记预测（梯度桥梁）： 模型以自回归方式预测残差向量量化（RVQ）动作标记。这提供了一个强大的、符合 VLM 原生的交叉熵信号，使骨干网络向与控制对齐的方向更新。它作为骨干网络更新的主要驱动力。
多模态交叉熵（锚点）： 在具身视觉语言数据上进行训练，该目标保留了指令遵循、视觉接地（visual grounding）和场景理解能力。其更新方向与动作优化基本正交，从而防止模型丢失通用的 VLM 能力。
连续流匹配（部署接口）： 动作专家通过流匹配生成连续动作块。虽然这定义了执行目标，但消融实验表明，与交叉熵损失相比，它对骨干网络更新的贡献仅占很小比例（约 5%）。

核心洞察： 离散路径主要作为训练时的“梯度桥梁”来塑造骨干网络，而连续路径则作为部署时的接口。

3. 视觉对齐的 RVQ 动作标记器

为了取代基于规则的标记器（如 FAST），作者引入了一种学习型的**视觉对齐残差向量量化（RVQ）**标记器。它将受观测条件约束的增量动作序列压缩为离散标记。与标准压缩器不同，它通过辅助目标进行训练：

视觉-动作对齐： 将动作潜变量拉向 VLM 视觉特征。
下一帧预测： 鼓励标记编码动作后果。
DCT 域重建： 抑制高频抖动。
这确保了离散标记对 VLM 骨干网络具有语义意义。

4. 动作空间监督

对于流匹配目标，作者提出了动作空间监督（Action-Space Supervision）。该损失函数不是在速度场上最小化（标准的流匹配），而是在恢复的动作本身上定义。这种公式有效地通过 $(1-\tau)^2$ 对损失进行加权，强调了形成全局轨迹形状的高噪声时间步。这符合机器人动作的频谱结构，即有用的任务结构集中在低频趋势中。

5. 数据与推理

数据： 模型在每轮超过 100 万条机器人轨迹（来自 20 多种具身形态）以及 9000 万样本的多模态语料库上进行预训练。语料库包括从动作轨迹合成的“具身桥接”样本，旨在将多模态理解直接与可执行行为联系起来。
推理： 使用 CUDA Graphs 和融合算子（fused kernels）的部署级推理栈比 PyTorch eager 模式快 4 倍，可在高分辨率下维持 15 Hz 的控制频率。

关键结果

零样本真实机器人性能

在 17 个任务的真实机器人套件（包括留出的可变形任务）上进行评估，且未进行任何任务特定微调，预训练的 Wall-OSS-0.5 展示了显著的行为能力：

方块分类（Block Sorting）： 100% 任务进度。
水果分类（Fruit Sorting）： 96%。
环堆叠（Ring Stacking）： 86%。
绳索紧固（Rope Tightening，留出的可变形任务）： 82%。
该模型证明了预训练本身可以产生可复用的操控能力，特别是对于由语义接地主导的任务。

微调性能

在 15 个真实机器人任务上进行微调后：

Wall-OSS-0.5 实现了 60.5% 的平均任务进度。
它优于 $\pi_{0.5}$ 17.5%（60.5% 对比 43.0%）以及 DreamZero 27.1%。
它在 15 个任务中的 10 个任务上领先，在操控任务上表现出显著提升（61.1% 对比 $\pi_{0.5}$ 的 35.0%）。

多模态理解

协同训练并未削弱通用的视觉语言能力。虽然通用 VQA 性能略有下降（这是专业化的权衡），但**具身接地（Embodied Grounding）**能力显著提升：

具身接地： +21.8% 增益。
Where2Place： +11.0% 增益。
这证实了该模型在不丢失基础 VLM 能力的前提下，强化了具身感知。

消融实验

协同训练 vs 其他方案： 全部的梯度桥接协同训练策略在真实机器人任务上的表现比“仅流匹配（flow-only）”、“停止梯度（stop-gradient）”和“两阶段（two-stage）”方法高出 7.4–25.1 个百分点。
动作空间损失： 与速度空间损失相比，提高了收敛速度和峰值性能（模拟器中成功率为 96.5%）。
RVQ 标记器： 在 VQA 准确度（+1.8%）和任务进度（+18.9%）方面均优于 FAST 标记器。

意义与主张

本文声称将 VLA 预训练从一种单纯的初始化策略重新定位为一种直接可测试、且已具备有用机器人能力的来源。

预训练产生可执行行为： 结果表明，大规模 VLA 预训练本身就可以在物理机器人上产生可衡量的、高进度的零样本行为，挑战了“预训练仅对下游微调有用”的观点。
梯度桥梁是决定性的： 作者认为，离散动作标记不仅是部署时的产物，更是关键的训练机制。它们提供了必要的强梯度信号来塑造 VLM 骨干网络以适应控制，而连续流匹配本身无法有效履行这一角色。
统一架构： 通过使用具有共享注意力的 MoT 架构，Wall-OSS-0.5 成功集成了动作生成，且没有切断向 VLM 骨干网络的梯度流，从而在保留语义理解的同时学习控制相关特征。
开源基准： 通过发布一个开箱即用的 4B 模型，作者提供了一个新的基准，用于评估“预训练能力”而非仅仅是“微调后的能力”。

作者总结道，足够大规模的 VLA 预训练可以产生真实的机器人行为，并且由此产生的检查点比以往的方法提供了更强大的下游适配先验。