🤖 machine learning

Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models

Qwen-RobotManip 是一个通用的视觉-语言-动作（Vision-Language-Action）基础模型，它利用跨越表示、运动和行为维度的统一对齐框架，实现了在约 38,100 小时开源语料库上的大规模训练，并在多种机器人平台和分布外（out-of-distribution）基准测试中实现了最先进的性能和涌现的泛化能力。

原作者： Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Chenfei Wu, Xiong-Hui Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 Qwen-RobotManip 技术报告的解释，已将其转化为使用类比的简单、日常语言。

核心理念：教机器人像人类一样“思考”

想象一下，你想教一个机器人做家务。在过去，科学家尝试通过向机器人展示成千上万段其他机器人执行特定任务的视频来教导它们。但这就像试图通过给一只狗看其他狗下棋的视频来教它下棋一样。这既昂贵，数据又稀缺，而且如果新机器人的样子稍有不同（比如手臂形状不同），它就会感到困惑。

Qwen-RobotManip 团队提出了一个不同的问题：我们能否利用让 AI 聊天机器人变得如此聪明的“规模化配方”来教导机器人？

聊天机器人之所以变得聪明，是因为它们阅读了互联网上的一切——书籍、论坛、文章和视频。它们学会了连接各种概念，因为所有的文本都是“对齐”的（都使用了相同的语言）。该团队想要看看是否也能对机器人这样做：将所有可用的机器人数据（即使来自不同的机器人）以及所有可用的真人手部动作视频混合在一起，从而教导机器人理解通用的世界，而不仅仅是某一个特定的任务。

问题所在：“机器人之间的语言障碍”

团队意识到存在一个巨大的问题。文本很容易对齐；在每本书中，“猫”的意思都是一样的。但机器人数据却是混乱的。

不同的身体： 一个机器人有一条长手臂；另一个则短一些。一个有两个手，另一个只有一个。
不同的视角： 一个摄像头从上方观察；另一个从侧面观察。
不同的语言： 一个机器人记录的是“关节角度”（肘部弯曲了多少）；另一个记录的是“3D 空间”（手在房间里的位置）。

如果你只是把这些数据丢进搅拌机，机器人会感到头痛。这就像是在没有翻译官的情况下，试图通过同时听取法语、日语和西班牙语说话者的声音来学习一门语言。信号会发生冲突，导致机器人学不到任何东西。

解决方案：“通用翻译器”

为了解决这个问题，团队构建了 Qwen-RobotManip，这是一个充当通用翻译器的机器人大脑。他们并没有直接倾倒数据，而是创建了一套严格的规则，在教导机器人之前将一切转化为一种通用的语言。

他们对齐了三个方面：

身体（表示形式）： 他们创建了一个“标准化身体地图”。无论机器人的手臂是类人型的还是简单的抓取器，大脑都会将其动作转化为单一的、共享的格式。
视角（运动）： 他们不再告诉机器人“将你的肘部转动 30 度”，而是教它“将你的手移向那个杯子”。他们将所有动作锚定在摄像头的视角上。如果摄像头看到杯子向左移动，机器人就会学习向左移动，而不论它自身的关节是如何运作的。这就像是通过观察路面来学习开车，而不是通过背诵方向盘转动了多少度来学习。
上下文（行为）： 他们给了机器人一个“记忆窗口”。在做出动作之前，机器人会观察它在前一秒做了什么。这有助于它进行即时调整，就像人类在感觉到盒子打滑时调整握力一样。

数据：“人到机器人”的魔术技巧

团队需要海量的数据来训练这个大脑。他们并没有拥有数百万小时昂贵的机器人录制数据。因此，他们使用了一个聪明的技巧：人到机器人的合成（Human-to-Robot Synthesis）。

来源： 他们收集了数千小时以第一视角（类似于佩戴 GoPro）拍摄的人类执行任务（如烹饪或清洁）的视频。
魔术： 他们使用 AI 将视频中的人类手部“替换”为机器人手臂。
- 类比： 想象一段人类厨师切菜的视频。AI 观察人类手的移动，计算出刀具的位置，然后将人类的手数字化替换为机器人手臂，渲染出机器人手臂正在进行完全相同的切割动作。
结果： 他们将 1,900 小时的人类视频转化成了涵盖 15 种不同类型机器人的 24,800 小时机器人数据。

总计，他们建立了一个包含 38,100 小时数据的训练库，且仅使用开源数据（没有使用秘密的企业数据）。

结果：它真的有效吗？

团队通过两种方式测试了这个机器人大脑：

“教科书”测试： 标准测试，机器人看到的房间和物体与它接受训练时完全一致。在这里，机器人表现良好，但许多其他模型也表现得很好。
“现实世界”测试 (OOD)： 这是见证奇迹的地方。他们在全新的房间、新的物体、不同的光照环境，甚至是在它从未见过的机器人上进行了测试。

研究发现：

泛化能力： 当灯光改变或桌子移动时，其他机器人可能会失败，但 Qwen-RobotManip 依然能正常工作。它理解的是任务的“概念”，而不仅仅是视觉模式。
跨身体迁移： 他们在一个拥有双臂的机器人（AgileX）上进行训练，然后在完全不同的机器人（如 Franka 或 UR5 手臂）上进行测试。它在其他模型失败的地方取得了成功。
自我纠正： 在现实测试中，如果机器人掉落了物体，它不会直接放弃。它会尝试再次尝试，并调整握力，就像人类一样。
指令遵循： 如果你告诉它“拿起红色的杯子”，它就会拿起红色的杯子，即使杯子的位置很奇怪或者光照很差。其他模型经常会忽略指令，直接抓取最近的东西。

总结

该论文认为，让机器人变得聪明的秘诀不仅仅是收集更多的数据，而是先将这些数据进行正确的对齐。

这就像是在建造一座图书馆。如果你把不同语言、不同尺寸和不同格式的书籍堆在一起，没有人能阅读。但如果你将它们全部翻译成一种标准语言，并整理在同样的书架上，你就可以阅读任何内容。

Qwen-RobotManip 证明了，通过将所有机器人和人类数据转化为一种“共同语言”（基于摄像头的动作对齐），你可以训练出一个真正的通用型机器人——它能够学习新任务，并在不同的身体结构上工作，而无需从头开始重新训练。他们仅使用免费的开源数据就实现了这一点，这表明只要我们拥有正确的“翻译工具”，构建智能机器人的门槛可能比我们想象的要低。

技术摘要：Qwen-RobotManip：对齐解锁机器人操控基础模型的规模化潜力

问题陈述

尽管语言和多模态领域的基座模型通过在统一公式下对齐异构数据源，已实现了强大的泛化能力，但将这种“规模化方案（scaling recipe）”应用于机器人操控仍面临重大挑战。与文本不同，操控数据本质上是异构的、采集成本高昂且多样性匮乏。目前的视觉-语言-动作（VLA）模型往往表现出表层泛化能力，即在标准分布内（in-distribution）基准测试中表现良好，但在面对超出狭窄设定（如不同的机器人形态、视觉扰动或未见过的指令）时表现失败。核心问题在于：如果没有统一的对齐框架，跨不同形态的大规模数据训练会导致相互干扰而非协同效应，因为不兼容的观测与动作表示会阻碍模型学习可迁移的物理技能。

方法论

1. 统一跨形态对齐框架

Qwen-RobotManip 的核心是一个旨在使大规模多源训练保持连贯性的统一对齐框架。该框架在三个维度上运行：

表示对齐（Representation Alignment）： 模型利用一个 80 维的规范状态-动作向量。该结构通过将特定的自由度映射到固定的语义槽位（关节位置、末端执行器位姿、夹持器状态）并对未使用维度进行零填充，从而兼容多种机器人形态（单臂、双臂、灵巧手、移动底座）。每个维度的二进制掩码确保梯度仅流经具有语义意义的条目。
运动对齐（Motion Alignment）： 为了解决不同数据集间因坐标系差异导致的碎片化问题，模型采用了**相机坐标系增量位姿表示（camera-frame delta pose representation）**来处理末端执行器动作。动作不再是以机器人基座坐标系中的绝对位姿表示，而是以相机坐标系下的相对增量形式表达。这确保了视觉相似的运动在不同形态之间具有数值上的接近性，从而促进跨形态迁移。相机几何信息通过相机位置编码（CaPE）注入到动作专家模块中。
行为对齐（Behavioral Alignment）： 模型采用了**上下文策略自适应（in-context policy adaptation）**机制。通过将当前的动作预测建立在来自同一回合的近期执行历史（观测-动作对）的结构化窗口之上，策略能够无需参数更新即可适应当前机器人的特定运动学特征和行为动力学。训练期间的随机上下文采样防止了模型依赖于“近因捷径（recency shortcuts）”，迫使其学习一致的行为剖面。

2. 可扩展的多源数据语料库

为了达到必要的规模，作者仅使用开源数据集和人类演示视频构建了一个约 38,100 小时的预训练语料库，避免了使用专有数据。

人机合成（Human-to-Robot Synthesis）： 一条流水线将约 1,933 小时的第一视角人类手部操控视频转换为涵盖 15 种不同机器人平台的机器人轨迹。这涉及动作重定向（将手部关键点映射到夹持器位姿）、视觉对齐（修复人类手部并渲染机器人模型）以及基座位姿优化。这一过程产生了约 24,808 小时的合成数据。
数据策展（Data Curation）： 一个严格的多阶段流水线用于过滤异构数据中的突变、状态-动作趋势不一致、极端值以及运动学一致性（通过正向运动学检查）。它还包括针对指令一致性和视频-状态重叠情况的跨模态质量检查。
视觉-语言协同训练： 为了防止感知和推理能力的灾难性遗忘，模型通过双流策略进行训练。它在操控语料库与精选的视觉-语言（VL）流（约 28M 数据点）上进行联合优化，后者包含具身思维链（ECoT）推理、第一视角视频理解及通用空间推理任务。

3. 模型架构

Qwen-RobotManip 基于 Qwen-VL 主干网络（Qwen3.5-4B）构建，该网络负责编码多模态输入。动作生成由一个作为动作专家的**流匹配扩散 Transformer（Flow-Matching Diffusion Transformer, DiT）**处理。主干网络与专家模块通过交叉注意力耦合，使专家能够根据空间观测和语言指令来锚定动作预测。模型采用流匹配目标进行训练，以预测用于连续动作生成的速度场。

核心贡献

统一对齐框架： 引入了规范状态-动作表示、相机坐标系增量位姿参数化以及上下文策略自适应，实现了跨不同形态的连贯训练。
可扩展数据引擎： 通过人机合成流水线和策展流程，聚合了约 38,100 小时的操控数据，证明了仅利用开源数据实现大规模预训练的可行性。
新的评估标准： 将评估重点从分布内基准转向**分布外（OOD）**评估。论文引入了新的基准（用于指令遵循的 RoboTwin-IF，用于跨形态迁移的 RoboTwin-XE），并利用现有的 OOD 设置（LIBERO-Plus, RoboCasa365, EBench）来衡量真实的泛化能力。
真实世界验证： 在四个物理平台上进行了广泛验证（AgileX ALOHA, Franka, UR, ARX），并在 RoboChallenge Table30-v1 通用型赛道中排名第一。

结果

Qwen-RobotManip 在所有 OOD 评估维度上均显著优于先前的先进模型（包括 $\pi0.5$ , GR00T-N1.7 和 StarVLA）：

任务与场景泛化： 在 LIBERO-Plus 上超过 $\pi0.5$ 7.0 个百分点，在极具挑战性的 RoboTwin-Clean2Rand Hard 设置下领先 21.5 个百分点，在 EBench 上领先 18.5 个百分点。
指令遵循： 在新的 RoboTwin-IF 基准上达到 72.2%，比 $\pi0.5$ 高出 22.6 个百分点，表明其具备鲁棒的语言调节能力。
跨形态迁移： 在零样本迁移测试中（在 AgileX 上训练，在 ARX, UR5, Franka 上测试），模型使用相机坐标系 EEF 动作达到了 23.9% 的成功率，这比 $\pi0.5$ （7.5%）高出 3.2 倍，并显著优于关节空间基准模型。
真实世界表现： 在 RoboChallenge Table30-v1 通用型赛道中，实现了 45% 的成功率和 59.83 的过程得分，排名第一。它展现出了涌现能力，例如在抓取失败时的自发重试行为，以及在处理如倒薯条或插电缆等复杂任务时的鲁棒双臂协作能力。
规模法则（Scaling Laws）： 消融实验证实，通过适当的对齐（UnifiedEEF），性能随数据量呈对数线性增长；而未对齐的表示则无法展现规模化收益。

意义与主张

论文认为，对齐是机器人领域实现数据规模化的前提条件。如果没有一种能使物理运动在不同形态间实现数值一致性的统一公式，增加数据量只会产生冲突信号而非提升能力。

作者声称，Qwen-RobotManip 为“语言模型的规模化方案是否可以应用于机器人领域”提供了一个肯定的答案。通过优先考虑对齐，该模型实现了涌现的泛化能力——包括零样本指令遵循、对扰动的鲁棒性、反应式错误恢复以及跨形态迁移——且仅使用了开源数据。

此外，论文指出，标准的分布内基准不足以作为基础模型能力的代理指标，因为它们往往奖励模式记忆而非真正的泛化。作者倡导将 OOD 评估设置作为衡量机器人基础模型的“北极星”，认为只有当模型在未见的任务、环境和形态上接受测试时，真正的泛化能力才会显现。这项工作表明，只要具备完善的合成与策展基础设施，操控领域基础模型的数据壁垒可能比预想的要低。