🤖 AI

Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs

本文介绍了任务无关预训练（Task-Agnostic Pretraining, TAP），这是一个两阶段框架，通过首先利用自监督逆动力学从廉价的无标签交互数据中学习可迁移的运动先验，随后通过极少的标注数据将其与语言对齐，从而克服了视觉-语言-动作模型中专家演示稀缺的问题，并实现了比标准方法更优越的性能和鲁棒性。

原作者： Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇使用简单语言和创意类比对论文进行的解释。

核心问题：机器人需要太多的“老师”

想象一下，你想教一个机器人做家务，比如把胡萝卜放到盘子里。目前，完成这项任务的标准方法是人类遥操作（human teleoperation）。这意味着人类必须通过控制器（隐喻地）握住机器人的手，并在物理上引导它完成任务，同时说：“好了，现在抓起胡萝卜。”

论文指出这是一个巨大的瓶颈。这就像试图通过让一位老师亲自坐下来，引导每一位学生完成每一个步骤，来教一百万名学生一样。这既昂贵又缓慢，而且机器人本身并不能自主学习；它只是人类动作的一个被动容器。

核心理念：将“如何做”与“做什么”分离

作者提出了一种看待学习的新方式。他们认为，学习成为一个机器人涉及两种我们通常混淆的截然不同的技能：

“如何移动”（物理能力/Physical Competence）： 这是理解物理学。夹持器是如何闭合的？物体是如何滑动的？如果我推一个南瓜会发生什么？
“做什么”（语义对齐/Semantic Alignment）： 这是理解指令。例如：“把胡萝卜放到盘子里。”

论文的**分解假设（Decomposition Hypothesis）**指出：你不需要人类老师来教机器人“如何移动”。你只需要人类老师来教它“做什么”。

解决方案：TAP（任务无关预训练/Task-Agnostic Pretraining）

作者创建了一种名为 TAP 的两阶段训练方法。你可以把它想象成训练一名运动员。

第一阶段：“游乐场”阶段（学习如何移动）

他们没有给机器人特定的任务，而是让它玩耍。

类比： 想象一个人类婴儿。婴儿并不是通过被告知“现在抬起腿走路”来学习移动的。相反，婴儿会踢腿、丢掉玩具、抓取物品以及跌倒。他们在没有特定目标的情况下探索世界。他们在学习自己身体的物理特性以及周围物体的物理特性。
机器人在做什么： 机器人被置于一个“游乐场”中，在其中随机移动手臂。它推东西、抓东西、扔东西。它没有语言指令。它只是在学习：“如果我这样移动手臂，物体就会那样移动。”
秘诀所在： 他们使用了一种名为**逆动力学（Inverse Dynamics）**的技术。机器人不是在问“如果我做 X 会发生什么？”，而是观察两张图片（动作前和动作后），然后问：“为了从图 A 变成图 B，我必须采取了什么样的动作？”这迫使机器人学习运动的因果关系，而不需要人类对它说“做得好”。

第二阶段：“教练”阶段（学习做什么）

一旦机器人已经在“游乐场”里玩了几个小时并理解了物体是如何移动的，它现在就可以准备执行特定任务了。

类比： 现在婴儿已经有了强壮的肌肉并理解了如何抓取物体，这时一位教练介入并说：“好了，既然你已经知道如何抓取了，请把胡萝卜放到盘子里。”
结果： 因为机器人已经知道如何移动，它只需要极少量的人类数据就能学会特定的指令。这就像是在教一名职业运动员一个新的战术；他们不需要重新学习如何奔跑或接球，他们只需要知道策略。

为什么这很重要（实验结果）

作者在真实的机器人和计算机模拟中测试了该方法。以下是他们的发现：

效率极高： TAP 机器人在学习任务时的表现，可以媲美那些接受了 100 万个人类引导示例训练的机器人，但它仅使用了极小比例的有标签数据。它用廉价的、自我生成的“玩耍”时间取代了数百万个昂贵的人类工时。
更具鲁棒性（在混乱中更强大）： 这是最令人印象深刻的部分。当研究人员改变环境时——改变摄像头角度、在路径中放置随机水果或改变桌面纹理时，传统的机器人（仅靠人类数据训练的）完全失败了（成功率为 0%）。
- 类比： 标准机器人就像是一个背下了特定考试答案集的学生。如果考试题目稍有变化，他们就会失败。而 TAP 机器人则像是一个真正理解了数学概念的学生。即使数字变了或者试卷皱了，他们仍然能解出题目。
- 在现实世界中，当摄像头视角发生偏移时，TAP 机器人在 15–25% 的情况下仍能成功，而那些“互联网规模”的机器人则完全失败。

总结

论文认为，我们一直试图通过强迫机器人观察人类完成任务来教导它们。相反，我们应该先让机器人通过喃喃自语和玩耍来学习世界的物理规律（“如何移动”）。一旦有了这个基础，我们只需要一点点人类引导，就能教会它们具体的目标（“做什么”）。这使得机器人的训练成本更低，并且能更好地应对现实世界的突发状况。

技术摘要：先学会移动，再学会做事（任务无关预训练用于视觉-语言-动作模型）

1. 问题陈述

视觉-语言-动作（VLA）模型目前面临一个根本性的瓶颈：高质量、专家遥操作演示（观察、语言指令、动作的三元组）的稀缺性。传统的训练范式依赖于大规模的人类引导轨迹数据集，这在成本上极高、耗时耗力且难以规模化。此外，这种方法将两个截然不同的学习目标混为一谈：获取物理能力（如何移动）和获取语义对齐（做什么）。本文认为，当前的方法在学习基础运动动力学时，效率低下地要求了语言监督，而这些动力学实际上是独立于特定任务目标的。

2. 方法论：任务无关预训练 (TAP)

作者提出了任务无关预训练 (Task-Agnostic Pretraining, TAP)，这是一个基于分解假设 (Decomposition Hypothesis) 的两阶段框架：物理适能（“如何移动”）可以完全通过廉价的、无标签的交互数据来学习，而语义意图（“做什么”）则仅需要极少的专家演示。

第一阶段：任务无关预训练（学习“如何移动”）

数据来源： 模型在大量的任务无关数据上进行预训练，这些数据被定义为缺乏显式语言指令的交互轨迹。来源包括：
- 重用现有数据集： 来自大规模数据集（如 BridgeData、Open X-Embodiment）的轨迹，这些数据收集时的任务与目标部署任务无关（例如，将用于“打开抽屉”的数据用于“捡起胡萝卜”的任务）。
- 自主随机探索： 通过随机末端执行器命令（推、扫、抓取）在环境中进行探索的机器人生成的数据，无需人类监督。一个程序化流水线确保了交互过程的安全性和接触丰富性。
目标： 一个自监督的逆动力学 (Inverse Dynamics, ID) 目标。给定一对观察值 $(o_t, o_{t+1})$ $(o_{t}, o_{t + 1})$ ，模型预测导致该状态转移的动作 $a_t$ $a_{t}$ 。
- 机制： 这迫使视觉编码器关注动态元素（末端执行器运动、物体位移），同时忽略静态背景噪声。模型学习到了鲁棒的物理先验——空间推理、适能检测和运动协调——而无需任何语言标签。
架构： 一个视觉-语言模型 (VLM) 主干网络（如 Qwen2.5-VL）被训练用于将视觉输入映射到动作输出，将未来的观察视为隐式的视觉目标。

第二阶段：任务特定对齐（学习“做什么”）

数据来源： 包含语言指令 ( $l$ ) 的极少量专家演示集 ( $\mathcal{D}_{expert}$ )。
目标： 标准的行为克隆 (Behavior Cloning, BC)。经过预训练的模型被微调以将视觉观察和语言指令映射到动作。
机制： 模型复用第一阶段的骨干网络和动作头。它学习从语义空间（语言）到已建立的动力学空间（运动控制）的一个轻量级投影。这一阶段所需的标注样本远少于从头开始训练。

3. 核心贡献

分解假设： 本文指出，物理能力和语义对齐是可分离的学习目标，因此前者可以从无标签数据中学习。
TAP 框架： 一种新颖的两阶段流水线，通过逆动力学预训练，利用廉价的任务无关数据（非任务轨迹和自主探索）来构建鲁棒的物理先验。
数据效率： 证明了 TAP 可以达到甚至超过使用数百万专家轨迹训练的模型性能，尽管其使用的标注数据量极少。
鲁棒性： 表明在多样化的自主探索数据上进行预训练，可以使模型比互联网规模的基准模型更具韧性（应对视觉扰动、杂乱环境、视角变化等）。

4. 实验结果

该框架在 SIMPLER 基准测试（仿真环境）和真实的 WidowX 250 机器人上进行了评估。

仿真环境 (SIMPLER)：
- TAP（在 2 万个任务无关回合 + 5 千个专家轨迹上训练）实现了 33.32% 的平均成功率。
- 这显著优于 标准 BC 基准（23.15%），实现了 10% 的绝对增益。
- TAP 达到或超过了那些在 100 万+ 专家轨迹上预训练的基础模型（如 OpenVLA, RT-1-X, Octo, $\pi_0$ ），尽管其使用的标注数据微乎其微。
- 部分成功分析： TAP 实现了较高的部分成功率（45.82%），与大规模模型相当，这表明预训练成功地植入了低层物理能力（抓取、对齐），且独立于任务语义。
真实世界 (WidowX)：
- 每个任务仅使用 200 条专家轨迹 和 30 小时 的自主随机探索数据进行训练。
- 鲁棒性： 在严重的视觉扰动（如背景纹理变化、视角变化）下，互联网规模的基准模型 (NORA) 和标准 BC 的成功率均跌至 0%。TAP 则保持了 15–25% 的成功率。
- 在存在视觉干扰物的杂乱环境中，TAP 在推动任务中保持了 65% 的成功率，而标准 BC 降至 5%，NORA 降至 60%。
消融实验：
- 收敛性： 预训练并未加速初始学习率，但提高了性能上限，防止了标准 BC 中出现的早期饱和现象。
- 规模化： 下游性能严格受限于第一阶段预训练的规模；如果任务无关的暴露不足，无论微调持续多久，都会出现收益递减。
- 注意力： Grad-CAM 分析显示，第一阶段的模型学会在没有语言的情况下关注可操作实体（夹持器、物体），而第二阶段则将这种注意力细化到基于指令的特定智能体。

5. 意义与主张

本文声称，任务无关预训练 为具身智能提供了一条可扩展的路径，挑战了“扩大专家数据规模是提升智能体能力的唯一途径”这一假设。

范式转移： 它将重点从“被动数据收集”（遥操作）转向“主动、任务无关的交互”（自我探索），模拟了生物智能体（婴儿）在学习特定任务之前先获得运动能力的过程。
可扩展性： 通过将物理学习与语义学习解耦，TAP 解锁了大量、廉价、无标签交互数据的价值，降低了对昂贵人工标注的依赖。
鲁棒性： 结果表明，在预训练期间进行多样化的物理经验积累，可以产生对领域不变的表示，这对于现实世界的部署至关重要，因为现实中的分布偏移是不可避免的。

作者总结道，虽然当前的 VLA 模型正受到专家演示“数据墙”的限制，但通过任务无关预训练实现“先学会移动，再学会做事”的策略，可以有效绕过这一限制，从而获得鲁棒且可迁移的物理表示。