🤖 AI

Learning Action Priors for Cross-embodiment Robot Manipulation

本文提出了一种两阶段训练框架，该框架通过在无条件的运动轨迹上预训练一个轻量级动作模块以学习跨具身时间先验，随后通过解码器重用和潜变量蒸馏将该先验迁移至视觉-语言-动作模型，从而在数据稀缺的真实世界操控任务中实现更快的收敛速度、更高的成功率以及更强的泛化能力。

原作者： Dong Jing, Tianqi Zhang, Jiaqi Liu, Jinman Zhao, Zelong Sun, Li Erran Li, Zhiwu Lu, Mingyu Ding

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dong Jing, Tianqi Zhang, Jiaqi Liu, Jinman Zhao, Zelong Sun, Li Erran Li, Zhiwu Lu, Mingyu Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《学习跨具身机器人操控的动作先验》（Learning Action Priors for Cross-embodiment Robot Manipulation）的通俗化解释，采用了日常生活的类比。

核心问题：处于“盲目”状态的机器人

想象一下，你正在雇佣一名学徒来学习烹饪。在目前的机器人训练方法（称为视觉-语言-动作或 VLA 模型）中，你递给学徒一本内容极其丰富的食谱，里面充满了食材的照片和文字说明（即视觉和语言部分）。

然而，这本食谱完全没有提到应该如何实际移动双手。学徒从未拿过刀，从未感受过平底锅的重量，也不知道该如何切菜、搅拌或翻炒。他们必须在试图阅读食谱的同时，还要同时搞明白物理运动规律。

结果就是，学徒感到很困惑。他们可能会对着空气挥刀，或者把锅掉在地上，甚至因为试图同时学习两件极难的事情——“食谱说了什么？”以及“我的肌肉该如何运动？”——而陷入僵直状态。

这篇论文指出，目前的机器人正面临着这个完全相同的问题。它们非常擅长理解语言和观察图像，但它们的“肌肉”（动作模块）却几乎是从零开始，没有任何关于如何运动的先验知识。

解决方案：“蒙眼”练习先行

作者提出了一个两阶段的训练方法。与其直接把机器人扔进厨房并交给它一份食谱，不如先让机器人在没有任何食谱或图片的情况下练习移动。

这就像一名舞蹈生。在学习一段特定的音乐舞步（食谱）之前，他们会先在练功房里，在静默中练习基础的步伐、平衡和节奏。他们学习的是身体如何移动、如何转身以及如何停顿。

两个阶段：

第一阶段：“蒙眼”动作课
- 发生了什么： 机器人只接收关于机器人手臂如何移动的数据（轨迹）。它看不见图像，也听不到指令。
- 类比： 这就像一名蒙着眼睛的学徒，一遍又一遍地练习搅拌、抬起和放置物体的物理动作。他们并不是在尝试做某道特定的菜，而是在学习移动的“感觉”。
- 结果： 机器人建立了一种“肌肉记忆”或动作先验（Motion Prior）。它学习了物理的基本规则：“如果我这样移动手臂，物体就会向那里移动。”它学习了运动的流畅感。
第二阶段：烹饪课
- 发生了‌ها： 现在，机器人拿到了那本食谱（图像和语言指令）。
- 类比： 学徒不再是完全的初学者了。他们已经知道如何握刀以及如何平稳地移动手臂。现在，他们只需要学习根据食谱去使用哪把刀，以及何时进行切割。
- 结果： 因为机器人已经掌握了如何移动，它学习新任务的速度会快得多。它不会把时间浪费在搞清楚基础物理规律上，而是专注于理解指令。

他们是如何连接这两个阶段的

论文使用了三个巧妙的技巧，以确保“动作练习”能对“烹饪课”有所帮助：

重用肌肉记忆： 在第二阶段中，机器人用于学习移动的部分被重复利用了。这就像学徒保留了他们在练习中所使用的同一双手和肌肉，而不是换了一套新的手。
“幽灵”老师： 在第二阶段的开始，机器人会被告知：“记得你在第一阶段是如何移动的吗？试着像那样移动。”这能防止机器人在学习新食谱的过程中出现混乱或不规则的动作。
“记忆标记（Memory Token）”： 机器人经常会忘记前一秒做了什么。作者创建了一种方法，将机器人最近的历史记录（它做了什么以及看到了什么）压缩成一个单一的、微小的“摘要标记”。这就像学徒手里有一张便签纸，上面写着：“我刚刚抓住了杯子，现在我需要把它抬起来。”这有助于机器人在执行长任务时做出更好的决策。

为什么这很重要（实验结果）

研究人员在 13 种不同的任务上对不同类型的机器人（有些在模拟器中，有些是真实机器人）进行了测试。

学习更快： 机器人学习新任务的速度更快，因为它们不必从头开始学习如何移动。
更擅长处理困难任务： 最大的收获是在“长尾（long-tail）”任务上——即那些数据非常稀少的任务（例如，一个真实世界的机器人在只有 50 个示例的情况下尝试堆叠杯子）。如果没有这种先验知识，机器人会陷入僵直或动作僵硬。有了这种先验知识，它的动作会变得平滑且成功。
稳定性更高： 训练过程更加稳定。所谓的“梯度”（告诉机器人如何改进的数学信号）不再那么混乱，这意味着机器人不会“忘掉”已经掌握的知识。

总结

这篇论文表明，在教机器人“做什么”（目标）之前，我们应该先教它“如何移动”（动作）。通过在“学术课”之前给予机器人一堂“体育课”，它会成为一个更优秀、更快速且更可靠的劳动者，尤其是在它需要处理不同类型的机器人或面对缺乏经验的场景时。

技术摘要：学习用于跨具身机器人操控的动作先验

1. 问题陈述

目前的视觉-语言-动作（VLA）模型通常通过在预训练的视觉-语言模型（VLM）主干网络上附加一个动作生成模块，并对其进行联合优化来构建机器人策略。虽然 VLM 主干网络继承了来自大规模基础模型训练的丰富的视觉和语言先验，但动作模块通常是随机初始化或使用来自无关模态的参数。因此，动作模块必须从头开始学习物理运动动力学和时间结构。

这造成了一种结构性的不平衡：早期的 VLA 训练必须同时发现时间动作动力学、学习跨模态对齐（视觉/语言到动作），并对动作分布进行建模。在跨具身设置中，由于机器人的动作空间和运动分布具有异构性，这一挑战被进一步放大。缺乏显式的动作先验会导致梯度不稳定、收敛缓慢以及性能不佳，特别是在数据稀缺、长尾分布的现实世界任务中，此时动作头无法依赖足够的下游监督来学习有效的运动模式。

2. 方法论

作者提出了一个两阶段训练框架，将物理运动结构的学习与跨模态策略对齐解耦。

第一阶段：学习动作先验（仅动作）

在引入任何视觉或语言输入之前，首先在一个轻量级的编码器-解码器动作模块上，仅针对无条件的动作轨迹（状态-动作序列）进行训练。

架构： 基于 Transformer 的编码器-解码器。
目标： 编码器将交错的本体感受状态和动作序列压缩为一个紧凑的潜在嵌入（ $z$ ）。解码器利用**流匹配（flow-matching）**目标，利用该嵌入重建原始的动作块（action chunk）。
输入： 仅包含低层轨迹数据（无视觉或语言）。
目标： 学习连续动作分布和时间运动结构的鲁棒且泛化性强的先验。编码器旨在捕捉宏观的运动语义（例如，平移、抓取），而非孤立的原子动作。

第二阶段：动作先验引导的 VLA 训练

学习到的动作模块通过三种机制被迁移到 VLA 训练阶段：

解码器复用： 重用第一阶段的解码器作为 VLA 动作头，其初始化的权重已经能够模拟合理的机器人运动。
潜在对齐蒸馏： 第一阶段的编码器充当“教师”。在 VLA 训练早期，VLM 预测一个潜在动作嵌入（ $z'$ $z^{'}$ ），并通过蒸馏损失（ $L_{align}$ $L_{a l i g n}$ ）将其与编码器的地面真值嵌入（ $z$ $z$ ）进行对齐。这使得 VLM 的动作特征锚定在学习到的运动潜在空间中。
- 衰减策略： 对蒸馏损失应用单调递减的权重 $\lambda(k)$ 。这使得模型在早期能从先验中受益，随后放宽约束，以允许基于视觉和语言输入的端到端精细化。
历史压缩： 第一阶段的编码器被复用为历史压缩器。它将过去的状态-动作轨迹映射为一个单一的潜在标记（ $z_{hist}$ ），并注入到 VLM 的输入中。这提供了时间上下文，而不会带来原始历史序列的标记开销。

总训练目标结合了主要的预测损失（ $L_{pred}$ ）以及递减的蒸馏和重建损失。

3. 核心贡献

识别了结构性瓶颈： 本文指出，缺乏动作先验是标准 VLA 训练的一个关键局限，尤其是在跨具身泛化方面。
两阶段框架： 引入了专门的动作先验学习阶段，使动作模块在进行跨模态对齐之前，就已具备了时间运动结构。
流匹配编码器-解码器： 一种特定的架构，用于学习紧凑且具备运动感知能力的嵌入，并通过解码器复用和潜在蒸馏进行迁移。
高效的历史集成： 证明了动作编码器可以作为紧凑的历史压缩器，实现以极低的计算成本进行具备历史感知的决策。
实验验证： 在 13 个多样化的跨具身任务（包括模拟和现实世界）中进行了广泛评估，结果显示出更快的收敛速度、更高的成功率以及在长尾任务上的更强稳定性。

4. 实验结果

该方法在三个基准测试的 13 个任务上进行了评估：LIBERO（4 个套件）、RoboCasa（5 个任务）以及一个真实的 Franka 平台（4 个任务）。所有模型均在异构具身设备上进行联合训练，且未进行特定环境的微调。

性能提升： 与没有动作先验的基线（“无动作先验”）相比，所提方法（“动作-状态先验 + 历史”）将整体平均成功率从 55.3% 提高到了 68.0%。
长尾现实世界表现： 增益在数据稀缺的现实任务中最为显著。例如，在“叠杯子（Stack Cups）”任务中，成功率从 25% 提高到 75%；“抓可乐（Grasp Coke）”任务从 5% 提高到 35%。
收敛性： 训练动力学分析表明，动作先验将初始预测损失降低了近 8 倍，并将初始梯度范数降低了 16 倍，从而实现了显著更快且更稳定的收敛。
可扩展性： 增加第一阶段动作仅数据的量（从约 56.5 万次转移扩展到约 230 万次）进一步提升了下游 VLA 的性能，表明该方法具有可扩展性。
效率： 由于不存在图像/语言标记且可以使用更大的批大小，第一阶段的训练仅需约 2 小时（对比第二阶段的 20 小时），这使得相对于性能增益而言，其计算开销几乎可以忽略不计。

5. 重要性与主张

本文声称，所提出的框架通过提供一个类似于 VLM 所拥有的语义先验的“运动先验”，解决了 VLA 训练中的根本性失衡问题。

解耦学习： 通过将“如何移动”的学习（第一阶段）与“如何观察并行动”的学习（第二阶段）分离，该方法防止了动作头在训练早期导致基础模型主干发生失稳。
在数据稀缺环境下的鲁棒性： 当下游监督较为稀疏时（例如，缺乏演示数据的现实世界任务），动作先验显得尤为重要，因为它能防止策略学习到不稳定或抖动的动作。
泛化能力： 该方法通过学习统一且结构化的运动动力学表示，使单一策略能够在异构具身之间（例如，从模拟桌面机器人到类人机器人以及真实的 Franka 机械臂）进行泛化。
可扩展性： 该框架表明，扩展仅动作数据集可以直接产生更强的动作先验，并有效地迁移到下游 VLA 性能中，为更高效的机器人学习提供了一条路径。

作者总结道，与标准的端到端 VLA 训练相比，这种两阶段方法能产生更平滑的轨迹、更快的收敛速度，并在现实世界的数据稀缺任务上表现出显著更强的性能。