🤖 AI

LAP: Language-Action Pre-Training Enables Zero-shot Cross-Embodiment Transfer

该论文提出了语言 - 动作预训练（LAP）方法，通过将底层机器人动作直接表示为自然语言，成功训练出首个能在无需针对特定机器人微调的情况下实现跨形态零-shot 迁移的大规模视觉 - 语言 - 动作模型 LAP-3B，显著提升了跨机器人泛化能力。

原作者： Lihan Zha, Asher J. Hancock, Mingtong Zhang, Tenny Yin, Yixuan Huang, Dhruv Shah, Allen Z. Ren, Anirudha Majumdar

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lihan Zha, Asher J. Hancock, Mingtong Zhang, Tenny Yin, Yixuan Huang, Dhruv Shah, Allen Z. Ren, Anirudha Majumdar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一项名为 LAP (Language-Action Pre-Training，语言 - 动作预训练) 的新技术，它让机器人拥有了真正的“举一反三”能力。

为了让你轻松理解，我们可以把这项技术比作教一个“超级多面手”如何操作各种不同品牌的工具。

1. 以前的困境：只会用特定品牌的工具

想象一下，你花了很多时间教一个机器人（我们叫它“小机器人”）如何操作A 品牌的机械臂。你教它：“把那个红色的杯子拿起来，放进篮子里。”小机器人学得很好。

但是，当你把B 品牌的机械臂（长得稍微有点不一样，比如手抓的形状不同，或者摄像头位置变了）换上去时，小机器人就彻底懵了。它完全不知道该怎么动，甚至可能把杯子打碎。

为什么？
因为以前的机器人模型（VLA）就像是一个死记硬背的学生。它记住的不是“拿杯子”这个概念，而是记住了"A 品牌机械臂的关节要转多少度”这种具体的肌肉记忆。一旦换了新机器（新身体），它之前的记忆就失效了。

2. LAP 的解决方案：用“人话”来指挥

LAP 的核心思想非常简单却极其巧妙：不要教机器人具体的“关节角度”，而是教它用“自然语言”来描述动作。

以前的做法：告诉机器人“关节 1 转 30 度，关节 2 转 15 度”。这就像教人开车只教“左脚踩离合，右脚踩油门”，一旦换了辆不同品牌的车（离合器位置变了），人就不会开了。
LAP 的做法：告诉机器人“把杯子向前移动 5 厘米，然后向右旋转 30 度"。这就像教人开车说“往左打方向盘，踩油门”。不管开的是丰田还是宝马，只要知道“往左打”和“踩油门”是什么意思，人就能开。

LAP 做了什么？
它把机器人原本复杂的、连续的物理动作（比如电机转了多少度），直接翻译成了人类能听懂的自然语言（比如“向前移动 3 厘米”）。然后，它利用一个已经非常聪明的“语言大模型”（就像 ChatGPT 或 Gemini 这种大模型）来学习这些语言指令。

因为大模型本来就懂人类语言，它不需要重新学习“什么是向前”，它只需要学习“向前”在这个场景下对应什么动作。这样，无论换什么机器人，只要它能理解“向前”这个词，它就能执行任务。

3. 这个“新学生”有多强？（实验结果）

研究人员训练了一个叫 LAP-3B 的模型，并进行了测试：

零样本迁移（Zero-shot）：这是最厉害的地方。他们把 LAP-3B 直接放到从未见过的三种新机器人身上（比如不同形状的机械臂、不同位置的摄像头）。
- 以前的模型：成功率几乎为 0%。它们完全无法适应新身体。
- LAP-3B：成功率达到了 50% 以上！这意味着它不需要任何额外的训练，直接就能在新机器人上干活。这相当于你刚学会开丰田，换到宝马上就能直接上路，而且开得还不错。
效率提升：如果需要微调（稍微教一下新机器人），LAP 需要的数据量只有以前的 1/2.5。就像以前要练 100 次才能学会，现在练 40 次就学会了。

4. 为什么它这么聪明？（核心原理）

这就好比翻译官的作用。

传统模型：试图直接模仿动作的“物理细节”（像模仿秀，模仿得越像越好，但换个身体就穿帮了）。
LAP 模型：先通过“语言”理解任务意图（像理解“我要喝水”这个概念），然后再根据当前的身体情况去执行。
- 它把动作变成了通用的语言描述（比如“向左 5 厘米”）。
- 这种描述是与身体无关的。无论是 7 个关节的机械臂，还是 6 个关节的，它们都能理解“向左 5 厘米”是什么意思。
- 这就打破了“身体”和“大脑”之间的壁垒，让大脑（模型）可以通用，身体（机器人）可以随意更换。

5. 总结与比喻

如果把机器人比作演员：

以前的方法：演员背熟了“穿红衣服、走左边、拿苹果”的剧本。一旦让他穿蓝衣服、走右边，他就不会演了。
LAP 的方法：演员学会了“根据情境，把苹果拿给观众”的表演逻辑。不管给他穿什么戏服（换什么机器人），他都能根据“拿苹果”这个指令，自动调整自己的动作。

这篇论文的意义在于：
它让机器人不再被“绑定”在特定的硬件上。未来，我们可能只需要训练一个通用的“机器人大脑”，然后把它部署到工厂里的任何一台机器上，甚至家里的不同型号机器人上，它们都能立刻上手干活，无需重新学习。这就是通往通用机器人（Generalist Robot） 的重要一步。

这是一篇关于机器人基础模型（Foundation Models）的学术论文总结，标题为 《LAP: Language-Action Pre-Training Enables Zero-shot Cross-Embodiment Transfer》（LAP：语言 - 动作预训练实现零样本跨本体迁移）。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

核心目标：机器人领域的长期目标是开发一种通用的策略（Generalist Policy），能够无需针对特定机器人本体（Embodiment）进行微调，即可直接部署到新的机器人上执行任务（即零样本跨本体迁移）。
现有挑战：尽管现有的视觉 - 语言 - 动作模型（VLAs）在大规模多本体预训练上取得了进展，但它们通常与训练时的机器人本体紧密耦合。当面对新的机器人（即使只是夹爪或相机位置有微小差异）时，现有模型往往表现不佳，甚至完全失效，必须经过昂贵的特定本体微调（Fine-tuning）才能工作。
根本原因：
1. 本体空间巨大：难以通过数据覆盖所有可能的机器人形态。
2. 分布不匹配：标准 VLA 训练通常将动作表示为原始的控制信号（如连续的关节角度或末端执行器坐标）或抽象的离散 Token。这种表示方式与预训练视觉 - 语言模型（VLM）的输入输出分布不匹配，导致预训练的语义和视觉表征被破坏，从而阻碍了跨本体的泛化能力。

2. 方法论 (Methodology)

作者提出了 语言 - 动作预训练（Language-Action Pre-training, LAP） 框架，并构建了 LAP-3B 模型。

核心创新：语言 - 动作表示 (Language-Action Representation)

概念：将底层的机器人动作直接表示为自然语言（Natural Language）。
具体形式：动作被描述为末端执行器的位移和旋转的自然语言描述。例如，将原始动作向量转换为字符串："Move forward 3cm, tilt forward 30 degrees"（向前移动 3 厘米，向前倾斜 30 度）。
生成方式：无需人工标注。利用机器人数据集中固有的结构化轨迹，通过固定的坐标系约定（如 +x 向前，+y 向左）和模板，将连续的动作块（Action Chunk）确定性解析为自然语言描述。
优势：
- 分布对齐：动作监督信号与 VLM 预训练时的语言分布高度一致，避免了分布偏移。
- 语义统一：自然语言提供了跨本体的语义抽象，使模型能理解“移动”、“旋转”等概念，而不受具体机械结构的限制。
- 无需学习 Tokenizer：不需要像 FAST 等方法那样训练额外的动作分词器。

模型架构 (LAP-3B)

混合架构 (Mixture-of-Transformers)：结合了 LAP 训练的 VLM 骨干网络和一个轻量级的基于流匹配（Flow-matching）的动作专家（Action Expert）。
- VLM 骨干：使用 PaliGemma-3B 初始化，通过交叉熵损失（Cross-Entropy）预测语言动作 Token。
- 动作专家：负责生成高频连续的实际控制指令。
- 知识隔离 (Knowledge Insulation)：在训练时，阻断从动作专家到 VLM 骨干的梯度回传。这确保了 VLM 的预训练表征不被破坏，仅通过语言监督进行微调。
推理效率：在推理阶段，仅运行轻量级的动作专家，实现了 25Hz 的实时控制频率。

3. 主要贡献 (Key Contributions)

提出 LAP 范式：一种通用的 VLA 预训练食谱，通过自然语言表示动作，解决了 VLM 与机器人控制之间的分布不匹配问题。
首个零样本跨本体 VLA：构建了 LAP-3B，据作者所知，这是第一个在未经任何特定本体微调的情况下，就能在未见过的真实机器人上实现显著零样本迁移的 VLA 系统。
性能突破：在多个新机器人和操纵任务上，LAP-3B 实现了超过 50% 的平均零样本成功率，比最强的现有 VLA 基线提升了约 2 倍（绝对提升约 30%）。
高效微调与扩展性：
- 数据效率：在微调到新任务时，仅需基线模型 2.5 倍更少 的演示数据即可达到同等性能。
- 扩展性：随着模型规模增大（从 4B 到 27B），LAP 的性能持续单调提升，而现有基线在大模型规模下出现饱和甚至退化。
多任务协同训练：证明了语言 - 动作接口可以自然地与视觉问答（VQA，如运动预测）任务协同训练，进一步提升性能。

4. 实验结果 (Results)

零样本跨本体迁移：
- 测试环境：在 4 种机器人本体（1 种训练集内 DROID，3 种未见过的：Custom Franka, YAM, Kinova）和 10 个真实世界操纵任务上进行测试。
- 结果：LAP-3B 在未见过的机器人上平均成功率超过 50%。相比之下，所有开源的 SOTA VLA（包括 $\pi0.5$ 、OpenVLA、X-VLA 等）在未见过的机器人上成功率几乎为 0%，表现出严重的过拟合。
微调效率：
- 在 LIBERO 仿真基准和真实机器人任务（如挂胶带、折叠毛巾）上，LAP-3B 收敛速度更快，仅需更少的梯度步数和演示数据即可达到高性能。
表征分析：
- t-SNE 可视化：LAP-3B 学到的本体特征在训练集和未见集之间高度重叠，表明其学习到了本体无关的控制表征。
- 预测误差：在未见本体上的动作预测误差显著低于基线模型，且训练过程更稳定。
扩展性：在 4B、12B、27B 不同参数规模下，LAP 的验证损失持续下降，而基于 FAST Token 的基线模型在大规模下性能下降。

5. 意义与影响 (Significance)

范式转变：LAP 证明了通过改变动作的表示形式（从抽象 Token/连续值转为自然语言），可以显著释放预训练 VLM 的泛化潜力，无需依赖复杂的本体对齐机制或特定的硬件假设。
降低部署成本：实现了真正的“一次训练，到处部署”，极大地降低了将通用机器人策略部署到新硬件上的成本和门槛。
统一框架：将动作预测、视觉问答（VQA）和机器人控制统一在同一个语言 - 动作格式中，为未来构建更通用的具身智能（Embodied AI）模型提供了新的方向。
开源贡献：作者开源了代码、检查点（Checkpoints）和数据配置，推动了社区在跨本体学习领域的研究。

总结：这篇论文通过引入“语言 - 动作”这一简单而强大的表示方法，成功解决了 VLA 模型难以跨机器人本体迁移的痛点，实现了无需微调的零样本通用机器人控制，是机器人基础模型领域的一项重大突破。