💻 computer science

MLA: A Multisensory Language-Action Model for Multimodal Understanding and Forecasting in Robotic Manipulation

该论文提出了一种多感官语言 - 动作（MLA）模型，通过创新的无编码器多模态对齐方案将大语言模型直接作为感知模块，并结合未来多感官生成后训练策略以增强物理世界建模能力，从而在复杂接触式机器人操作任务中显著超越了现有的视觉 - 语言 - 动作模型。

原作者： Zhuoyang Liu, Jiaming Liu, Jiadong Xu, Nuowei Han, Chenyang Gu, Hao Chen, Kaichen Zhou, Renrui Zhang, Kai Chin Hsieh, Kun Wu, Zhengping Che, Jian Tang, Shanghang Zhang

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhuoyang Liu, Jiaming Liu, Jiadong Xu, Nuowei Han, Chenyang Gu, Hao Chen, Kaichen Zhou, Renrui Zhang, Kai Chin Hsieh, Kun Wu, Zhengping Che, Jian Tang, Shanghang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 MLA（多感官语言 - 动作模型）的新技术，它旨在让机器人变得更聪明、更灵活，能像人类一样在复杂的现实世界中“动手”干活。

为了让你更容易理解，我们可以把机器人想象成一个刚入职的“新手学徒”，而 MLA 就是给这个学徒配备的一套超级大脑和感官系统。

以下是用通俗语言和生动比喻对这篇论文的解读：

1. 核心问题：以前的机器人为什么“笨”？

以前的机器人（也就是传统的 VLA 模型）就像是一个只戴着眼镜、只靠听指令的“理论派”学徒。

看得不够全：它们主要靠摄像头看 2D 照片（就像看平面地图），很难理解物体的深度、形状和空间位置。
感觉不到：它们没有触觉，不知道手里拿的东西是轻是重，是滑是涩。
想得不深：它们只能根据眼前的画面直接做动作，缺乏对“接下来会发生什么”的预判能力。

这就导致机器人一旦遇到稍微复杂、需要精细接触的任务（比如把鸡蛋放在面包上而不捏碎，或者擦白板时控制力度），就容易手忙脚乱，甚至失败。

2. MLA 的解决方案：给学徒装上“超级感官”和“预知能力”

MLA 模型通过三个关键创新，把“理论派”学徒升级成了“全能实战专家”：

A. 扔掉多余的“翻译官”，让大脑直接“看” (无编码器对齐)

以前的做法：机器人看图片、看 3D 模型、摸东西，需要专门的“翻译官”（编码器）先把这些信息翻译成大脑能懂的语言，再传给大脑。这就像你听外语，先要经过一个翻译，效率低且容易失真。
MLA 的做法：它直接让大脑（大语言模型）自己当翻译官。
- 比喻：想象大脑直接学会了“看图说话”和“摸物知意”。它不需要额外的翻译设备，直接把 2D 图片、3D 点云（物体的立体形状）和触觉信号（摸到的感觉）全部整合在一起。
- 神奇之处：它利用摄像头的位置信息，把 3D 的点和触觉传感器直接“映射”到 2D 图片的对应位置上。就像你摸到一个苹果，大脑能瞬间知道这个触感对应图片里苹果的哪个位置。这让机器人对世界的理解变得立体且统一。

B. 学会“未卜先知”，通过“做梦”来练习 (未来多感官生成)

以前的做法：机器人只看现在，做一步看一步。
MLA 的做法：它在训练时会做一个**“预知未来”的练习**。
- 比喻：就像下棋高手在走棋前，会在脑海里模拟“如果我走这一步，对手会怎么反应？棋盘会变成什么样？”
- MLA 不仅预测下一步动作，还会预测未来的画面、未来的物体形状（3D 点云）和未来的触感。
- 作用：通过这种“预演”，机器人能提前理解物理规律（比如推倒积木塔会怎样，擦桌子时抹布会怎么变形）。这种对物理动态的深刻理解，让它在做动作时更加稳健、精准。
- 注意：这个“预知”能力只在训练时使用，真正干活时（推理阶段），它不需要做这些复杂的预测，所以干活速度依然很快。

C. 循序渐进的“特训营” (三阶段训练)

为了让这个大脑真正学会，作者设计了一个三步走的训练计划：

通识教育（预训练）：先让机器人看大量的图片和指令，学会基本的语言和图片理解（就像小学教育）。
感官特训（微调）：加入 3D 数据和触觉数据，用刚才说的“直接映射”方法，让大脑学会把视觉、触觉和空间感融合在一起（就像上了大学，开始接触专业领域）。
实战演练（后训练）：加入“预知未来”的练习，让机器人学会推演物理变化，为最终的动作生成打下坚实基础（就像去实习，在真实场景中磨练）。

3. 效果如何？

论文在真实的机器人实验和模拟环境中进行了测试，结果非常惊人：

实战表现：在复杂的接触性任务中（比如擦白板、把鸡蛋放面包上、双机械臂协作），MLA 的成功率比目前最先进的 2D 模型高了 12%，比 3D 模型高了 24%。
适应性强：即使换了没见过的物体（比如把鸡蛋换成生菜）或者背景变得杂乱，MLA 依然能保持很高的成功率，而旧模型则容易“翻车”。
模拟测试：在 RLBench 模拟器的 10 个任务中，MLA 的平均成功率达到了 81%，远超其他对手。

总结

简单来说，MLA 就是给机器人装上了一套“全感官大脑”。它不再依赖笨重的翻译设备，而是让大脑直接理解视觉、触觉和空间；它不再只看眼前，而是学会了“预演未来”。这使得机器人从只会机械执行指令的“工具”，进化成了能理解物理世界、灵活应对复杂任务的“智能工匠”。

这项技术让机器人离真正走进我们的家庭、工厂，帮我们干那些精细、复杂的活，又迈进了一大步。

1. 研究背景与问题 (Problem)

核心痛点：
现有的视觉 - 语言 - 动作（VLA）模型虽然在机器人操作任务中展现了良好的泛化能力，但它们主要依赖2D 图像和自然语言指令。这种单一模态的感知方式存在以下局限：

空间与物理动态理解不足： 2D 图像难以捕捉深度的空间依赖关系和复杂的物理动力学（如接触力、物体形变）。
多模态对齐效率低： 现有的多模态方法通常引入额外的、针对特定模态（如 3D 点云、触觉）的编码器。这些编码器往往缺乏与大型语言模型（LLM）预训练嵌入的对齐，导致计算成本高且推理效率低。
缺乏未来状态预测： 大多数 VLA 模型仅关注当前状态到动作的映射，缺乏对未来多感官状态（如未来的点云结构、触觉反馈）的预测能力，这使得模型难以在复杂、高接触（contact-rich）的场景中进行有效的运动规划。

研究目标：
如何构建一个统一的模型，能够协同感知异构的多感官信息（2D 图像、3D 点云、触觉信号），并预测其未来状态，从而增强机器人对物理世界的建模能力和动作生成的鲁棒性。

2. 方法论 (Methodology)

作者提出了 MLA (Multisensory Language-Action) 模型，其核心架构基于大型语言模型（LLM，具体为 LLaMA-2 7B），并包含以下关键创新：

A. 无编码器多模态对齐机制 (Encoder-Free Multimodal Alignment)

设计理念： 摒弃传统的独立模态编码器，直接复用 LLM 自身的初始 Transformer 块作为感知模块。
实现方式：
- Token 化： 将 2D 图像（分块）、3D 点云（局部聚类）和触觉信号（MLP 嵌入）直接转换为共享的 Token 序列。
- 位置引导的对比学习： 利用相机参数将 3D 点云和触觉夹爪的空间位置投影到 2D 图像平面上，构建跨模态的位置对应关系。
- 损失函数： 在 Token 级别应用对比损失（InfoNCE），将投影位置对应的图像 Token、点云 Token 和触觉 Token 作为正样本对进行对齐，未匹配的作为负样本。这使得 LLM 无需额外编码器即可理解多模态数据的空间语义一致性。

B. 未来多感官生成后训练策略 (Future Multisensory Generation Post-Training)

设计理念： 为了增强对物理动力学的理解，模型不仅预测动作，还预测未来的多感官状态。
实现方式：
- 在 LLM 的最后一层隐藏状态之上，接入轻量级的 Transformer 解码器。
- 多任务预测： 联合预测未来的关键帧状态，包括：
  1. 2D 图像： 预测前景区域的未来图像（去除背景以减少优化难度）。
  2. 3D 点云： 预测未来关键帧的点云结构（通过掩码自编码器思想，先对齐中心点再细化邻居点）。
  3. 触觉信号： 预测未来的触觉反馈向量。
优势： 这种预测过程迫使模型在内部推理语义、几何结构和物体交互信息，从而为动作生成提供更鲁棒的特征条件。注意： 该预测过程仅在训练阶段（后训练阶段）使用，推理时不影响效率。

C. 三阶段训练流程 (Three-Stage Training Pipeline)

大规模预训练 (Pretraining)： 在 57 万条图像 - 动作配对数据上预训练 LLM，仅使用图像和语言模态，保留其他模态的 Token 位置。
监督微调 (SFT)： 引入点云和触觉数据，利用无编码器多模态对齐机制进行微调，增强跨模态表征。
后训练 (Post-Training)： 引入未来多感官生成任务，进一步让模型学习物理动力学规律，提升动作生成的鲁棒性。

3. 关键贡献 (Key Contributions)

MLA 模型架构： 提出了一种多感官语言 - 动作模型，创新性地无需额外编码器，直接利用 LLM 本身对齐并解释图像、点云和触觉信号。
未来多感官生成策略： 设计了后训练策略，使模型能够推理并生成未来的多模态状态（语义、几何、交互），显著增强了物理世界的建模能力。
渐进式训练范式： 通过“预训练 -> 监督微调 -> 后训练”的流水线，逐步赋予模型在真实物理世界中整合感知、理解和动作生成的能力。
SOTA 性能与泛化性： 在复杂、高接触的真实世界任务中取得了最先进的性能，并展现出对未见物体和背景的强泛化能力。

4. 实验结果 (Results)

A. 真实世界实验 (Real-World Experiments)

任务设置： 在单臂和双臂 Franka 机器人上进行了 6 个复杂接触任务（如擦拭白板、放置鸡蛋、开盖取物等）。
对比基线： 与 SOTA 的 2D VLA 模型 ( $\pi_0$ ) 和 3D VLA 模型 (SpatialVLA) 对比。
性能提升：
- 相比 $\pi_0$ (2D)，MLA 平均成功率提升 12%。
- 相比 SpatialVLA (3D)，MLA 平均成功率提升 24%。
- 在“擦拭白板”等需要精细触觉反馈的任务中，MLA 表现尤为突出。
泛化性测试： 在未见物体（如用生菜代替鸡蛋）和未见背景（杂乱场景）下，MLA 的成功率下降幅度远小于基线模型（例如在未见背景下，MLA 保持 40% 成功率，而 $\pi_0$ 降至 25%）。

B. 仿真实验 (Simulation Experiments)

基准： RLBench 模拟器中的 10 个任务。
结果： MLA 平均成功率达到 81%，显著优于 $\pi_0$ (65%) 和 SpatialVLA (46%)。
消融实验：
- 输入模态： 证明同时引入 2D、3D 和触觉信号并配合位置引导的对比对齐（Token-level）效果最佳。
- 对齐层数： 在 LLM 的第 8 层进行对比对齐效果最好，既保证了特征对齐，又保留了深层网络用于动作生成。
- 未来预测： 移除任意一种未来状态预测（图像、点云或触觉）都会导致性能下降，证明多感官联合预测的必要性。

5. 意义与影响 (Significance)

范式转变： MLA 证明了 LLM 本身可以作为统一的多模态感知模块，无需依赖昂贵且难以对齐的专用编码器，为构建高效的多模态机器人基础模型提供了新范式。
物理世界建模： 通过引入“未来状态预测”作为辅助任务，模型能够隐式地学习物理动力学（如接触力、物体运动轨迹），解决了传统 VLA 在复杂接触任务中“盲目”执行的问题。
实用价值： 该方法在真实机器人上验证了其在复杂操作任务中的有效性，特别是在缺乏触觉传感器的仿真环境中也能保持竞争力，展示了强大的迁移能力。
开源贡献： 作者提供了项目网站，并强调了在真实世界数据稀缺情况下的训练策略，为社区提供了可复现的基准和思路。

总结： MLA 通过“去编码器化”的感知对齐和“未来状态预测”的动力学推理，成功弥合了语言模型与物理机器人操作之间的鸿沟，显著提升了机器人在复杂、高接触场景下的操作成功率和泛化能力。