💻 computer science

MuseVLA: An Adaptive Multimodal Sensing Vision-Language-Action Model for Robotic Manipulation

MuseVLA 是一种自适应多模态视觉-语言-动作模型，它能够动态地按需调用多样化的传感器作为工具，将它们的读数转换为统一的“落地传感器图像”表示，并利用数据合成流水线，在需要温度、音频或雷达感知的复杂机器人操控任务中实现卓越性能。

原作者： Xingyuming Liu, Ruichun Ma, Heyu Guo, Qixiu Li, Qingwen Yang, Lin Luo, Shiqi Jiang, Chenren Xu, Jiaolong Yang, Baining Guo

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xingyuming Liu, Ruichun Ma, Heyu Guo, Qixiu Li, Qingwen Yang, Lin Luo, Shiqi Jiang, Chenren Xu, Jiaolong Yang, Baining Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一间凌乱的房间里寻找一件特定的物品。如果你只有眼睛（RGB视觉），你可能会错过一杯冷饮，因为它看起来和热饮一模一样；或者你可能听不到被藏在毯子下的手机铃声。人类很聪明：我们不只是盯着看，我们会根据任务使用不同的“工具”。如果某个东西是热的，我们可能会感受空气；如果某个东西在发出声音，我们会去听；如果某个东西被遮挡住了，我们可能会使用一种工具来穿透它。

MuseVLA 是一个旨在实现这一目标的机器人大脑。它是一种新型的机器人控制器，它不仅仅依赖摄像头；它知道如何根据任务选择合适的“感官”，就像人类一样。

以下是它的工作原理，通过简单的概念进行拆解：

1. “工具箱”方法

当今大多数机器人大脑就像是一个只有手电筒的人。他们能看见，但无法感知热量或听到声音。MuseVLA 则不同。它将传感器（如热成像相机、麦克风和雷达）视为工具箱中的工具。

问题： 如果你要求机器人“拿一杯热饮”，一个只有摄像头的标准机器人可能会抓起一杯冷的，因为它们看起来完全一样。
MuseVLA 的解决方案： 当机器人听到“热饮”时，它不只是观察。它会思考：“我需要检查温度，”然后它会“调用”它的热成像相机工具。如果指令是“寻找正在响的手机”，它就会切换到它的麦克风工具。它只使用它需要的工具，从而节省能量并集中注意力。

2. “魔法叠加层”（接地式传感器图像）

这是该论文最巧妙的技巧。不同的传感器说着不同的语言。热成像相机说的是“热图”（显示温度的颜色），而雷达说的是“反射图”。要教机器人同时理解所有这些不同的语言是非常困难的。

MuseVLA 通过创建一个魔法叠加层解决了这个问题：

想象你有一张普通的桌子照片。
机器人选择了正确的传感器（例如热成像）。
它从该传感器获取“热图”，并将它仅“涂抹”在它关心的特定物体（如瓶子）上，让照片的其他部分保持正常。
现在，机器人看到了一张统一的图片，其中“热”瓶子在普通照片之上闪烁着红光。

这使得机器人可以使用其现有的“视觉大脑”（它在观察照片方面已经非常出色）来理解热量、声音或雷达，而无需为每种传感器学习一套全新的语言。

3. 无需百万机器人的学习（数据合成）

训练机器人通常需要收集数千小时的真实世界视频，即机器人实际触摸热杯子或聆听手机铃声的过程。这既昂贵又缓慢。

MuseVLA 使用了一个数据合成流水线（一个“伪数据”生成器）：

研究人员提取了现有的机器人移动普通物体的视频。
他们使用计算机程序“注入”了伪传感器数据。例如，他们拍摄了一个杯子的视频，然后在上面数字涂抹了一个“热”色调，然后告诉机器人：“这是一个热杯子。”
这使他们能够从普通视频中创建海量的“多感官”训练数据，从而在不需要物理机器人重复执行一万次的情况下，教会机器人如何对热量、声音和雷达做出反应。

4. 结果：多感官大师

团队在一个配备了灵巧手（非常灵活的手）的真实机器人上测试了 MuseVLA。他们给了它三种类型的棘手任务：

热感应： 专门拿起“热”或“冷”的饮料。
音频： 寻找一个在毛巾下鸣响的手机。
雷达： 寻找隐藏在封闭纸箱内的物体（摄像头无法看穿纸箱）。

得分情况：

仅使用摄像头的机器人大部分时间都失败了（成功率约为 20%）。
尝试同时使用所有传感器（但没有智能地使用）的机器人也表现挣扎。
MuseVLA 的成功率达到了 80.6%。

更令人印象深刻的是，当他们给机器人一个从未见过的新任务（例如寻找一个“正在响的玩具”而不是手机）时，它仍然能达到约 66.7% 的成功率，这表明它真正学会了“为任务选择正确感官”的概念。

总结

MuseVLA 是一个像熟练人类一样工作的机器人大脑：它倾听指令，决定需要哪种感官（视觉、热感、声音或雷达），聚焦于正确的物体，并将这些信息结合成一张单一的图片来完成任务。它高效地完成了这一切，无需为每种新传感器重新训练，并且能够泛化到它从未遇到过的新情况中。

技术摘要：MuseVLA

问题陈述

目前的视觉-语言-动作（VLA）机器人操控模型主要依赖于 RGB 观测。虽然这在视觉任务中非常有效，但这种局限性限制了机器人感知难以或无法通过标准摄像头推断出的物理属性的能力，例如温度、声音或雷达响应。现有的整合非视觉模态（如深度、触觉、音频）的尝试面临三个主要局限性：

缺乏适应性： 它们通常需要为每种特定传感器设计专门的模型架构或编码器，导致难以扩展到多样化或不断演进的传感器集。
数据稀缺： 它们依赖于大规模、高成本的多模态数据集，而这些数据的收集非常耗时。
静态传感器使用： 现有模型通常假设固定的传感器配置，缺乏根据特定任务自适应选择最相关感官输入的能力，从而导致效率低下和性能欠佳。

相比之下，人类将感官模态视为任务导向的工具，仅在必要时自适应地选择并调用正确的传感器（例如，用热成像感知热量，用音频感知声音）。MuseVLA 旨在在统一的 VLA 框架内复制这种自适应能力。

方法论

MuseVLA 是一种自适应多模态感知 VLA 模型，旨在将多样化的传感器作为“按需工具”进行集成。其架构和流水线结构如下：

1. 自适应传感器选择机制

MuseVLA 不同时处理所有传感器输入，而是将任务分解为三个阶段：

传感器与目标生成： 给定语言指令 ( $l$ ) 和 RGB 观测 ( $o_t$ )，VLA 模型 ( $\pi$ ) 首先生成一个传感器标记（例如 <thermal>、<acoustic>、<mmWave> 或 <none>）和一个目标描述 ( $l_d$ )。这类似于带有参数的工具调用，用于选择特定的模态和感兴趣的对象。
落地传感器图像构建： 所选的传感器测量值 ( $s_{i,t}$ ) 由落地函数 ( $G$ ) 进行处理。利用目标描述，分割模块 (SAM3) 在 RGB 图像上创建目标对象的二值掩码。随后将传感器数据作为热图叠加在该掩码区域上，从而创建落地传感器图像 ( $m_{i,t}$ )。
动作生成： 落地传感器图像被附加到模型输入中。随后，VLA 模型根据指令、RGB 图像以及统一的落地传感器图像生成动作块 ( $A$ )。

2. 统一表示

为了避免模态特定的编码器，MuseVLA 使用落地传感器图像作为统一的中间表示。通过将异构的传感器读数投影到 RGB 相机平面上的目标对象之上，模型可以使用单一的预训练视觉编码器 (SigLIP) 来处理所有模态。这实现了传感器特定处理与 VLA 主干网络之间的解耦，使得在无需全量重新训练的情况下集成新传感器成为可能。

3. 数据合成流水线

为了解决现实世界多模态数据稀缺的问题，作者提出了一个数据合成流水线：

关键词注入： 将物理属性关键词（如“热”、“有回声”、“被占用”）注入到现有仅 RGB 数据集的任务指令中。
合成落地： VLM 生成目标描述，SAM3 对物体进行分割，并将对应于该物理属性的彩色掩码叠加在分割区域上。
数据集扩展： 该过程从现有的 RGB 数据集（MolmoAct、AgiBotWorld-Alpha、VITRA）中生成多模态训练数据（9.6K 个回合），从而实现高效的数据驱动训练和零样本泛化。

4. 模型架构与训练

主干网络： 模型使用 PaliGemma-2（Gemma-2 + SigLIP）作为 VLM 主干，并使用扩散 Transformer (DiT) 作为动作专家。
训练策略： 模型进行协同训练。VLM 被训练以最小化生成传感器标记和目标描述的交叉熵损失。VLA 通过结合损失函数进行端到端训练：即 VLM 损失加上用于动作预测的扩散 MSE 损失。这确保了模型在生成有效操控动作的同时，保持准确的传感器选择。

核心贡献

MuseVLA 模型： 一种自适应多模态感知 VLA，将传感器视为按需工具，实现了用于灵巧手操控的可扩展且高效的传感器集成。
新型表示与机制： 引入了用于自适应选择的可学习传感器标记，以及作为统一表示的落地传感器图像，消除了对模态特定编码器的需求。
数据合成流水线： 一种从现有 RGB 数据生成多模态数据集的方法，有助于在无需昂贵硬件数据采集的情况下进行针对未见任务的训练。
实证评估： 在配备热成像相机、毫米波雷达和麦克风阵列的真实机器人设置上进行了全面的评估。

实验结果

模型在涉及热成像相机、毫米波雷达和麦克风阵列的真实机器人设置上进行了评估。

任务成功率： MuseVLA 在热引导抓取放置、音频驱动物体搜索和雷达辅助隐藏物体检索任务中，平均成功率达到了 80.6%。
- 这显著优于仅 RGB 的基线模型（例如， $\pi_0$ -RGB 为 20.8%）以及使用原始传感器热图而非自适应选择的基线模型（例如， $\pi_0$ -Raw 为 27.8%）。
- 具体而言，MuseVLA 在平均成功率上比表现最好的仅 RGB 基线高出 58%，比表现最好的原始传感器基线高出 47%。
自适应选择准确率： 模型在选择正确的传感器标记和目标描述方面表现出极高的准确性，在训练任务上实现了 100% 的传感器选择准确率，并在预训练后的未见任务上实现了 82.0% 的目标描述准确率。
效率： 通过仅选择相关的传感器，MuseVLA 将推理 GPU 显存占用从 13.23 GB（处理所有传感器）降低到了 6.61 GB。
零样本泛化： 当在合成数据集上训练时，MuseVLA 在未见任务（具有新物体组合或指令结构的任务）上实现了 66.7% 的成功率，展示了强大的泛化能力。
多阶段任务： 模型成功处理了级联任务（例如，雷达 $\to$ 热成像），在单次端到端执行过程中切换模态的成功率为 75.0%。

意义与主张

论文声称 MuseVLA 代表了通向通用多模态操控的可扩展路径。通过将传感器处理与 VLA 主干网络解耦，并将传感器视为条件工具，该方法允许机器人高效地获取面向任务的物理观测，而不会产生处理所有可用传感器的计算开销。作者断言，其数据合成流水线有效地缓解了数据稀缺的瓶颈，实现了对需要多模态感知的任务的稳健零样本泛化。

作者承认目前的局限性，特别是其实际规模较小的多模态数据集以及对高性能分割模块 (SAM3) 的依赖，并指出随着更大规模的数据集和更强的分割模型的出现，这些约束可能会得到缓解。这项工作被视为使机器人能够像人类一样，具备任务驱动的、自适应的感官灵活性，从而与物理世界进行交互的一步。