💻 computer science

Towards Dexterous Embodied Manipulation via Deep Multi-Sensory Fusion and Sparse Expert Scaling

本文提出了 DeMUSE 框架，通过结合扩散 Transformer、自适应模态归一化及稀疏专家混合机制，深度融合 RGB、深度与六轴力觉等多模态感知信息，实现了在仿真与真实环境中均达到领先水平的灵巧具身操作性能。

原作者： Yirui Sun, Guangyu Zhuge, Keliang Liu, Jie Gu, Zhihao xia, Qionglin Ren, Chunxu tian, Zhongxue Ga

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Yirui Sun, Guangyu Zhuge, Keliang Liu, Jie Gu, Zhihao xia, Qionglin Ren, Chunxu tian, Zhongxue Ga

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一个名为 DeMUSE 的机器人新大脑。简单来说，它解决了一个老问题：以前的机器人太依赖“眼睛”（视觉），却忽略了“手感”（触觉和力度），导致它们在做精细活儿时要么太笨拙，要么容易把东西捏碎。

我们可以把 DeMUSE 想象成给机器人装上了一套**“超级感官融合系统”**，让它像人类一样，既能看，又能“感觉”到物体的重量和硬度。

以下是用通俗语言和比喻对这篇论文核心内容的解读：

1. 核心痛点：只有眼睛是不够的

以前的机器人（Vision-Centric）： 就像是一个蒙着眼睛的盲人画家，或者一个只盯着屏幕玩游戏的人。它能看到杯子的位置，但不知道杯子有多重，也不知道倒水时手该用多大的力气。如果杯子滑了，它不知道要抓紧；如果倒多了，它不知道要停手。
DeMUSE 的突破： 它给机器人装上了**“全感官”。除了看（RGB 摄像头），它还能“看”深度（3D 空间感），最重要的是，它能“感觉”到力（6 轴力传感器）。这就好比机器人不仅长了眼睛，还长出了敏锐的指尖神经**。

2. 三大核心技术（比喻版）

A. 统一的语言：把“看”和“感觉”说成一种话

问题： 摄像头传回来的是一堆像素（像是一本书），力传感器传回来的是几个数字（像是一句短话）。以前把它们混在一起，就像让书和短话在同一个脑子里打架，谁也听不清谁。
DeMUSE 的做法： 它把图像、深度图和力数据全部**“翻译”**成同一种语言（Token 序列），然后像串糖葫芦一样串在一起，喂给一个超级大脑（Transformer）。
比喻： 就像把交响乐（视觉）、节奏（深度）和歌词（力度）全部编进同一首曲子里，让大脑能同时欣赏，而不是把它们分开处理。

B. 自适应“调音师”：AdaMN

问题： 视觉数据量巨大（像洪水），力数据量很小（像小溪）。如果直接混合，小溪的声音会被洪水淹没。
DeMUSE 的做法： 它设计了一个叫 AdaMN 的机制。
比喻： 想象一个智能调音台。当视觉信号太“吵”时，它自动把视觉音量调小；当力信号太“弱”时，它自动把力信号放大。它确保无论信号强弱，大脑都能公平地听到每一种感官的声音，不会因为视觉太丰富而忽略了关键的“手感”。

C. 专家会诊模式：稀疏混合专家（MoE）

问题： 要让机器人变聪明，通常需要把大脑做得很大（参数很多），但这会让反应变慢，机器人动作就会卡顿，跟不上实时操作。
DeMUSE 的做法： 它没有把大脑做得“又大又重”，而是用了**“专家会诊”**的模式。
比喻： 以前的大模型像是一个全科医生，什么病都自己看，累得半死还容易出错。DeMUSE 像是一个拥有多位专科医生的医疗团队。
- 遇到“看东西”的问题，叫眼科专家出马。
- 遇到“用力”的问题，叫骨科专家出马。
- 还有一个常驻的“全科专家”（Shared Expert）负责处理大家都懂的基础常识。
- 好处： 每次只激活需要的专家，既保持了超级聪明（能处理复杂任务），又保证了反应极快（适合实时控制）。

3. 它是怎么学习的？（联合去噪）

以前的方法： 先猜动作，再猜环境会变什么样，或者反过来。这就像**“先开枪，再画靶子”**，容易脱节。
DeMUSE 的做法： 联合去噪。它同时预测“环境会变成什么样”和“手该做什么动作”。
比喻： 就像排练一场完美的舞蹈。机器人不仅在脑子里想象“如果我把杯子拿起来，水会怎么晃”，同时也同步规划“我的手该怎么动才能接住水”。它确保想象和行动是严丝合缝的，符合物理定律。

4. 实际效果怎么样？

模拟测试： 在虚拟世界里，它的成功率达到了 83.2%，比以前的顶尖模型（如 RT-2, Diffusion Policy）都要高。
真实世界： 在真实的机器人手臂上，它成功完成了四个高难度任务：
1. 整理工具抽屉： 需要把工具放进去并关好抽屉（长流程）。
2. 倒可乐： 需要精准控制倒多少（1/3 杯），不能溢出来。
3. 按压洗手液： 需要感知按压的力度，按多了会喷溅，按少了出不来。
4. 扫地进簸箕： 需要处理遮挡和复杂的接触。
关键数据： 在需要“手感”的任务（如倒可乐、按洗手液）中，它表现得非常稳，不会像以前的机器人那样因为用力过猛把东西弄坏，或者因为没感觉到阻力而卡住。

总结

DeMUSE 就像给机器人装上了**“心灵手巧”的超能力**。它不再是一个只会看图的笨拙机器，而是一个能看、能感、能思考的灵巧工匠。通过把视觉、深度和触觉完美融合，并采用高效的“专家会诊”架构，它让机器人在处理复杂、精细的物理任务时，第一次表现出了接近人类的灵巧度和适应性。

这篇论文告诉我们：未来的机器人要想真正走进家庭或工厂干细活，光有“眼睛”是不够的，必须得有“手感”和“大脑”的完美配合。

这篇论文提出了一种名为 DeMUSE (Deep Multimodal Unified Sparse Experts) 的框架，旨在解决灵巧具身操作（Dexterous Embodied Manipulation）中多模态感知与动作生成的深度融合问题。以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

核心挑战：现有的具身智能模型（如 VLA 模型）大多以视觉为中心（Vision-centric），往往忽略了对于复杂物理交互至关重要的力反馈（Force）和几何深度（Depth）信息。
现有局限：
1. 多模态对齐失败：RGB 图像、深度图和 6 轴力/力矩信号在统计分布上存在巨大的异质性（Heterogeneity），导致在联合分布中难以有效对齐，关键信号（如力）的注意力被视觉信号淹没。
2. 物理一致性缺失：传统的解耦范式导致感知预测与动作生成在时间上不同步，难以保证“想象”（环境演化）与“执行”（物理动作）符合相同的物理因果律，特别是在高精度、长视野的任务中。
3. 计算效率瓶颈：为了容纳大规模物理先验，模型参数量增加，但稠密（Dense）架构导致推理延迟过高，无法满足机器人实时控制的需求。

2. 方法论 (Methodology)

DeMUSE 基于 Diffusion Transformer (DiT) 架构，通过以下核心组件实现多模态深度融合：

2.1 统一序列化流与联合去噪 (Unified Stream & Joint Denoising)

输入处理：将 RGB 图像、深度图、6 轴力/力矩以及动作信号统一投影到共享的潜在空间，并串联成单一的 Token 序列。
联合目标：采用**联合去噪（Joint Denoising）**目标，同步合成未来的环境演化（视觉状态）和动作序列。这确保了模型在生成动作时，能够同时“想象”出符合物理规律的未来场景，从而保证物理一致性。

2.2 自适应模态特定归一化 (AdaMN)

问题：标准归一化（如 AdaLN）通过平均统计量来统一不同模态，会抹杀稀疏力信号的独特性。
解决方案：提出 AdaMN。它为每种模态（RGB, Depth, Force）设计独立的仿射专家路径（Affine Expert Paths）。
机制：根据全局上下文（语言指令 + 扩散步数）动态生成每种模态特定的缩放因子（ $\gamma_m$ ）和偏移量（ $\beta_m$ ），对特征进行重校准。这使得模型能在保持多模态融合的同时，保留力反馈等稀疏信号的高维特异性。

2.3 稀疏混合专家架构 (Sparse MoE with Shared Experts)

设计：在 Transformer 块中引入**稀疏混合专家（MoE）层，并采用残差共享专家（Residual Shared Experts）**设计。
- 共享专家：始终激活，负责捕捉通用的物理先验和跨模态不变特征，稳定训练。
- 路由专家：根据 Token 动态路由，专门处理特定模态的动态（如视觉几何或接触力）。
优势：在大幅增加模型容量（存储物理知识）的同时，保持推理时的计算量（FLOPs）恒定，满足实时控制（Real-time Control）的低延迟要求。

2.4 训练策略

两阶段训练：首先在 Open X-Embodiment (OXE) 子集上进行大规模预训练以蒸馏通用物理先验，然后在特定任务数据集上进行微调。
数据增强：发布了增强的 MetaWorld MT50 基准，包含高精度同步的 6 自由度力和深度信号；并建立了真实世界数据采集流水线。

3. 主要贡献 (Key Contributions)

DeMUSE 模型：首个通过 Token 拼接实现感知与动作深度合成的统一扩散 Transformer，利用联合去噪范式确保生成的序列具有物理一致性。
AdaMN 机制：解决了多模态融合中的数值尺度差异和对齐问题，通过模态特定的重校准，防止力信号被视觉信号淹没。
高效扩展架构：利用带共享专家的稀疏 MoE 架构，在保持实时响应速度的前提下实现了模型容量的有效扩展。
数据与基准：构建了包含同步 6-DoF 力和深度信号的高保真 MetaWorld MT50 增强基准，以及一套完整的真实世界机器人数据采集框架。

4. 实验结果 (Results)

仿真性能：在 MetaWorld MT50 基准测试中，DeMUSE 的平均成功率达到 83.2%，显著优于现有的 SOTA 模型（如 RDT-1B 的 77.9%，PAD 的 72.4%）。在困难任务（Hard Tasks）中表现尤为突出。
真实世界性能：在 UR10 机器人上的真实世界测试中，DeMUSE 取得了 72.5% 的成功率，远超 Diffusion Policy (26.5%) 和 RDT-1B (59.0%)。
关键任务表现：
- 接触动力学：在“分配洗手液”任务中，DeMUSE 能在接触后约 80ms 内触发动作修正，维持稳定的主动顺应性（~10N），而基线模型会出现力激增（>15N）。
- 长视野精度：在“倒可乐”任务中，终端液面精度达到 0.33 ± 0.02，展现了极强的时序一致性。
消融实验：
- 证明深度融合（Deep Fusion）优于条件调制（Conditional Modulation），后者性能接近仅视觉基线。
- AdaMN 比标准 AdaLN 显著提升了世界建模的保真度（LPIPS 更低）和成功率。
- MoE 效率：MoE-4E 配置在仅消耗 135 GFLOPs 的情况下达到了 83.2% 的成功率，相比稠密模型减少了 42.6% 的计算量。

5. 意义与影响 (Significance)

范式转变：DeMUSE 证明了从“视觉中心”向“全模态深度融合”转变的必要性。它模仿生物大脑（Cerebrum）而非小脑的处理逻辑，将视觉、触觉和本体感觉在统一认知表示中进行深度合成。
物理一致性：通过联合去噪，模型能够内化物理因果律，解决了传统方法中感知与执行脱节的问题，这对于复杂接触任务（如装配、精细操作）至关重要。
实时性与扩展性的平衡：通过稀疏 MoE 架构，成功打破了“高精度模型必然高延迟”的困局，为构建通用、鲁棒的具身基础模型提供了可行的技术路径。

总结：DeMUSE 通过深度整合视觉、深度和力觉，结合创新的归一化机制和高效的稀疏扩展架构，显著提升了机器人在非结构化环境中的灵巧操作能力，是迈向通用具身智能的重要一步。