💻 computer science

ManiDreams: An Open-Source Library for Robust Object Manipulation via Uncertainty-aware Task-specific Intuitive Physics

本文提出了开源框架 ManiDreams，通过构建包含分布状态表示、后端无关动力学预测及声明式约束的模块化规划循环，将感知、参数和结构不确定性整合到基于直觉物理的机器人操作规划中，从而在不重新训练策略的情况下显著提升了模型在扰动下的鲁棒性。

原作者： Gaotian Wang, Kejia Ren, Andrew S. Morgan, Kaiyu Hang

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gaotian Wang, Kejia Ren, Andrew S. Morgan, Kaiyu Hang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 ManiDreams 的开源机器人软件库。为了让你轻松理解，我们可以把机器人做任务（比如推杯子、抓东西）想象成**“在充满迷雾的房间里玩捉迷藏”**。

1. 核心问题：机器人太“天真”了

传统的机器人就像是一个**“死记硬背的学生”**。

现状：在训练时，机器人被教过“如果推这个角度，杯子就会动”。但在现实世界里，杯子可能有点滑（参数不确定），摄像头可能有点模糊（感知不确定），或者桌子有点晃（结构不确定）。
痛点：一旦遇到这些意外，死记硬背的机器人就会懵圈，因为它只相信“标准答案”，不知道“万一”会发生什么。它就像蒙着眼开车，稍微有点颠簸就撞车了。

2. 解决方案：ManiDreams —— 给机器人装上“想象力”和“安全网”

ManiDreams 的核心思想是：不要只预测一种结果，要同时想象出“一万种可能”，然后挑出最安全的那条路。

它通过三个神奇的步骤（采样 - 预测 - 约束）来实现这一点：

第一步：制造“分身” (Domain-Randomized Instance Set, DRIS)

想象机器人面前有一个杯子。

普通机器人：只看到一个杯子，觉得它就在正中间。
ManiDreams 机器人：它会在脑海里瞬间分裂出8 个（或更多）“分身”。
- 分身 A 觉得杯子有点重。
- 分身 B 觉得杯子有点滑。
- 分身 C 觉得摄像头看歪了 5 度。
- 分身 D 觉得杯子其实偏左了一点……
- 比喻：这就像你出门前，不仅看了天气预报，还同时看了“晴天版”、“下雨版”、“大风版”的预测，心里对天气有了全面的预判。

第二步：做“预演” (Task-Specific Intuitive Physics, TSIP)

机器人现在要做一个动作（比如“推一下”）。

普通机器人：直接推，推错了就坏了。
ManiDreams 机器人：它先不真推，而是在脑海里让那8 个分身同时去推。
- 它发现：如果按分身 A 的想法推，杯子会飞出去；如果按分身 B 的想法推，杯子会卡住；但如果按分身 C 的想法推，杯子会稳稳地滑向目标。
- 比喻：这就像下棋高手，走一步之前，先在脑子里推演了对手所有可能的应对，而不是盲目落子。这里的“推演引擎”可以是物理模拟器，也可以是 AI 学习模型，非常灵活。

第三步：拉上“安全网” (Caging Constraints)

在 8 个分身推演完后，机器人会问自己：“哪个动作最安全？”

它设定了一个**“安全笼子”**（比如：杯子不能飞出桌子，不能撞到人）。
它会检查那 8 个分身的结果：
- 分身 A 的结果：杯子飞了 -> 淘汰！
- 分身 B 的结果：杯子卡住了 -> 淘汰！
- 分身 C 的结果：杯子稳稳滑向目标，且所有分身都没出界 -> 选中！
比喻：这就像开车时的**“防碰撞预警系统”**。系统会模拟：“如果我往左打方向盘，会不会撞到旁边的车？如果往右呢？”只有所有模拟结果都安全，它才会真的打方向盘。

3. 这个系统有多厉害？

论文里做了很多实验，证明了它的强大：

像乐高一样灵活 (Modular)：
- 你可以把“分身制造器”换掉，把“推演引擎”换掉，把“安全网”换掉。就像搭乐高积木，换一块积木，整个机器人就能适应新任务（比如从推箱子变成抓卡片）。
真机也能用 (Real-world)：
- 他们在真实的机械臂上测试了。即使是在乱糟糟的桌子上推东西，或者抓一张薄薄的卡片，机器人也能通过这种“多分身预演”的方法，成功完成任务，而普通的机器人早就失败了。
抗干扰能力强 (Robust)：
- 当故意给机器人制造“噪音”（比如模糊摄像头、改变物体重量）时，普通机器人（PPO 算法）成功率直线下降，而 ManiDreams 依然能保持很高的成功率。

4. 总结

ManiDreams 不是教机器人“怎么动”，而是教机器人“怎么思考不确定性”。

它不再让机器人盲目地执行指令，而是让机器人学会**“未雨绸缪”**：

多想几种可能（制造分身）。
提前预演后果（模拟推演）。
只选最稳妥的（安全约束）。

这就好比，普通人过马路看红绿灯，而 ManiDreams 机器人过马路时，会先想象“如果那辆车突然冲出来怎么办？如果路面结冰怎么办？”，然后选择一条即使发生意外也能安全通过的路。这就是它能让机器人在混乱的现实世界中“稳健”工作的秘密。

ManiDreams 技术总结

1. 研究背景与问题定义

核心问题：现有的机器人动力学模型（无论是物理模拟器还是学习到的世界模型）大多专注于最小化预测误差，而忽视了机器人操作在现实世界中固有的不确定性。这种不确定性主要来源于三个方面：

感知不确定性 (Perceptual Uncertainty)：来自噪声和延迟的观测数据。
参数不确定性 (Parametric Uncertainty)：来自物理参数（如质量、摩擦系数）估计的不准确。
结构不确定性 (Structural Uncertainty)：来自动力学模型本身的不完美（模型失配）。

现有局限：

传统方法（如域随机化）主要在训练阶段处理不确定性，一旦策略部署，显式的不确定性结构即被丢弃。
现有的世界模型通常输出单一状态预测，缺乏在规划过程中表示和传播不确定性分布的机制。
缺乏一个统一的框架，能够将感知、参数和结构不确定性在规划循环中进行联合表示、传播和约束。

核心论点：鲁棒的不确定性操作本质上是一个集成问题。不确定性必须在规划循环中被显式地表示、传播和约束，而不仅仅是在训练期间被抑制。

2. 方法论：ManiDreams 框架

ManiDreams 是一个开源的、模块化的 Python 框架，旨在通过**“采样 - 预测 - 约束” (Sample-Predict-Constrain)** 范式来实现不确定性感知的操作规划。

2.1 核心架构与抽象

框架由四个可组合的抽象层组成，遵循插件化架构：

领域随机化实例集 (Domain-Randomized Instance Set, DRIS)：
- 功能：分布式的状态表示。
- 机制：不再维护单一的状态点估计，而是维护一组状态 - 上下文对 $\{ (s^{(i)}, c^{(i)}) \}$ 。其中 $c^{(i)}$ 是从上下文空间（物理参数分布）中采样的随机化参数。
- 作用：将感知和参数不确定性编码在状态表示中，而非动力学模型内部。
任务特定直观物理 (Task-Specific Intuitive Physics, TSIP)：
- 功能：前向动力学预测接口。
- 机制：接收当前的 DRIS 和候选动作，并行预测所有实例的未来状态。
- 后端无关性：支持多种后端，包括基于物理模拟器的（如 ManiSkill3）和基于学习的（如扩散模型）。无论后端如何，输出格式统一为 DRIS，从而容纳结构不确定性。
笼状约束 (Caging Constraints)：
- 功能：不确定性边界约束。
- 机制：定义任务级别的安全边界（如几何约束、轨迹约束），要求预测的 DRIS 分布必须包含在允许的区域内。
- 作用：为增长的分布不确定性提供显式边界，防止误差累积导致任务失败。
求解器 (Solver)：
- 功能：动作选择与优化。
- 机制：结合采样器（如策略网络、高斯分布）和基于约束的优化器（如 MPPI、N-best 选择）。
- 流程：采样候选动作 $\rightarrow$ 通过 TSIP 预测结果 $\rightarrow$ 通过笼状约束评估/过滤 $\rightarrow$ 选择最优有效动作。

2.2 运行流程

框架包含两个嵌套循环：

规划循环 (Planning Loop)：在内部运行。给定当前 DRIS，采样候选动作，预测未来分布，评估约束，选择最优动作。
执行循环 (Execution Loop)：在外部运行。将选定的动作块发送给执行器（真实机器人或模拟器），观测新状态，更新 DRIS，进入下一个规划周期。
优势：这种分离使得规划模型可以使用简化的动力学，而执行器使用高保真模拟或真实硬件，实现了零样本的 Sim-to-Real 迁移。

3. 主要贡献

首个可组合的开源框架：实现了“采样 - 预测 - 约束”范式，通过插件化抽象（DRIS, TSIP, Cage, Solver）将不确定性处理模块化。
统一的分布动力学系统：提出了一套标准化的接口（DRIS + TSIP + 笼状约束），能够联合表示、传播和约束三种主要的不确定性来源。
全面的评估体系：
- 提供了推、抓、接球等可运行示例，验证了不同组件的可替换性。
- 在真实机器人上进行了零样本 Sim-to-Real 部署。
- 在三种 ManiSkill 任务上进行了鲁棒性基准测试，对比了不同扰动下的表现。
- 进行了消融实验和运行时开销分析。

4. 实验结果

实验在 ManiSkill3 仿真环境和 Franka Panda 真实机器人上进行。

鲁棒性基准测试：
- 在感知噪声、观测延迟和物理参数随机化三种扰动下，ManiDreams 均显著优于标准的 PPO 基线（直接执行策略）。
- 优势在中等扰动水平下最为明显。在极端扰动下，固定配置的 DRIS 可能无法覆盖所有不确定性，导致两者性能同时下降。
- 不同任务对扰动敏感度不同（如 PickCube 对延迟敏感，PushCube 对摩擦/质量变化敏感），ManiDreams 均表现出适应性。
消融研究：
- DRIS 实例数 ( $m$ )：增加实例数显著提升性能，但在 $m=16$ 后趋于饱和。
- 求解器采样数 ( $N$ )：增加采样数带来收益，但在 $N=16$ 后收益递减。
- 分布宽度：存在倒 U 型关系，过窄会低估变异性，过宽会导致过度保守，中等宽度表现最佳。
真实机器人部署：
- 在杂乱环境下的推 - 抓任务和扁平物体（如卡片、肉饼）的挖掘任务中，ManiDreams 成功实现了零样本 Sim-to-Real 迁移。
- 利用基于扩散模型的 TSIP 和基于像素的 DRIS（通过 SAM2 分割），无需额外的物体建模即可处理高不确定性任务。
计算开销：
- 引入采样 - 预测 - 约束循环增加了计算时间（从 20.2ms 增加到约 50-80ms），主要开销在于 TSIP 的状态同步和前向评估。
- 虽然限制了高频动态任务的应用，但对于 10-20Hz 的典型操作任务以及“先规划后执行”模式，该开销是可接受的。

5. 意义与展望

意义：

ManiDreams 证明了通过显式地在规划循环中处理不确定性分布，可以显著提升机器人操作的鲁棒性，而无需重新训练底层策略。
它提供了一个通用的平台，使得研究人员可以灵活地组合不同的动力学模型、约束条件和优化器，加速了不确定性感知操作的研究。
实现了从仿真到真实世界的无缝迁移，降低了部署成本。

局限与未来工作：

目前 DRIS 参数和笼状约束需要手动指定和针对特定任务调整。
高度不连续的动力学（如高速碰撞）可能需要更复杂的传播模型。
未来计划探索从视觉观测自动配置 DRIS，结合视觉 - 语言模型进行任务级约束定义，以及扩展到潜在世界模型。

总结：ManiDreams 不仅是一个工具库，更是一种方法论的革新，它将不确定性从“需要消除的误差”转变为“可以被管理和利用的分布”，为构建更鲁棒的机器人操作智能奠定了基础。