🔬 applied physics

SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation

本文介绍了 SoMA，这是一种基于 3D 高斯泼溅（3D Gaussian Splat）的神经模拟器，它在潜空间中统一了变形动力学、环境力与机器人动作，从而在不依赖预定义物理模型的情况下，实现准确、稳定且具泛化能力的从现实到模拟（real-to-sim）的软体操控。

原作者： Mu Huang, Hui Wang, Kerui Ren, Linning Xu, Yunsong Zhou, Mulin Yu, Bo Dai, Jiangmiao Pang

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mu Huang, Hui Wang, Kerui Ren, Linning Xu, Yunsong Zhou, Mulin Yu, Bo Dai, Jiangmiao Pang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人折叠一篮子 T 恤。这听起来很简单，但对于机器来说，一件衣服简直是场噩梦。与刚性的盒子不同，衬衫没有固定的形状；它会扭曲、拉伸，并向机器人的眼睛隐藏自己的部分。为了学习如何处理这些柔软的物体，机器人通常需要练习数百万次。但在现实世界中练习既慢又贵，还有损坏物品的风险。因此，科学家们构建了“模拟器”——数字游乐场，让机器人在其中进行练习。问题在于，大多数数字游乐场要么过于僵硬（它们使用与现实不符的严格数学规则），要么过于“爱做梦”（它们通过猜测下一步会发生什么，但物理规律却错了）。这项研究的目标是构建一个既足够精确以值得信任，又足够灵活以应对柔软物体混乱现实的模拟器。

由此诞生了 SoMA，一种专为软体操控设计的全新“神经模拟器”。不要把 SoMA 仅仅看作是一个在计算物理方程的计算器，而要把它看作是一个通过观察视频来学习的超级聪明学生。SoMA 不会被告知一件衬衫“应该”如何移动，它通过观察机器人在现实世界中实际移动一件衬衫的过程，记录下视频，然后自行推导出运动的隐藏规则。它使用了一个被称为“高斯泼溅”（Gaussian Splatting）的巧妙技巧，这就像是将物体变成由数百万个微小的、发光的 3D 喷溅点组成的云团。SoMA 并不试图计算每一根纤维的物理特性，而是学习当机器人推动这些喷溅点时，它们是如何舞动和变形的。

论文表明，SoMA 可以通过一段机器人与绳索、玩偶或衬衫等物体交互的视频，在数字世界中极其准确地重现该交互过程。在测试中，SoMA 不仅仅是复制了视频；它还学习了物体的底层“感觉”。如果你要求它模拟一种它从未见过的折叠衬衫的方式，它仍然可以正确完成，而旧的方法往往会变得混乱，甚至让物体看起来像是在融化。作者发现，通过将机器人的动作（手臂运动）与物体的外观结合起来，他们创建了一个比以往顶尖方法准确度提高 20% 的模拟器。这意味着我们很快就能拥有能够可靠模拟现实任务的数字孪生体，从而训练机器人完成复杂的家务，而无需先弄坏一件真实的衬衫。

“SoMA”的神奇之处

问题所在：“软体”差距
机器人擅长移动箱子，但却极不擅长移动衣物。为什么？因为箱子是刚性的；你推它，它就会移动。而衬衫是“软体”的，这意味着它会弯曲、折叠并隐藏自身。要教会机器人折叠衬衫，你需要一个理解布料行为的模拟器。

旧方法 1（规则手册）： 科学家过去会将严格的物理规则（如重力、摩擦力）写入计算机。但要为一件真实的衬衫设定完美的规则几乎是不可能的。如果数值稍有偏差，数字衬衫的行为就会像石头或水母，而不是一件衬衫。
旧方法 2（梦想家）： 其他方法尝试通过数据进行学习，仅仅是猜测视频的下一帧。这些方法看起来很真实，但在机器人做出新动作时往往会失败。它们可能会让衬衫漂浮或穿过桌面，因为它们并不真正理解来自机器人的“推力”。

解决方案：向“喷溅”学习
SoMA 引入了一种全新的世界表示方式。它不是将物体表示为网格或固体块，而是将其表示为高斯泼溅（GS）点的集合。想象一下，衬衫不是由织物组成的，而是由数百万个在 3D 空间中漂浮的微小、模糊、发光的点组成的。

工作原理： 当机器人抓取衬衫时，它不仅是在移动这些点，还在对它们施加“力”。SoMA 学习这些力如何在点云中传播。
秘诀： SoMA 不仅仅是观察视频，它还会观察机器人的关节。它确切知道机器人的手臂是如何移动的。它将机器人的动作直接与点的运动联系起来。这被称为“动作条件化”（action-conditioned）。这就像模拟器知道：“当机器人的肘部这样弯曲时，衬衫的左角必须那样抬起。”

训练过程：两步舞步
训练一个能处理长期任务（如折叠整件衬衫）的模拟器非常困难，因为微小的误差会迅速累积。如果模拟器在第一秒钟偏离了 1 毫米，到第十秒时，衬衫可能已经漂浮在空中了。

第 1 步（宏观层面）： SoMA 首先通过观察帧间间隔较大的视频来学习缓慢的大规模运动。它学习衬衫的整体流动感。
第 2 步（细节层面）： 然后，它通过放大来学习微小且快速的细节，例如织物撞击桌面时产生的皱纹。
“融合”式教学： 由于机器人的手经常会遮挡视线（遮挡现象），模拟器无法看到所有内容。SoMA 使用了一个特殊技巧：它只从它能看到的视频部分进行学习，但它利用“物理规则”（如质量守恒）来推测隐藏部分的发生情况。这保证了当衬衫被机器人的手遮挡时，它不会散架。

结果：超越以往
研究人员在涉及绳索、玩偶和 T 恤的真实世界数据上测试了 SoMA。

准确度： 在测试中，SoMA 在重模拟（复制所见内容）方面达到了 33.51 的 PSNR，在泛化（预测新动作）方面达到了 32.89。这比之前的顶尖方法提高了 20%。
稳定性： 虽然其他模拟器在几秒钟后会让物体看起来变得奇怪或不稳定，但 SoMA 可以模拟长期的复杂任务（如折叠 T 恤），而不会导致物体坍塌或漂移。
泛化能力： 当被要求执行一种从未见过的操控动作时，SoMA 不仅仅是随机猜测；它利用机器人的动作来引导模拟，从而产生逼真的结果。

为什么这很重要
这不仅仅是为了制作漂亮的视频。通过创建一个如此准确且稳定的模拟器，我们可以在数字世界中训练机器人完成复杂的、柔软的任务。一旦机器人在 SoMA 中学会了技能，它可以将该技能转移到现实世界，而无需经历过多的试错。它弥合了柔软物体的混乱现实与计算机代码的清晰逻辑之间的鸿沟，有望帮助机器人比以前更快地完成折叠衣物、处理食物或协助精细制造任务。论文指出，这种方法是迈向让机器人真正理解并与我们所生活的柔软、灵活的世界进行交互的重要一步。

技术摘要：SoMA —— 一种用于机器人软体操控的实景到仿真（Real-to-Sim）神经模拟器

1. 问题定义

模拟具有丰富机器人交互作用的变形物体仍然是实景到仿真（R2S）机器人操控中的一个基本挑战。现有方法面临着物理保真度与交互一致性之间的权衡：

基于物理的模拟器（例如 FEM、MPM）确保了长程一致性，但依赖于难以从视觉数据中推断出的预定义物理参数，从而导致 R2S 偏差。
可微模拟器优化了有限的参数，但仍受限于简化的物理假设。
神经动力学和 4D 重建方法直接从数据中学习运动，但主要侧重于重现观察到的轨迹。它们通常缺乏对机器人调节交互的支持，并且在处理部分遮挡和复杂接触模式时，难以泛化到训练分布之外。

核心挑战在于开发一种能够从视觉观测中忠实捕捉变形物体几何形状和动力学的模拟器，同时在持续的、以动作为条件的机器人-物体交互下保持稳定性和连贯性。

2. 方法论：SoMA 框架

SoMA（用于软体交互的操控模拟器）是一种 3D 高斯泼溅（Gaussian Splatting, GS）神经模拟器，直接运行在学习到的高斯泼溅表示之上。它在单一的潜在神经空间内统一了变形动力学、环境力和机器人关节动作，而无需预定义的物理模型。

2.1 通过 R2S 映射进行场景初始化

为了弥合异构坐标系（视觉重建、机器人运动学和物理框架）之间的差距，SoMA 建立了一个统一的模拟空间：

重建： 使用多视图 RGB 图像来估计相机位姿，并将变形物体重建为相机坐标系中的一组高斯泼溅（ $G_0$ ）。
机器人调节： 通过估计全局缩放因子和刚性变换，将重建的几何体与机器人的基座坐标系对齐。机器人关节配置（ $q_t$ ）通过正向运动学转换为末端执行器位姿，并映射到模拟空间。
物理参考： 通过拟合支撑平面来确定重力方向，确保模拟符合现实世界的物理约束。

2.2 力驱动的 GS 动力学建模

与基于状态的回归模型不同，SoMA 将交互建模为直接作用于高斯泼溅的显式力：

环境力： 建模为外部力，包括重力和作用于支撑面附近泼溅体的支撑力。
机器人力： 通过连接机器人控制点和 GS 节点的交互图进行建模。基于图的神经模块根据当前状态、相邻机器人点和夹持器状态来预测机器人诱导的力。
分层传播： 总交互力通过多级图结构进行分层传播。神经动力学模型（ $\psi_\theta$ ）根据历史状态和聚合力，为每个节点/簇预测线速度和旋转，从而实现力驱动而非仅基于状态的动力学。

2.3 多分辨率训练策略

为了解决长程模拟中的误差累积和不稳定性问题，SoMA 采用了两阶段训练方法：

时间维度： 采用由粗到精的策略，模型首先通过较大的时间步长（ $k \cdot dt$ ）学习全局运动模式，随后在原始分辨率（$dt$）下使用随机子序列进行细粒度动力学学习。
空间维度： GS 几何形状从超分辨率图像中重建以保留细节，而动力学训练则在原始分辨率下进行，以降低计算成本。

2.4 混合监督

为了处理交互过程中的部分可观测性和遮挡问题，SoMA 使用了混合监督方案：

遮挡感知图像监督： 图像重建损失仅应用于可见物体区域（由二进制物体掩码限定），以防止来自遮挡区域的伪梯度。
物理一致性正则化： 一种自监督约束，强制要求相邻层级之间满足质量守恒。这正则化了未观测到的动力学，在不需要地面真值力的情况下，防止了物理上不一致的运动和漂移。

3. 核心贡献

R2S 神经模拟范式： 一种新型的软体操控框架，支持直接从 RGB 观测和机器人动作进行长程、交互一致的模拟。
可行性机制：
- 机器人调节对齐： 将学习到的动力学锚定到真实的机器人运动学上，以实现因果交互。
- 力驱动动力学： 一种高斯泼溅动力学模型，通过显式力建模来处理接触和遮挡。
- 稳定训练： 通过多分辨率训练和混合监督实现稳定的长程性能。
实验验证： 在公开基准测试和包含新真实世界数据集（绳索、玩偶、布料、T恤）的评估中，展示了在 RGB 和深度指标上的最先进性能。

4. 实验结果

作者在四种变形物体上，针对重模拟（训练轨迹）和泛化（未见过的操控序列）对 SoMA 进行了评估。

定量性能： SoMA 在所有指标上均优于基准模型（PhysTwin 和 GausSim）。
- 重模拟： 实现 PSNR 为 33.51（对比 PhysTwin 的 28.77）以及 Abs Rel 深度误差为 0.089（对比 0.102）。
- 泛化能力： 实现 PSNR 为 32.89 以及 Abs Rel 为 0.112，在泛化准确度上比基准模型提升了 20%。
复杂任务： 在具有挑战性的 T 恤折叠任务（涉及大幅度变形和自接触）中，SoMA 保持了连贯的几何形状和真实的动力学，而 PhysTwin 则表现出严重的伪影和结构坍塌。
消融实验： 去除混合监督（仅图像）或多分辨率训练（无 MRT）会导致性能显著下降，证实了物理启发式约束和多尺度训练对于泛化性和稳定性的必要性。

5. 重要性与主张

本文声称 SoMA 通过在统一的高斯泼溅表示中显式建模机器人-物体交互，弥合了基于物理的模拟与基于数据的模拟之间的鸿沟。其主要意义在于：

消除预定义物理： 它直接从数据中端到端地学习动力学，无需依赖手动指定的物理参数，解决了 R2S 场景中参数识别困难的问题。
稳定的长程交互： 它能够实现复杂、长程任务（如折叠布料）的稳定模拟，而现有的神经模拟器通常会在这些任务中出现漂移或坍塌。
实用的 R2S 后端： 通过缩小现实差距，SoMA 可作为数据合成、数据增强和具身机器人操控策略学习的基础，从而可能降低现实世界数据采集的成本和风险。

作者将 SoMA 定位为一种独特的方法，它在物理一致性、可控性和对现实世界观测的保真度之间取得了平衡，特别适用于机器人操控且遮挡严重的具身场景。