💻 computer science

DeformMaster: An Interactive Physics-Neural World Model for Deformable Objects from Videos

DeformMaster 是一种交互式物理 - 神经世界模型，它从真实世界视频中学习，通过统一物理动力学与高保真外观来模拟可变形物体，从而实现精确的未来预测、新颖的动作推演以及动态视图合成。

原作者： Can Li, Zhoujian Li, Ren Li, Jie Gu, Lei Lei, Jingmin Chen, Lei Sun

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Can Li, Zhoujian Li, Ren Li, Jie Gu, Lei Lei, Jingmin Chen, Lei Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一段视频，画面中是一只手在挤压一个软绵绵的压力球、拉扯一块布料，或者扭动一个橡胶玩具。现在，再想象一下，你希望教会计算机不仅观看这段视频，还要理解该物体的运作方式，以便你可以向它提问：“如果我拉得更用力会发生什么？”或者“如果我从侧面挤压会怎样？”甚至“向我展示它背面的样子。”

这正是DeformMaster所做的。它将一段简单的视频转化为一个可交互的“数字孪生”，你可以实时与这个柔软、可拉伸的物体进行互动。

以下是其工作原理，分解为简单的概念：

1. 问题：为什么这很难？

大多数试图模拟软体（如布料、绳索或果冻）的计算机程序就像僵硬的机器人。它们遵循严格的物理规则，但现实生活是混乱的。一块真实的布料可能会有奇怪的褶皱，或者一个橡胶玩具可能在某个部位比其他部位稍硬一些。如果你试图用完美的数学来模拟这种情况，结果往往看起来虚假或会散架。如果你尝试纯粹从数据（如视频游戏 AI）中学习，它可能会感到困惑并开始做出不可能的事情，比如悬浮在半空中。

2. 解决方案：“物理 + AI"团队

DeformMaster 通过让一个两人团队来运行模拟来解决这个问题：

物理专家（“基础”）： 这是一个标准、可靠的物理引擎（类似于视频游戏中使用的引擎），它了解物体如何移动、拉伸和弹跳的基本规则。它提供了一个稳定的基础。
AI 助手（“残差”）： 这是一个神经网络（一种 AI），充当“修正层”。它观察物理专家，并说：“嘿，真实视频显示布料的扭曲方式与你的数学预测略有不同。让我在这里加一点微小的推力来修正它。”

这就像使用 GPS。物理专家是显示主要道路的地图。AI 助手是了解地图上未显示的坑洼、施工路段和捷径的当地司机。他们一起将你完美地送达目的地。

3. 处理“手”（控制器）

在视频中，一只手正在接触物体。但摄像头并不完美；对手部的追踪可能会不稳定或抖动。

旧方法： 如果你告诉模拟程序精确地移动到抖动的手所在的位置，物体可能会剧烈震动或破裂。
DeformMaster 的方法： 它使用一种称为分布式合规致动器的技术。想象一下，不是用一根僵硬的手指推物体，而是用一只柔软、毛茸茸的手套，将力温和地分散到更宽的区域内。这平滑了抖动的摄像头数据，并像真实的手一样自然地推动物体。

4. 处理不同材料（“混合物”）

真实物体并非由单一均匀的物质构成。一个毛绒玩具可能有一个柔软的肚子，但有一个较硬的鼻子。

旧方法： 许多模型假设整个物体是由完全相同的材料制成的（就像一大块果冻）。
DeformMaster 的方法： 它使用本构专家混合。这就像一个“风味混合器”。它意识到物体的某一部分可能是“neo-Hookean”（非常具有弹性），而另一部分则是"St. Venant-Kirchhoff"（较硬）。它将这些不同“风味”的物理特性在物体表面进行混合，以完美匹配真实视频。

5. 结果：一个交互式游乐场

一旦 DeformMaster 从视频中学习完毕，它不仅仅是回放视频。它创建了一个世界模型。

新动作： 你可以让它向原始视频从未展示过的方向拉动物体，它将现实地预测结果。
新材料： 你可以告诉它：“把这个物体变软 3 倍”，它将模拟那个更软版本的物体将如何表现（如果你拉得太用力，甚至能展示它撕裂或断裂）。
新视角： 你可以要求从原始视频中未出现的相机角度观察物体，它将渲染出高质量的图像。

总结

DeformMaster 就像将一段软玩具的视频转化为一个可玩的、物理精确的视频游戏关卡。它结合了物理规则的可靠性与 AI 的灵活性，以处理混乱的现实世界细节，允许你以前所未见的方式与物体进行互动。

论文实际声称的内容：

它适用于绳索、布料和软玩具的真实世界视频。
在预测未来运动和渲染图像方面，它比以前的方法（如 PhysTwin 或 Spring-Gaus）更准确。
它支持“长视界推演”，意味着你可以模拟物体长时间移动而不会偏离到荒谬的状态。
它支持更改材料属性（如使物体变软）并从新角度观察它们。
它以交互式速度运行（超过每秒 15 帧），允许实时操作。

技术摘要：DeformMaster

问题陈述

可变形物体的世界模型必须不仅恢复几何形状和外观，还需恢复潜在的物理动力学、交互基础以及材料行为。从真实世界视频中学习此类模型极具挑战性，因为可变形物体（线性、平面和体积）在由分布应变、复杂材料响应、自接触和外力支配的高维状态空间中演化。

现有方法面临显著局限：

基于物理的重建（如 PhysTwin、Spring-Gaus）通常依赖理想化的物理模型，其中参数识别难以处理超出模型假设的真实世界现象。
生成式模型（如视频扩散）主要构想视觉结果，但往往缺乏对动作条件动力学的可靠理解，导致难以通过显式交互进行控制，且容易产生幻觉动力学。
纯学习动力学（如粒子图网络）存在严重的数据依赖性，仍局限于训练分布，并在面对新动作进行长视界推演时出现显著漂移。

核心挑战在于构建一个模型，该模型能从视觉观测中推断物理状态，在新交互下向前推演状态，并渲染高保真动力学，同时保持稳定性、泛化能力及物理基础。

方法：DeformMaster

DeformMaster 是一种源自视频的交互式物理 - 神经世界模型，它在单一框架内统一了动力学与外观。它将真实交互视频转化为在线可查询的表示形式，支持新动作推演、材料参数变化以及动态新视角合成。该系统包含四个关键组件：

1. 物理 - 神经粒子 - 网格动力学 (PNPGD)

为了平衡物理先验的稳定性与建模真实世界失配的灵活性，DeformMaster 将动力学算子 $F_{\theta,\phi}$ 分解为物理块 $P_\theta$ 和神经残差 $R_\phi$ ：
$F_{\theta,\phi} = P_\theta \oplus R_\phi$

物理块 ( $P_\theta$ )： 使用可微分物质点法 (MPM)，基于材料参数 $\theta$ 推进单帧状态。这提供了结构化且稳定的先验。
神经残差 ( $R_\phi$ )： 一种粒子 - 网格神经网络，基于 MPM 后状态及短时运动学历史，预测有界的速度修正 $\Delta v_p$ 。该残差吸收未建模效应（如摩擦、复杂接触），而不作为自由状态预测器，确保模型成为物理模拟的扰动而非完全替代。

2. 分布式顺应致动器 (DCA)

源自视觉的真实手部轨迹具有噪声且稀疏。硬点约束往往导致速度尖峰或局部变形，无法驱动整体运动。DCA 通过以下方式解决此问题：

顺应性： 将硬约束转换为顺应致动器 - 粒子耦合（使用刚度 $k_p$ 和阻尼 $k_d$ ），以吸收高频噪声。
分布性： 将致动作用分布在有限接触区域（局部邻域）而非单一点上，从而通过软连续体实现有效的力传递。

3. 本构专家混合 (MoCE)

真实可变形物体很少符合单一理想化的本构定律。MoCE 将第一 Piola–Kirchhoff 应力表示为规范专家（Neo-Hookean、Corotated、St. Venant–Kirchhoff）的空间变化混合：
$P_{mix}(F_p) = \sum_k w_{k,p} P_k(F_p; E_p, \nu_p)$
混合权重 $w_{k,p}$ 随空间变化，使模型能够捕捉物体不同区域的异质材料响应，同时保持基于解析本构定律的基础。

4. 物理基础的 4D 外观

为了在不针对每个动作重新优化动态模型的情况下渲染高保真外观，DeformMaster 利用预测的材料粒子轨迹驱动高斯泼溅 (Gaussian Splatting) 表示。桥接函数 $B_\psi$ 基于粒子运动，使用线性混合蒙皮 (LBS) 增量式地变形高斯。这确保了渲染外观与潜在物理演化保持一致。

训练方案

该模型通过联合目标进行训练，最小化动力学误差（轨迹对齐、形状 Chamfer 距离、局部长度保持）和外观误差（RGB 光度损失）。训练分阶段进行：

阶段 1–2： 在动力学训练（学习材料场和神经残差）与使用 CMA-ES 进行分布式顺应致动器 (DCA) 增益选择之间交替优化。
阶段 3： 优化高斯泼溅，随后进行 RGB 引导的动力学子分支细化，其中光度梯度反向传播至粒子运动和神经残差。

主要贡献

PNPGD： 一种混合过渡模型，通过神经残差增强可微分物理，在保留物理引导推演的同时，补偿未建模的真实世界效应。
DCA： 一种机制，将嘈杂、稀疏的手部轨迹转化为顺应且空间分布的致动，稳定手 - 连续体交互。
MoCE： 一种本构建模方法，将规范材料定律与空间变化权重相结合，以捕捉异质材料响应。
DeformMaster 系统： 一个统一的视频衍生世界模型，将交互式物理 - 神经动力学与物理基础的高保真 4D 外观配对，支持在线交互。

实验结果

DeformMaster 在 PhysTwin 数据集的 20 个真实可变形物体序列上进行了评估，涵盖线性（绳索）、平面（布料/包装）和体积（软玩具）物体。

整体性能： DeformMaster 取得了最强的整体性能，在预测未来动力学（IoU、Chamfer 距离）和渲染外观（PSNR、SSIM、LPIPS）方面均优于基线（PhysTwin、Spring-Gaus、GS-Dynamics）。
与 PhysTwin 比较： 在保持可比的轨迹误差的同时，DeformMaster 改进了 Chamfer 距离（0.011 对比 0.012）和 IoU（0.748 对比 0.734）。
与学习动力学比较： 与纯学习的高斯动力学基线相比，该方法显著降低了 Chamfer 距离（>3 倍）和轨迹误差（>2.9 倍）。
泛化能力： 该模型成功支持了新动作下的推演、材料参数变化（例如缩放材料场以诱导断裂）以及新视角合成。
消融研究：
- 移除神经残差导致性能下降，证实了连接理想化物理与真实观测的必要性。
- 用刚性约束或单点致动器替换 DCA 会导致发散或精度降低，验证了顺应性和分布性的必要性。
- 用单一专家替换 MoCE 使结果恶化，证明了空间变化材料建模的必要性。
- 阶段 3 中的 RGB 引导细化在动力学和外观指标上均提供了持续的提升。

意义与主张

本文主张 DeformMaster 代表了迈向可变形物体鲁棒、交互式世界模型的重要一步。通过联合恢复物理动力学、交互基础以及材料行为，该模型克服了纯生成式方法（缺乏动作可控性）和纯基于物理方法（难以应对真实世界复杂性）的局限性。

作者强调 DeformMaster 实现了：

在新动作下的稳定长视界推演。
尽管视觉观测嘈杂，仍能实现鲁棒的交互。
异质材料建模，无需假设单一全局本构定律。
由物理演化直接驱动的高保真 4D 外观。

该工作将其定位为下游具身应用的基础，例如基于模型预测控制的机器人操作和合成数据生成，同时也承认了其在极薄平面物体（弹簧 - 质量系统可能仍具有归纳偏置）方面的局限性，以及对仿真子步运行时依赖的依赖。