🤖 AI

Scene-Level Heterogeneous Physics Simulation with 3D Gaussian Splats

本文引入了一种新颖的框架，通过将多样化的资产抽象为统一的粒子集，弥合了 3D 高斯泼溅（3D Gaussian Splatting）与生产级物理引擎之间的表示差距，从而实现了可变形 3DGS 资产、标准计算机图形学（CG）对象以及捕获的静态环境之间复杂双向相互作用的逼真场景级异构模拟。

原作者： Xiaoyang Liu, Shangzhe Wu, Kai Han

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiaoyang Liu, Shangzhe Wu, Kai Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有两个说着不同语言的世界。

世界 A 是一个写实摄影棚。在这里，你可以将真实的物体（比如泰迪熊或花园雕像）变成数字 3D 模型，且看起来与实物完全一致。这项技术被称为 3D 高斯泼溅（3D Gaussian Splatting, 3DGS）。它在视觉呈现上非常惊人，但它是“死”的。如果你试图推一下那个数字泰迪熊，它不会动；如果你往它身上倒水，水会直接穿透它而过。它没有物理实体。

世界 B 是一个物理游乐场。这里是视频游戏引擎和电影特效的世界。在这里，物体有重量、会弹跳、会变形、会溅起液体。但为了让这一切运作起来，这些物体通常必须由简单的、块状的形状（如网格/Mesh）构建而成，因为物理引擎能理解这些形状。问题在于，这些块状形状与真实物体相比，往往看起来很假或很模糊。

问题所在：语言障碍

直到现在，这两个世界都无法进行交流。

如果你想让一只写实的熊被写实的水溅到，你会遇到一个问题：这个“摄影棚”里的熊感觉不到水的存在，而“游乐场”里的水也看不见这只熊。
以前试图解决这一问题的尝试就像是在建造一个微小的、孤立的沙盒。他们可以让一只熊在平坦、空旷的地面上弹跳，但他们无法处理一只熊同时与复杂的花园、虚拟碗或机械臂进行交互的情况。

解决方案：“通用翻译器”

这篇论文的作者构建了一个通用翻译器（他们称之为表示抽象框架）。

你可以这样理解：

翻译器： 系统获取了“摄影棚”里的熊（3DGS）、一个虚拟的网格碗和一个流体模拟，然后说：“好了，各位，先忘掉你们华丽的外表，让我们全部变成一团隐形的粒子。”
物理引擎： 一旦大家都变成了粒子云，强大的物理引擎（游乐场）就可以发挥作用了。它计算水是如何撞击熊的，熊是如何在桌子上滑动的，以及机械臂是如何推动熊的。它对不同的事物使用不同的“规则”（例如水流动的规则与布料垂坠的规则不同），但它在同一个大型模拟中统一处理所有这些情况。
重新翻译： 在物理引擎完成数学计算后，系统会对那些隐形粒子说：“好了，现在变回你们原来的样子吧！”
- 水粒子变回了一场水花。
- 熊的粒子变回了一只写实的、带有挤压变形效果的软乎乎的泰迪熊。
- 碗变回了一个闪亮的虚拟物体。

这项技术实际实现了什么

论文通过创建以前无法实现的场景展示了这一点：

真实与虚假的混合： 他们拍摄了一张真实花园的照片（静态背景），并将一个虚拟的水碗放入其中。水真实地溅落在真实的园艺桌面上。
软体与液体： 他们捕捉了一个甜甜圈（它是软的）的照片，并向其倾倒虚拟的酱汁。酱汁会溅起，而甜甜圈会在酱汁的重量下发生挤压和变形。
机器人在现实世界中： 他们让一个机械臂（虚拟物体）拿起一个真实的果篮，并在真实的园艺场景中移动它。

为什么这很重要

在此之前，如果你想拍一段写实的熊被淋湿的电影场景，你必须做出选择：要么熊看起来很完美但无法被淋湿，要么虽然被淋湿了但看起来像个低质量的游戏角色。

这篇论文弥合了这一差距。它让你能够将现实世界的照片转化为可交互的物理物体，并将它们与虚拟物体（如流体或机器人）融合在同一个高质量的场景中。最终结果在专业的游戏引擎（Unreal Engine 5）中进行渲染，因此具有电影级的质感，拥有真实的灯光和阴影。

简而言之： 他们搭建了一座桥梁，让“死”的照片焕发生机，并能与“活”的虚拟物理进行交互，同时保留了原始照片那美丽、写实的视觉效果。

技术摘要：基于 3D 高斯泼溅（3DGS）的场景级异构物理模拟

1. 问题陈述

尽管 3D 高斯泼溅（3DGS）具有最先进（SOTA）的逼真渲染能力，但这些资产在物理交互方面仍然很大程度上是“死”的。存在一个根本性的表示鸿沟（Representation Gap）：

3DGS 表示： 由协方差 ( $\Sigma$ )、球谐函数 ( $C$ ) 和不透明度 ( $\sigma$ ) 定义，针对渲染进行了优化，但与生产级物理引擎不兼容。
物理引擎限制： 工业级引擎（如 Unreal Engine、Houdini）基于粒子、网格和刚体进行运算，并使用异构求解器（MPM、SPH、PBD）。它们无法原生理解 3DGS。

此前试图弥合这一鸿沟的方法遵循了**“孤岛式”（Siloed）范式**，即为 3DGS 创建专门的单体、专有物理求解器。这些方法存在两个关键缺陷：

同质性（Homogeneity）： 它们创建了封闭系统，其中仅存在 GS 粒子，阻碍了与标准计算机图形学（CG）资产（如网格、流体或刚体）的交互。
隔离性（Isolation）： 它们在真空或理想平面上运行，无法支持源自真实世界场景采集的复杂的、预存在的 3D 静态碰撞几何体。

因此，先前的方法局限于“玩具级”场景，无法实现可扩展的、场景级的、异构的物理模拟。

2. 方法论：表示抽象框架 (RAF)

作者提出了一种新颖的表示抽象框架（Representation Abstraction Framework, RAF），作为一种桥梁，将多样化的资产统一到单一的物理模拟上下文中，而无需重新发明物理求解器。该流水线包含三个阶段：

第一阶段：资产准备与抽象

目标是将异构输入转化为两个统一的组件：一个静态碰撞网格 ( $M_{static}$ ) 和一个统一的粒子列表。

静态世界 ( $M_{static}$ )： 一个由捕捉到的真实世界数据（通过高斯分割、物体-场景恢复和表面重建处理）以及可选导入资产组成的复合网格。它定义了不可移动的碰撞边界。
动态世界（统一粒子列表）： 所有动态资产都被抽象为单个粒子集 ( $X$ $X$ )：
- 捕捉到的 3DGS： 通过对连续不透明度场进行采样，将其转换为物理粒子 ( $X_{gs}$ )。每个粒子 $p_j$ 存储运动学状态 ( $x, v, m$ )、模型类型和本构参数（例如杨氏模量）。视觉数据 ( $\Sigma_{rest}, C, \sigma$ ) 被单独缓存。
- 虚拟网格： 通过泊松圆盘采样（Poisson disk sampling）进行“粒子化”。预先计算重心权重，以将模板网格绑定到粒子上。
- 外部粒子/流体： 直接作为初始位置加载，并分配求解器类型（例如 SPH）。
- 运动学资产： 被视为具有用户定义变换的刚体；它们作为单向碰撞体。

第二阶段：统一模拟内核

一个模块化、求解器无关的内核处理统一的粒子列表和 $M_{static}$ 。

异构求解器： 内核与专门的求解器对接（用于软体的 MPM、用于流体的 SPH、用于布料的 PBD、以及刚体和关节体动力学）。
耦合机制： 其核心能力是稳健地管理不同求解器与静态几何体之间的交互。
- 连续耦合（Continuous Coupling）： 处理力交换（例如，流体压力对软体的作用）。
- 离散耦合（Discrete Coupling）： 使用统一的基于冲量的机制，利用恢复系数 ( $e$ ) 和库仑摩擦系数 ( $\mu$ ) 来解决任何实体（粒子-网格、刚体-刚体）之间的碰撞和摩擦。
执行： 求解器按特定顺序（刚体/关节体 $\to$ MPM $\to$ SPH $\to$ PBD）迭代执行，在单个时间步内传播更新的状态以解决约束。

第三阶段：异构重耦合与渲染

稀疏的物理结果被“反向翻译”回高保真视觉资产。

3DGS 资产： 新的粒子位置 $x'_j$ 更新高斯中心。物理变形梯度 $F'$ 被应用于缓存的静止态协方差 ( $\Sigma_{rest}$ ) 以计算新的协方差 ( $\Sigma' = F' \Sigma_{rest} F'^T$ )。来自 $F'$ 的旋转更新球谐系数。
网格资产： 通过将预计算的重心权重应用于更新后的粒子位置来计算新的顶点位置。
渲染： 序列化资产（.splat、.abc、.pbd）被加载到 Unreal Engine 5 中。该框架利用 UE5 的原生能力，包括 Lumen 全局光照和光线追踪阴影，来渲染协同模拟的场景。

3. 核心贡献

首个场景级异构框架： 第一个使 3DGS 资产能够参与场景级、多求解器物理模拟，并能与标准 CG 资产共同协作的系统。
表示抽象层： 一个新颖的图层，将多样化的动态资产（3DGS、网格、流体）和复杂的静态场景转化为单一的物理粒子上下文，从而实现双向交互。
端到端流水线： 一个完整的流水线，展示了复杂的交互（例如，流体溅落在可变形 3DGS 上、布料搭在捕捉到的雕像上），并在 Unreal Engine 5 中以照片级的逼真度进行渲染。
克服“孤岛式”限制： 该框架超越了孤立的、理想平面的模拟，转而支持复杂的、预存在的 3D 静态几何体和异构资产耦合。

4. 结果与评估

该框架在五个先前“孤岛式”方法无法实现的复杂场景中得到了验证：

虚拟网格上的流体： SPH 流体与导入的网格碗以及静态 3DGS 花园场景进行交互。
GS 软体上的流体： 高粘度 SPH 流体与捕捉到的 3DGS 软体甜甜圈（MPM）进行耦合，展示了双向变形。
关节动力学： 一个运动学驱动的机械臂在桌子上操纵一个刚体。
复杂几何体交互： PBD 布料在捕捉到的具有非凸几何形状的 3DGS 雕像上进行真实的覆盖和滑动。
3DGS 容器中的刚体： 刚体在捕捉到的 3DGS 篮子内进行交互。

消融实验：

统一内核： 去除耦合机制会导致流体和软体相互穿透，证实了异构求解器接口的必要性。
场景级几何体： 去除静态碰撞网格 ( $M_{static}$ ) 会迫使布料模拟退化为“理想平面”，导致其穿过捕捉到的物体。
表示抽象： 去除重耦合步骤会导致只能看到稀疏的模拟粒子，缺乏照片级的外观。

与摄影测量法的比较：
当与用于网格提取的标准摄影测量法（KiriEngine）相比时，作者基于 3DGS 的流水线保留了锐利的几何细节（例如推土机履带、桌板），而这些细节在网格基准中会丢失或变得“模糊”。

5. 重要性与主张

本文声称从根本上改变了 3DGS 从“被动渲染物”到“主动参与者”的角色。通过弥合表示鸿沟，这项工作实现了：

双重保真度（Dual Fidelity）： 在统一的环境中同时实现高保真视觉渲染（通过 3DGS 和 UE5）和复杂的物理模拟（通过工业级求解器）。
可扩展性（Scalability）： 从孤立的“玩具级”环境转向复杂的、现实世界的场景组合。
生产就绪（Production Readiness）： 该流水线针对追求模拟精度和视觉保真度的离线电影级制作。

作者承认当前系统尚未实现实时性，而是侧重于离线渲染。未来的工作建议针对实时交互场景进行改进，并提升复杂捕捉场景中的物体级分离能力。这项工作并不声称解决了所有的物理挑战，而是专门针对将 3DGS 集成到现有的、强大的异构物理生态系统中这一问题。