💻 computer science

GaussianFluent: Gaussian Simulation for Dynamic Scenes with Mixed Materials

GaussianFluent 是一个统一的框架，它通过利用生成模型合成写实的体积内部结构，并集成优化的连续介质损伤物质点法（Continuum Damage Material Point Method），实现了对具有混合材料和脆性断裂特性的动态物体进行逼真的实时渲染与模拟。

原作者： Bei Huang, Yixin Chen, Ruijie Lu, Gang Zeng, Hongbin Zha, Yuru Pei, Siyuan Huang

发布于 2026-01-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bei Huang, Yixin Chen, Ruijie Lu, Gang Zeng, Hongbin Zha, Yuru Pei, Siyuan Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个由数千个微小的、发光的雾团（被称为“3D 高斯体”）组成的数字雕塑。这些雾团非常擅长从外部描绘出一个物体的样子，但它们的内部是空心的。如果你试图砸碎一个由这些雾团组成的数字西瓜，内部就会消失在虚无的空间中，或者更糟，看起来像一团模糊的乱象，因为计算机并不知道红色的果肉或黑色的种子应该是什么样子的。

GaussianFluent 是一个修复这一问题的全新工具。它将那些空心的雾气雕塑变成了实心的、逼真的物体，使其可以被砸碎、切割和挤压，且看起来与现实生活完全一致。以下是它的工作原理，分为两个神奇的技巧：

1. 填充空心外壳（“幽灵厨师”技巧）

问题： 标准的 3D 雾团只知道物体的表皮。它们不知道内部是什么。如果你切开一个蛋糕，计算机并不知道里面是海绵和奶油的层叠，还是仅仅有更多的蛋糕。

解决方案： GaussianFluent 扮演了一个“幽灵厨师”的角色。

第一步： 它首先用更多的微小雾团填充物体内部的空白空间，从而创造出一个实心的体积。
第二步： 然后，它使用一个“智能画家”（一种 AI 图像生成器）从外部观察物体，并想象内部应该是什么样子。它为雾团的内部涂上逼真的纹理——比如西瓜的红色汁液，或是果冻内部的蓝色糖分。
结果： 现在，当你切开物体时，计算机展示的不再是一个空洞，而是展现出一个全新的、逼真的内部结构，且与外部完美匹配。

2. 让物体破碎与挤压（“玩具箱”技巧）

问题： 以前的方法可以让物体像橡皮筋一样晃动或拉伸（弹性），但它们无法处理破碎或崩裂（脆性）的情况。例如，如果一颗子弹射穿果冻，旧方法只会让果冻产生奇怪的拉伸，或者直接失效。此外，它们也无法处理“混合材料”——比如一个棒棒糖，糖果部分会破碎，但木棍部分保持完整。

解决方案： GaussianFluent 使用了一种特殊的物理引擎，叫做 CD-MPM（连续损伤物质点法）。把它想象成一个超级先进的玩具箱，这里的每一个雾团都有自己的个性与规则：

不同的个性： 你可以告诉计算机：“西瓜的绿皮很坚韧，红色的果肉很柔软，而黑色的种子很坚硬。”
破碎规则： 它使用一种数学规则来决定物体何时因“压力”过大而破碎。它不是在某个特定点突然断裂，而是随着物体的挤压或拉伸，逐渐削弱材料的强度，直到最终发生断裂。
子弹测试： 因为它理解这些规则，它可以模拟一颗子弹飞过果冻，将糖分从另一侧挤出，或者模拟一个西瓜掉落并裂开以露出种子，同时棒棒糖的木棍依然完好无损。

为什么这很重要（根据论文所述）

论文声称这是一个巨大的飞跃，因为：

它很快： 它运行在强大的计算芯片（GPU）上，因此你可以实时看到这些爆炸和切割过程发生，而不是等待数小时。
它很逼真： 它比任何人都更好地处理“混合材料”。你可以拥有一个具有坚硬外壳和柔软内芯的水果，并且它们的破碎方式各不相同。
它很一致： 无论你从哪个角度观察，甚至在物体旋转或破碎时，其内部纹理看起来都是一致的。

简而言之： GaussianFluent 将一个空心的、静态的 3D 模型变成了一个生动的、呼吸着的数字世界，在这里，物体拥有实心的内部、逼真的纹理，以及能够像现实世界中那样破碎、切割和溅射的能力。作者通过对西瓜、蛋糕、果冻和牛奶等的测试，证明了它能够处理从柔软挤压到坚硬破碎的一切情况。

技术摘要：GaussianFluent

问题陈述

尽管 3D 高斯泼溅（3DGS）已成为实现高保真、实时渲染静态场景的前沿技术，但其在涉及复杂物理交互的动态场景中的应用仍然有限。现有的将物理模拟与高斯模型耦合的方法（例如 PhysGaussian）主要侧重于软材料的弹性变形。它们面临两个关键的未解决挑战，即在模拟脆性断裂和混合材料动力学时：

缺乏体积内部结构： 标准 3DGS 是一种基于表面的表示方法。它本质上缺乏定义的内部结构，导致在发生诸如断裂、切割或撞击等事件时，无法模拟或渲染新暴露的表面。目前的重建方法会导致内部空洞且缺乏纹理。
缺乏断裂感知模拟： 现有的 GS 模拟方法局限于弹性动力学。基于点云的断裂方法由于缺乏连续的映射方案（导致物理上不合理的动力学表现）以及严重的 CPU 绑定执行瓶颈，无法与 GS 兼容。此外，它们无法在 GS 框架内对混合材料物体（例如具有硬皮、软肉和种子的西瓜）进行建模，也无法模拟脆性断裂和拓扑变化。

方法论：GaussianFluent

作者提出了 GaussianFluent，这是一个统一的框架，旨在 3DGS 表示中合成真实的内部纹理并模拟复杂的物体动力学，包括脆性断裂和混合材料交互。该框架由两个主要部分组成：

1. 内部纹理合成

为了解决缺乏内部结构的问题，GaussianFluent 引入了一个流水线，用于填充并为高斯模型内部体积添加纹理，而无需额外的训练数据：

内部体积初始化： 该方法首先训练一个增强了**尺度正则化损失（scale regularization loss）**的标准 3-DGS 模型。这通过鼓励更小、更局部的高斯分布，确保外部表面与内部体积之间有清晰的分离。通过密度场识别物体边界，并在封闭的体积内初始化新的高斯分布。通过仅针对不透明度（opacity-only）的优化来精炼该体积，修剪多余的高斯分布，以创建一个干净的实体表示。
两阶段纹理生成：
- 粗略初始化： 沿 X 轴对物体进行切片。生成模型（MVInpainter）在文本提示和参考图像（通过 Stable Diffusion XL 生成）的引导下，对这些切片进行单视图修复（inpainting），以创建一致的初始纹理。
- 迭代精炼： 为了确保跨观察方向的三维一致性，该方法在三个轴（X, Y, Z）上采用迭代精炼循环。通过使用低强度的修复更新，并在 SD-XL 的引导下，系统会增量注入内部细节，同时保持全局结构。内部高斯的球谐函数（SH）系数被优化，以最小化与这些修复后的切片之间的渲染差异，从而实现三轴一致性。

2. 优化的 CD-MPM 用于混合材料

该框架集成了一个优化的连续损伤材料点法（Continuum Damage Material Point Method, CD-MPM），以实现对脆性断裂和混合材料的高速、物理精确的模拟：

物理集成： 每个 3D 高斯被视为一个携带物理属性（质量、速度、应力等）的粒子，并通过背景欧拉网格进行交互。变形梯度（ $F_p$ ）被应用于高斯的协方差和球谐函数，以更新其状态。
断裂机制： 该方法使用非关联 Cam-Clay (NACC) 屈服面来模拟脆性断裂。随着变形的累积，软化律会降低材料产生应力的能力。当这种能力消失时，发生断裂，并通过损伤变量 $\alpha$ 进行追踪。
连续返回映射（Continuous Return Mapping）： 为了解决以往 CD-MPM 实现中的数值不稳定性问题（特别是屈服面尖端的间断问题），作者引入了一种正则化连续返回映射。它通过一个随应力状态平滑变化的动态点取代了固定投影中心，从而确保稳定且符合物理规律的断裂动力学。
混合材料支持： 与假设均匀属性的先前工作不同，GaussianFluent 根据分割或启发式方法，为物体的不同部分（例如西瓜的种子、果肉、外皮）分配不同的材料参数（特别是损伤参数 $\beta$ ）。
统一的固液模拟： 通过调整材料参数（特别是设置预固结压力 $p_0 \to 0$ ），NACC 模型自然地退化为流体行为，使得同一个框架既可以模拟脆性固体，也可以模拟流体（例如牛奶溅射），而无需单独的求解器。
GPU 并行化： 整个模拟循环使用 NVIDIA Warp 库在 GPU 上重新实现，实现了实时性能（每帧数秒），相比之下，基于 CPU 的方法需要数分钟。

核心贡献

内部纹理合成： 一种全新的、无需训练的流水线，利用生成模型合成具有照片级真实感、空间一致性的 3DGS 内部结构和纹理，从而实现断裂内部的可视化。
面向 GS 的优化 CD-MPM： 将 CD-MPM 与 3DGS 集成，通过连续返回映射方案解决了之前的稳定性问题，并实现了 GPU 并行化以实现高速模拟。
混合材料与流体模拟： 能够在单一统一框架内模拟涉及混合材料（例如硬质子弹穿透果冻并排出内部糖分、西瓜破碎）或类流体行为（如牛奶溅射）的复杂场景。
动态重光照： 集成了基于 PCA 法线计算的 Blinn-Phong 着色模型，允许在动态光照和演变的阴影条件下进行逼真的渲染。

结果

作者在涉及食物、液体和具有多样化材料属性（脆性固体、粘弹性凝胶、软组织）的各种具有挑战性的场景中验证了 GaussianFluent。

纹理质量： 定量（CLIP 分数）和定性用户研究表明，GaussianFluent 在生成真实、一致且详细的内部纹理方面显著优于基准方法（PhysGaussian 和 2D Inpainting）。
模拟保真度： 该方法成功模拟了多种拓扑变化，包括：
- 脆性断裂： 西瓜坠落并破碎，露出种子和果肉；棒棒糖破碎但棍棒保持完整。
- 混合材料动力学： 硬质子弹穿透果冻并排出内部糖分；切开分层蛋糕。
- 流体动力学： 牛奶在桌子上溅射，以及沙堡在重力作用下坍塌。
性能： 经过 GPU 优化的实现达到了实时渲染速度（例如，果冻约为 ~0.39s/帧，复杂的西瓜场景约为 ~3.56s/帧），相比之前受 CPU 限制的方法有了实质性的提升。

重要性与主张

论文声称 GaussianFluent 代表了弥合高保真渲染与物理精确模拟之间差距的重要一步。通过解决未定义的内部结构和脆性断裂问题，该框架实现了此前在 GS 领域无法实现的动态事件的逼真模拟。作者强调了其在虚拟现实 (VR) 和机器人技术中的下游应用潜力，在这些领域，交互式、物理合理且视觉丰富的动态环境至关重要。这项工作证明了 3DGS 现在可以处理具有高视觉保真度和结构一致性的复杂结构变化及混合材料交互。