💻 computer science

Multi-Layer Gaussian Splatting for Immersive Anatomy Visualization

本文提出了一种名为多层高斯泼溅（Multi-Layer Gaussian Splatting）的新技术，该技术将体积 CT 扫描压缩为一种具有分层解剖结构和选择性激活的高效静态中间表示，从而在保留传统路径追踪关键探索特性的同时，使计算受限的设备能够实现实时、高质量的沉浸式可视化。

原作者： Constantin Kleinbeck, Hannah Schieber, Klaus Engel, Ralf Gutjahr, Daniel Roth

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Constantin Kleinbeck, Hannah Schieber, Klaus Engel, Ralf Gutjahr, Daniel Roth

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你要在一部轻便、电池容量有限的 VR 头显上，向你的朋友展示一个复杂的 3D 人体模型。通常情况下，为了让它看起来真实，需要完美的光影效果，这需要超级计算机来计算每一束光子的反射路径。但你的头显并不是超级计算机；它更像是一部试图运行电影制片厂业务的智能手表。如果你尝试进行实时的重度数学运算，画面就会卡顿，或者电池会瞬间耗尽。

这篇论文的作者提出了一个聪明的变通方法：不要在你朋友观看时才去做那些难做的数学运算。 而是在预先完成繁重的计算工作，将其转化为一个易于播放的“快照”，然后让头显只需负责显示这个快照即可。

“冻结光线”的小技巧

把标准的 3D 医学扫描想象成一块果冻。为了看到内部，传统方法（称为“路径追踪”）会向这块果冻中发送数百万条微小的光束来观察光的散射。这能创造出美丽、逼真的图像，但计算过程极其缓慢。

作者提出了一种使用 高斯泼溅（Gaussian Splatting） 的新方法。想象一下，与其有一个实心的果冻块，不如拥有由数百万个发光的、模糊的小球（即“高斯球”）组成的云团。每个小球都有特定的颜色和位置。当你从远处观察它们时，它们会融合在一起，看起来就像一个平滑、真实的 3D 物体。因为这些小球是预先计算好的，所以你的头显不需要进行任何繁重的数学运算；它只需要把这些球画出来即可。这就像是将一场现场复杂的交响乐表演换成了可以在任何设备上即时播放的高质量录音。

“静态”云团的问题

问题在于，一个标准的这些模糊小球组成的云团是静态的。它就像一座雕像。如果你想看骨骼，你需要一座雕像；如果你想看骨骼和肌肉，你需要另一座完全不同的、独立的雕像。如果你试图在雕像上切开一个洞来窥视内部，边缘看起来会很混乱且不自然，因为“内部”从未被计算过。

论文指出，简单地将多个独立的模型堆叠在一起既混乱又低效。作者认为，我们需要一种更聪明的方式来构建这些云团，使它们能够像剥洋葱一样一层层剥开，而不会破坏整体图像。

解决方案：分层洋葱

作者的核心发现是一个 分层高斯泼溅（Layered Gaussian Splatting） 模型。他们构建了一个系统，让你可以在一个单一文件中训练多个相互叠加的“层”。

想象一下构建一个腿部的 3D 模型：

第 1 层（骨骼）： 你训练第一组模糊的小球，使其完美呈现骨架。
第 2 层（肌肉）： 你添加第二组小球，它们仅填充肌肉所在的位置。这些新球不会触碰骨骼，只是叠加在其上方，增加额外的细节。
第 3 层（软组织）： 你添加第三层用于皮肤和脂肪。

由于每一层只增加新的信息，因此文件体积保持得很小。神奇之处在于，你现在可以实时“切割”模型。如果你切掉皮肤层，下方的肌肉层就会立即显现。如果你切掉肌肉层，骨骼就会显现。这就像拥有一个单一的数字洋葱，你可以随时剥离各层，而无需计算机重新构建整个模型。

清理混乱

当你堆叠这些层时，一个新的问题会出现。有时，计算机试图在已经被较低层遮挡的地方放置模糊的小球（就像试图在封闭的盒子里涂漆一样）。这些“不可见”的小球会浪费空间并降低速度。

论文引入了一种名为 不活跃剪枝（Inactive Pruning） 的技术。你可以把它想象成一个聪明的清洁工。在模型构建完成后，清洁工会走过并清扫掉任何完全隐藏在其他层后面或没有发挥作用的模糊小球。这保持了文件体积的精简和渲染的速度。他们还修复了一个由于透明部分（如血管）看起来很奇怪的缺陷，通过在训练期间教计算机关注“透明度”（Alpha 通道），确保背景不会渗透到透明部分。

数据说明

作者在真实的人体 CT 扫描（具体为“腿部”和“全身”扫描）上进行了测试。

速度： 在一台高性能电脑上，传统方法渲染单张图像大约需要 7,116 毫秒（超过 7 秒）。而他们的方法在标准 PC 上仅需约 1.7 毫秒，在独立 VR 头显（Meta Quest 3）上仅需 10.2 毫秒。这快了数千倍。
大小： 一个标准的医学扫描文件可能有数百兆字节。经过聚类压缩后，他们这个全身的分层模型仅为 7.6 MB。
质量： 他们使用一个名为 PSNR 的得分来衡量图像与原图的接近程度。他们的高质量版本得分为 35.46，非常接近原图，而移动设备上的标准“去噪”路径追踪得分则要低得多。

他们并未声称的内容

论文在表述上非常谨慎，没有过度承诺。

它不是处理任何动作的万能钥匙。 该模型是静态的。你无法让肌肉实时运动或让心脏跳动。它是一个快照，而不是电影。
近距离观察并不完美。 如果你在低对比度的区域（如软组织）过度放大，你可能会看到单个模糊球或“污点”。作者承认，精细细节可能会变得模糊。
它不能取代诊断。 他们建议这非常适合教学、规划和可视化，但他们并不声称这能取代医生在进行关键医疗决策时查看原始扫描件的需求。

结论

论文表明，通过预先计算“光线”并将其整齐地组织成可剥离的层，我们终于可以将高质量、逼真的 3D 解剖结构带入轻量级的 VR 头显中。它不是一个可以让你玩弄器官的完美、全交互式世界，但它弥合了“简陋、快速的 3D”与“华丽、缓慢的 3D”之间的鸿沟。它允许学生和医生在手持设备上实时切割人体模型，使复杂的解剖学探索变得更加容易理解。

技术摘要：用于沉浸式解剖可视化的多层高斯泼溅技术

问题陈述

医学图像可视化，特别是针对计算机断层扫描（CT）影像，传统上依赖于 2D 切片或直接体绘制（DVR）。虽然体积路径追踪（Volumetric Path Tracing）能提供具有逼真光照和阴影的高保真 3D 可视化效果，对教育和手术规划大有裨益，但对于移动端和独立 VR 头显的实时使用而言，其计算成本过高。这些设备缺乏进行高分辨率路径追踪或高质量 DVR 所需的存储容量和渲染能力。

现有的替代方案如高斯泼溅（Gaussian Splatting, GS）虽然提供了高效的实时渲染，但在该领域存在显著局限性：

静态特性： 标准 GS 模型是静态的；传输函数（颜色/透明度）在训练时即已固定。
缺乏交互性： 诸如切割、切片或隔离特定解剖结构（例如，观察骨骼 vs 肌肉）等技术，在不产生视觉伪影或不需要多个单独且冗余模型的情况下难以实现。
透明度问题： 标准 GS 训练会压平 Alpha 通道，导致在半透明区域出现伪影，尤其是在使用带有透明背景的合成数据进行训练时。
冗余性： 为不同的解剖视图训练单独的模型会导致巨大的存储占用，因为内容存在重叠。

方法论

作者提出了一种**分层高斯泼溅（Layered GS）**方法，创建了一种能够按顺序可视化多个解剖结构的单一中间表示。该工作流由三个阶段组成：

1. 图像生成

使用蒙特卡洛体积路径追踪器从 CT 体积数据中预渲染高质量训练图像。

初始化： 作者并非使用基于结构从运动（COLMAP）或随机点云的方法，而是通过从体积外部向内采样来生成初始点云，当达到传输函数透明度阈值（ $\alpha = 0.2$ ）时停止。这确保了点位于高斯分布形成的表面附近。
Alpha 通道处理： 为了解决透明度伪影，训练过程采用了两种策略：
- 随机背景： 训练期间每一帧的背景颜色都是随机化的，而不是被压平，从而防止背景颜色渗入半透明区域。
- Alpha 损失： 在损失计算中显式包含 Alpha 通道，以保持半透明区域的细节。

2. 分层训练

核心创新在于一个连续的训练过程，其中多个 GS 层被堆叠在同一个 .ply 文件中。

顺序优化： 层与层之间依次进行训练（例如：骨骼 $\rightarrow$ 肌肉 $\rightarrow$ 软组织）。一旦某一层完成优化，其高斯分布就会被“冻结”，并作为后续层的静态背景。
差异化表示： 新层仅优化针对“新”信息（例如肌肉组织）的高斯分布，或者在先前层信息不足的区域进行优化。现有的底层保持不变，从而保护其视觉完整性。
非活跃剪枝： 这是对标准 GS 自适应控制的重要扩展。在训练上层时，底层的一些高斯分布可能会完全被遮挡（例如在骨骼内部）或变得冗余。作者引入了一种剪枝机制，通过追踪高斯分布的活动情况（位置、颜色和缩放变化）来进行处理。如果高斯分布未能达到最小活动阈值，则会被移除。该阈值通过指数衰减进行更新，以避免在过程早期误删优化良好的高斯分布。

3. 实时渲染

训练好的分层模型在 Unity 游戏引擎（2022.3）中使用 HLSL 计算着色器进行渲染。

选择性加载： 只有当前正在渲染的层会被传输到 GPU；未使用的层保留在 RAM 中。
压缩： 为了降低存储和内存占用，作者在所有层上同时应用量化和 K-means 聚类。通过将球谐函数系数（占文件大小约 75%）聚类为 16k 个变体，利用了医学体积有限的色彩范围。
排序优化： 为了处理 VR 立体渲染，作者探索了在双眼之间共享高斯排序的方法，以将每帧的排序时间减半。

核心贡献

分层 GS 表示法： 一种将同一体积的多个 GS 渲染进行训练并堆叠成单个资产的方法，从而实现选择性显示解剖结构（如仅显示骨骼，或显示骨骼+肌肉），而无需重新训练。
非活跃剪枝： 一种在分层过程中移除被遮挡或冗余高斯分布的技术，从而减少杂乱并提高效率。
Alpha 通道训练： 通过随机背景和 Alpha 损失扩展了 GS 训练流水线，以忠实地重建半透明解剖结构。
Unity 实现： 一个用于分层 GS 模型的实时渲染管线，支持在移动端和桌面端 VR 设备上进行切割和图层切换。
开源资源： 发布了训练和渲染代码以及数据集。

结果与评估

该方法使用真实的 CT 扫描（下肢、全身、腿部）和合成场景进行了评估。

性能： 该方法在桌面级 VR（Varjo Aero）和独立移动 VR（Meta Quest 3）上均实现了交互式帧率。在配备 RTX 4090 的 PC 上，高压缩模型的渲染时间约为 1.3–1.7 毫秒，显著优于路径追踪（7116 毫秒）和降噪路径追踪（66 毫秒）。
质量： 与地面真值相比，该模型实现了高视觉保真度（PSNR ~35–37, SSIM ~0.96），优于低采样率下的标准路径追踪。虽然在低频区域细节可能会模糊，但高对比度特征得到了准确重建。
存储效率： 与存储多个独立的 GS 模型相比，分层方法显著降低了存储需求。例如，一个三层的腿部场景在压缩前需要 34.4 MB（分层后）对比 46.6 MB（单独组合后）。经过聚类压缩后，尺寸降至 5.8 MB（腿部）和 7.6 MB（全身），与原始 DICOM 体积相比实现了高达 99% 的缩减。
与持续学习对比： 与 CLNeRF 相比，所提方法能以更少的训练图像更好地表现精细解剖结构（如骨骼），并避免了回放缓冲区带来的内存开销，使其更适合实时 VR。

意义与主张

论文声称，该方法弥合了高视觉保真度路径追踪与移动 VR 设备性能约束之间的差距。通过创建一个保留“探索特性”的静态中间表示，该方法实现了：

选择性交互性： 用户可以切换图层或进行切割，以实时观察特定的解剖关系（例如骨骼 vs 软组织），这种能力此前仅限于计算昂贵的路径追踪或静态 2D 切片。
可及性： 它使高质量的 3D 解剖可视化在廉价的独立头显上成为可能，消除了对有线高性能工作站的需求。
教育效用： 交互式探索复杂解剖结构的能力支持了医学教育，而实时路径追踪在目前看来对于此类场景并不实用。

作者承认存在局限性，指出该方法仍是半静态的（传输函数是固定的），且极近距离观察可能会暴露泼溅伪影。然而，他们认为所达到的细节水平足以应对许多实际的医学可视化场景。