InnerGS: Internal Scenes Reconstruction and Segmentation via Factorized 3D Gaussian Splatting
InnerGS 引入了一种分解式 3D 高斯泼溅框架，该框架能够从稀疏的切片数据中重建详细的内部场景结构，且无需相机位姿，并通过集成语言特征将这一能力扩展到了文本引导的分割领域。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图构建一个完美的、三维的城市模型，但你手里只有一叠扁平的二维蓝图。如今大多数计算机程序就像是只能观察建筑外部的建筑大师。它们能告诉你正门长什么样，或者屋顶是什么形状，但如果你问它们展示墙壁内部的管道或干壁背后的布线，它们就会碰壁。它们根本不知道如何填补蓝图之间的空白空间。这对于医学等领域是一个巨大的问题，因为医生需要看到人体内部，而无需切开身体；或者对于需要从内而外理解复杂物体的机器人也是如此。
为了解决这个问题，科学家们一直在使用一种被称为“3D 高斯泼溅”（3D Gaussian Splatting）的聪明技巧。不要把高斯看作可怕的数学公式，而要把它想象成一团模糊的、发光的云雾。想象一下，你正在通过向空中投掷成千上万个这种柔软、发光的云团来绘制一个 3D 场景。每个云团都有一个中心、一个大小和一种颜色。当你从外部观察这个场景时，这些云团会相互重叠并融合在一起，创造出一幅平滑且逼真的图像。这就像是用薄雾创造出一幅全息图。这种方法速度极快，且能做出美丽的图像，但直到现在，它主要被用于绘制物体的“表面”。它很擅长画出苹果的表皮，但对于展示苹果内部的种子和果核却显得力不从心。
这正是名为“InnerGS”的新论文所要解决的问题。研究人员 Shuxin Liang、Yihan Xiao 和 Wenlu Tang 提出了一个简单但大胆的问题：如果我们也能用这些发光的云团来绘制物体的“内部”，情况会怎样？他们意识到，旧的绘画方式依赖于从特定的相机角度进行拍摄。但当你拥有一叠医学切片（如 CT 或 MRI 扫描）时，你拥有的不是相机，而是一叠扁平的页面。旧的方法之所以失败，是因为它试图将一个 3D 云团强行挤压成 2D 图像，却不知道相机的站位在哪里。
团队的解决方案就像是改变了游戏规则。他们不再是投掷一个云团然后将其压扁以适应相机，而是决定对云团本身进行“切割”。他们想出了一个办法，可以对单个 3D 云团进行数学上的“切割”，在不同的深度产生完美的 2D 形状，从而为堆叠中的每一层切片都创建一个精确的形状。这就像是他们拿了一个蓬松的棉花糖，并向你展示在每一毫米的高度上，其横截面看起来究竟是什么样子，而完全不需要去给它拍照。他们称之为“条件泼溅”（Conditional Splatting）。这是一种聪明的表达方式，意为：“如果你正在观察第 5 层切片，这里就是那个特定云团在此处呈现的样子。”
通过这样做，他们可以利用稀疏的一组切片——比如仅仅是厚书中的几页——来填补中间所有缺失的页面，从而生成平滑且详细的 3D 数据。他们在真实的医学数据（如大脑和心脏）上进行了测试。在模拟中，他们发现这种新方法比旧的“挤压式”方法更快、更准确。例如，在重建大脑时，他们的方法达到了约 32.5 的得分（称为 PSNR），这是一个非常高的质量水平，而且仅用了大约 26 分钟。更酷的是，他们展示了该系统可以处理运动部件，比如手腕弯曲或心脏跳动，方法是让云团随时间发生摆动和变形。
但奇迹并不仅仅停留在“看见”内部。团队还展示了你可以与这个 3D 模型进行对话。通过教这些云团理解语言，他们开发了一个系统，让你输入“显示肝脏”或“找到肿瘤”，计算机就会精准地高亮显示那个部分。在测试中，这种语言引导的分割极其准确，能够正确识别身体部位的准确率约为 88%。
这篇论文并不声称解决了世界上所有的难题。他们承认，他们的方法最适用于特定类型的数据，并且在处理图像亮度变化等方面仍存在挑战。然而，他们已经证明，使用这些发光的云团来重建物体的隐藏体积内部是可行的，而且不需要复杂的相机设置。他们甚至公开了代码供任何人尝试，这表明这可能是医学成像、机器人技术和虚拟现实领域迈出的重要一步，帮助我们最终看清那些隐藏在无法触及之物内部的奥秘。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。