Monocular Endoscopic Tissue 3D Reconstruction with Multi-Level Geometry Regularization

本文提出了一种基于 3D 高斯泼溅的端到内窥镜组织 3D 重建新方法，通过引入基于符号距离场的表面感知重建以及局部刚性与全局非刚性约束，在实现实时渲染的同时有效解决了软组织形变重建中的几何一致性与物理合理性难题。

要点

这篇论文介绍了一种让机器人医生能“看清”并“实时”看到体内柔软组织的新技术。

想象一下，外科医生在做微创手术时，就像是在一个狭窄、黑暗且充满变数的迷宫里工作。他们通过一根带摄像头的管子（内窥镜）看里面，但看到的只是平面的 2D 画面。为了安全操作，他们非常需要知道里面的组织（比如肠子、血管）在 3D 空间里长什么样，以及它们是怎么动的。

以前的技术要么太慢（像慢动作回放，没法实时指导手术），要么太模糊（重建出来的表面坑坑洼洼，像融化的蜡像）。

这篇论文提出了一种名为"多级别几何正则化"的新方法，基于一种叫"3D 高斯泼溅（3D Gaussian Splatting）”的新技术。我们可以用三个生动的比喻来理解它的核心创新：

1. 给“漂浮的云朵”穿上“紧身衣” (表面感知重建)

• 问题：以前的 3D 重建技术，就像是在空气中撒了一把发光的“云团”（高斯球）来模拟物体。虽然这些云团能拼出形状，但它们很容易飘散，导致重建出来的组织表面看起来像是有许多小孔或凹凸不平的“棉花糖”，不够平滑。
• 解决方案：作者先给第一帧画面穿上一件“紧身衣”（生成一个精确的 3D 网格 Mesh）。
• 比喻：想象你要用一堆发光的橡皮泥（高斯球）去覆盖一个雕塑。以前你是随意把橡皮泥扔在雕塑周围，结果表面坑坑洼洼。现在，作者先给雕塑贴了一层保鲜膜（网格），然后强制要求所有的橡皮泥必须紧紧贴在这层保鲜膜上。
• 效果：这样，无论橡皮泥怎么变形，它们都不会乱跑，重建出来的表面就像真正的皮肤一样光滑、连续，没有奇怪的“浮空”物体。

2. 让组织“刚柔并济”地跳舞 (半刚性变形)

• 问题：体内的组织（如肠子）非常柔软，会剧烈变形。如果让每个发光点（高斯球）都自由乱动，它们就会像一群受惊的萤火虫一样四散奔逃，导致画面破碎。
• 解决方案：作者引入了“半刚性”规则，分为“局部”和“全局”两个层面来管理这些点的运动。
• 比喻：
  • 局部刚性（像关节）：在血管交叉或关键特征点附近，组织通常比较硬，不会随意扭曲。作者给这些点加了“关节锁”，让它们像手风琴的风箱一样，只能整体弯曲，不能乱扭。
  • 全局非刚性（像橡皮筋）：在远离关键点的区域，组织可以柔软变形。作者给这些点之间加了“橡皮筋”（邻居约束），确保它们虽然可以动，但彼此之间的距离和相对位置保持协调，不会有人突然瞬移到千里之外。
• 效果：这种“刚柔并济”的管理，让重建出来的组织在变形时既自然流畅，又不会散架，符合真实的物理规律。

3. 给“被遮挡的画面”补全细节 (视频修复)

• 问题：手术中，手术刀、血液或烟雾经常会挡住摄像头，导致画面缺了一块。
• 解决方案：作者利用了一种“视频修复”技术。
• 比喻：就像你在看一部电影，突然有人挡住了屏幕。以前的系统只能看到黑块。现在的系统像一个聪明的修图师，它观察前后几秒的画面，结合光流（物体移动的轨迹），脑补出被挡住的部分原本应该长什么样，并把它“画”出来。
• 效果：即使手术刀挡住了视线，系统也能还原出被遮挡的组织纹理，让 3D 模型保持完整。

总结：为什么这项技术很厉害？

• 快如闪电：以前的技术（NeRF）像是一个慢吞吞的画家，画一幅图要几小时，而且只能慢慢看。这项技术像是一个超快的 3D 打印机，训练时间缩短到几分钟，渲染速度达到每秒 170 帧（比电影快 6 倍），真正实现了实时显示。
• 省资源：以前需要昂贵的超级计算机（20GB 显存），现在普通的显卡（3GB 显存）就能跑，让医院更容易普及。
• 更真实：无论是血管的纹理，还是组织被拉扯时的变形，都看起来非常逼真，没有那些让人头晕的“伪影”或“漂浮物”。

一句话总结：
这项技术就像给机器人医生戴上了一副超清、实时、且能自动补全遮挡的 3D 智能眼镜，让它们在复杂的体内环境中也能像拥有“透视眼”一样，精准、安全地进行手术。

技术摘要

这是一份关于论文《Monocular Endoscopic Tissue 3D Reconstruction with Multi-Level Geometry Regularization》（基于多级几何正则化的单目内窥镜组织 3D 重建）的详细技术总结。

1. 研究背景与问题 (Problem)

在机器人辅助手术中，从内窥镜视频重建可变形组织的 3D 场景至关重要。然而，现有的重建方法面临以下主要挑战：

• 表面一致性差：基于 3D 高斯泼溅（3D Gaussian Splatting, 3DGS）的方法虽然渲染速度快，但在重建可变形组织表面时容易产生伪影，缺乏表面感知约束，导致几何结构不连贯。
• 实时性不足：基于神经辐射场（NeRF）的方法虽然重建质量高，但训练时间长且渲染速度慢，无法满足手术中的实时需求。
• 视角受限与遮挡：内窥镜视频视角有限，且手术器械常遮挡软组织，导致 3D 线索不足，难以完整重建被遮挡区域。
• 物理合理性缺失：现有的动态重建方法往往难以模拟软组织的物理形变特性（如局部刚性与全局非刚性的结合），容易产生不真实的漂浮物（floaters）或扭曲。

2. 方法论 (Methodology)

该论文提出了一种基于3D 高斯泼溅（3DGS）的新型框架，引入了多级几何正则化（Multi-Level Geometry Regularization），主要包含以下三个核心阶段：

A. 预处理阶段 (Preparatory Procedures)

• 稀疏特征点匹配：利用 SIFT 算法提取血管交叉点等关键特征点，建立帧间稀疏轨迹，用于指导后续的非刚性形变学习。
• 视频修复（Video Inpainting）：针对手术器械造成的遮挡，利用基于 Transformer 的光流引导视频修复模型（在 StereoMIS 数据集上微调），生成无遮挡的连续视频序列，为后续重建提供完整数据。

B. 表面感知重建 (Surface-Aware Reconstruction)

旨在解决 3DGS 表面表示不准确的问题，确保第一帧的高质量重建：

1. 网格重建：首先使用静态 NeuS2（基于符号距离场 SDF）重建第一帧的三角网格（Mesh）。
2. 网格约束的高斯泼溅：将 3D 高斯核定位在网格三角形的质心上，建立高斯与网格的一一对应关系。
3. 正则化约束：
   • 尺度约束（$L_{scale}$）：限制高斯的大小，使其不超过绑定三角形的内切圆半径，防止高斯覆盖多个三角形导致视觉失真。
   • 位移约束（$L_{shift}$）：限制高斯相对于绑定三角形的位移，防止其“漂移”出表面。

C. 半刚性形变引导 (Semi-Rigidity Deformation)

针对后续帧的动态重建，引入两级正则化以模拟软组织的物理特性：

1. 局部刚性约束（Local Rigidity Restriction）：
   • 基于“尽可能刚性”（ARAP）思想，利用稀疏特征点轨迹。
   • 在特征点附近的局部区域内，强制高斯运动遵循刚性变换原则，通过 ARAP Loss 惩罚偏离局部刚性的运动。
2. 全局非刚性约束（Global Non-Rigidity Restriction）：
   • 旋转一致性 Loss（$L_{rot}$）：鼓励相邻高斯在短时间内的旋转变化保持一致。
   • 等距 Loss（$L_{iso}$）：在长时间尺度上，强制相邻高斯之间的距离保持不变（而非位置完全固定），以处理长时漂移问题。
   • 通过结合局部刚性和全局非刚性，既保证了细节的稳定性，又允许整体组织的自然形变。

3. 主要贡献 (Key Contributions)

1. 表面感知重建：提出了一种融合 RGB、深度和光流数据的表面感知重建方法，通过网格约束 3D 高斯，实现了连贯且平滑的几何重建。
2. 半刚性形变引导：设计了基于全局和局部运动学习的指导机制，有效避免了 3D 重建过程中的“漂浮物”现象，生成了符合物理规律的软组织形变。
3. 多级正则化框架：提出了一种针对单目内窥镜动态组织重建的新范式，在纹理和几何质量上均优于现有方法，同时实现了实时渲染。

4. 实验结果 (Results)

• 数据集：在 EndoNeRF（活体前列腺切除术）和 SCARED（猪尸体腹部解剖）数据集上进行了验证。
• 定量指标：
  • 在 EndoNeRF 数据集上，该方法在 PSNR（38.05/38.27）、SSIM（0.965/0.951）和 LPIPS（0.047/0.046）等指标上均优于 EndoNeRF、EndoSurf、EndoGS 等对比方法。
  • 在 SCARED 数据集上，PSNR 达到 28.31，同样表现最佳。
• 效率对比：
  • 训练时间：仅需约 2 分钟/帧，比 NeRF 方法（数小时）快 10 倍以上。
  • 渲染速度：超过 170 FPS（部分场景），实现了真正的实时渲染。
  • 显存占用：仅需约 3GB 显存，远低于 NeRF 方法的 20GB。
• 消融实验：
  • 移除“表面感知重建”模块导致 PSNR 大幅下降至 33.60，表面出现明显伪影。
  • 移除“局部刚性”或“全局非刚性”约束均会导致重建质量下降，证明了多级正则化的必要性。

5. 意义与影响 (Significance)

• 临床价值：该方法解决了手术场景中软组织重建的实时性与高质量之间的矛盾，为机器人辅助手术提供了可靠的 3D 视觉反馈。
• 技术突破：首次将视频修复技术引入内窥镜 3D 重建以解决遮挡问题，并创新性地将网格约束与 3DGS 结合，显著提升了动态场景的表面重建精度。
• 硬件友好：极低的显存占用和训练时间使得该算法有望在资源受限的手术室硬件上部署，推动了 AI 在医疗机器人领域的实际应用。

总结：该论文通过引入表面感知约束和半刚性形变正则化，成功克服了 3DGS 在软组织重建中的表面不连续问题，同时保留了其快速渲染的优势，为内窥镜下的实时 3D 重建提供了目前最先进的解决方案。