NRGS-SLAM: Monocular Non-Rigid SLAM for Endoscopy via Deformation-Aware 3D Gaussian Splatting

本文提出了 NRGS-SLAM,一种基于形变感知 3D 高斯泼溅的单目非刚性 SLAM 系统,通过引入可学习形变概率、形变感知跟踪与建图模块以及统一几何损失,有效解决了内窥镜场景中相机位姿与组织形变的耦合模糊问题,显著提升了位姿估计精度与重建质量。

Jiwei Shan, Zeyu Cai, Yirui Li, Yongbo Chen, Lijun Han, Yun-hui Liu, Hesheng Wang, Shing Shin Cheng

发布于 2026-02-20
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一种名为 NRGS-SLAM 的新技术,专门用于解决内窥镜手术中的“导航”和“地图重建”难题。

为了让你轻松理解,我们可以把内窥镜手术想象成在一个不断变形的果冻迷宫里开车

1. 核心难题:果冻迷宫的陷阱

传统的导航系统(SLAM)就像是在坚硬的岩石迷宫里开车。它们假设墙壁是固定的,只要车轮转动,位置就能算准。

但在人体内部(比如做肠镜或胃镜),情况完全不同:

  • 软体组织像果冻:肠道、胃壁不是硬邦邦的石头,而是像果冻一样,随着呼吸、心跳或医生的操作不断变形、蠕动
  • 分不清是谁在动:当你看到画面里的纹理移动了,你很难判断是摄像头自己动了(车在开),还是果冻自己变形了(墙在动),或者是两者都在动
  • 后果:传统的导航系统会被这种变形搞晕,导致定位漂移(以为车在走,其实车停了,或者以为车停了,其实车在倒),重建出来的地图也是模糊、扭曲的。

2. 解决方案:NRGS-SLAM 的“智能果冻地图”

为了解决这个问题,作者发明了一套新系统,核心思想可以比喻为:给果冻里的每一小块都贴上“变形身份证”

A. 3D 高斯泼溅(3D Gaussian Splatting):用“光点”代替“网格”

以前的地图是用“网格”或“点云”拼凑的,像乐高积木,变形时容易断裂或模糊。
NRGS-SLAM 使用了一种叫3D 高斯泼溅的新技术。想象一下,它不是用积木搭房子,而是用无数发光的、半透明的“光点”(高斯球)来填充空间。

  • 优点:这些光点可以无限细腻地融合,重建出来的画面像照片一样真实,而且计算速度很快。

B. 变形感知(Deformation-Aware):给光点装上“变形概率”

这是最关键的创新。系统给每一个“光点”都分配了一个**“变形概率值”**(0 到 1 之间):

  • 0(蓝色):代表这个光点所在的组织很,几乎不动(比如骨骼附近或稳定的组织)。
  • 1(红色):代表这个光点所在的组织很,正在剧烈变形(比如被挤压的肠壁)。

这就像给果冻里的每一块都贴了标签:“这块是硬的,别动它;那块是软的,可以随便扭。”

C. 贝叶斯自监督:不需要老师教

通常,要教会电脑识别哪里软哪里硬,需要人工标注(老师告诉电脑)。但在手术中,没人能实时标注哪里在变形。
NRGS-SLAM 采用了一种**“自我学习”**的策略(贝叶斯自监督):

  • 它通过观察画面的变化,自己推测:“如果我把这块当成硬的,画面会糊掉;如果当成软的,画面就清晰了。”
  • 于是,它自己学会了给每个光点贴上正确的“变形标签”,不需要外部老师。

3. 工作流程:如何开车和画地图?

整个系统分为两个主要步骤,就像司机绘图员的配合:

第一步:智能导航(Deformable Tracking)

  • 策略:当摄像头移动时,系统会优先信任那些“硬”的光点(变形概率低的区域)来计算位置。
  • 比喻:就像在果冻迷宫里开车,司机只盯着那些不动的岩石(硬组织)来定位,而忽略那些晃动的果冻(软组织)。这样,无论果冻怎么扭,司机的方向感都不会乱。
  • 结果:摄像头的运动轨迹非常精准,不会漂移。

第二步:动态绘图(Deformable Mapping)

  • 策略:在确定了摄像头位置后,系统再专门去计算那些“软”的光点是如何变形的。
  • 比喻:司机定好位置后,绘图员专门负责把那些晃动的果冻画下来,记录它们现在的形状。
  • 结果:最终生成的地图不仅位置准,而且能完美还原肠道蠕动、变形的真实样子,画面清晰如照片。

4. 为什么它很厉害?(实验结果)

作者在多个公开的内窥镜数据集上进行了测试,结果非常惊人:

  • 定位更准:相比现有的最先进方法,摄像头的定位误差降低了50%。这意味着在手术中,医生看到的导航位置更可靠。
  • 画面更美:重建出来的 3D 图像非常逼真,没有模糊和扭曲,甚至能看清组织表面的细微纹理。
  • 适应性强:即使面对像 C3VDv2 数据集那样极度扭曲、被气球挤压的肠道,它也能稳住,而其他方法早就“迷路”或“崩溃”了。

总结

NRGS-SLAM 就像是一个拥有“透视眼”的超级导航员
它不再把人体内部看作僵硬的迷宫,而是承认并理解组织的“柔软”和“变形”。通过给每一个微小的组织点贴上“软硬标签”,它成功地把摄像头的运动组织的变形分离开来。

这对未来的意义:
虽然目前速度还没达到“实时”(还没快到像看直播一样),但它已经足够用于手术后的复盘分析医生培训。未来,如果速度能再提升,它将帮助外科医生在复杂的手术中拥有“上帝视角”,看清变形的组织,从而更安全、更精准地进行手术。

在收件箱中获取类似论文

根据您的兴趣定制的每日或每周摘要。Gist或技术摘要,使用您的语言。

试用 Digest →