From Geometric Initialization to Gaussian Refinement: A Depth-Prior-Guided Framework for Monocular Endoscopic 3D Gaussian Reconstruction

在人体内部，外科医生的视野往往受限于内窥镜那狭窄且不断移动的通道。为了能够安全地导航并执行精细的任务，医生依赖于计算机辅助系统，这些系统可以从单路摄像机画面中构建出手术部位的三维地图。这是一个极具挑战性的任务，因为人体内部并非一个静态、光照良好的房间。它是一个由柔软、湿润组织构成的景观，随着每一次呼吸和心跳而移动、拉伸和变形。表面通常湿滑且具有反射性，缺乏计算机可以捕捉到的清晰特征。当摄像机的光线照射到湿润表面时，会产生明亮且令人眩目的光斑，从而干扰标准的视觉算法。多年来，研究人员一直尝试利用追踪视频帧之间特征移动的技术来构建这些三维地图，但在混乱的手术环境中，这些特征经常消失或模糊，导致计算机对场景的理解变得支离破碎且不完整。

最近，一种被称为“3D高斯泼溅”（3D Gaussian Splatting）的新方法作为创建这些地图的强大工具脱颖而出。想象一下，一个场景并非由坚固的网格或连续的云团组成，而是由数百万个漂浮在空间中的微小、模糊、带颜色的椭球体组成的。每一个这样的小形状都包含了颜色和深度信息，当计算机从特定角度观察它们时，会将它们融合在一起，从而生成一张清晰、逼真的图像。与旧技术相比，这种方法非常快速且高效，但它有一个致命的弱点：它需要一个非常好的起点。如果计算机开始时使用的这些漂浮形状是分散、稀疏或不准确的，那么最终的三维地图将会出现扭曲、模糊或缺失大片区域。在手术背景下，一个糟糕的起点意味着计算机可能会误判与重要器官的距离，对于依赖该系统的外科医生来说，这是一个危险的错误。

一支研究团队开发了一种全新的框架来解决这个问题，专门针对单目内窥镜手术中复杂多变的条件。他们的工作解决了两个通常会出现误差的阶段：初始三维地图的创建以及随后对地图进行精确度提升的优化过程。他们并没有依赖单一的信息源来猜测组织的深度，而是创建了一个同时倾听多个“专家”深度估计器的系统。这些是不同的计算机模型，每个模型都经过训练来预测物体距离远近，但各具优劣。有的模型擅长识别边缘，而有的模型则更擅长理解平滑表面。研究人员发现，如果只是简单地选取一个模型的最优预测，结果往往会产生偏差或不一致。为了解决这个问题，他们构建了一个协作系统，使这些不同专家的预测相互对齐，寻找它们达成共识的共同点，然后将它们融合为一个单一且稳健的引导。这个融合后的引导就像一份可靠的蓝图，允许计算机从一开始就能密集且准确地布置数百万个微小的三维形状，而不是在后期才艰难地填补空白。

然而，即使有了良好的初始蓝图，在计算机尝试优化图像的过程中，地图仍可能产生微小的误差。人体组织具有精细的细节——微妙的纹理、微小的血管以及不同类型器官之间清晰的边界——这些细节在优化过程中很容易被平滑处理或丢失。为了保留这些精细结构，研究人员引入了一种全新的检查方式。他们不仅通过观察最终图像来检查颜色是否匹配，还同时通过三种不同的“镜头”来分析图像。他们检查整体形状和颜色，同时以一种能突出精细纹理和锐利边缘的方式进行分析，并使用另一种专门关注边界方向和强度的模式进行分析。通过同时应用这三种检查，系统被强制要求保持细节的锐利和边缘的清晰，防止图像变得模糊或失去其结构完整性。这种多层次的方法确保了最终的三维重建不仅仅是一个粗略的近似，而是手术场景的高保真呈现。

该团队在包含实际手术视频的两个真实世界数据集上测试了他们的方法。结果显示，该方法较之以往的方法有显著改进。在一个数据集中，他们的系统生成的图像明显更加清晰和准确，图像质量较现有最佳技术提升了近 8%。在另一个数据集中，这种提升更为显著，质量提升超过了 4%。更重要的是，这些图像对人眼而言看起来更加自然，减少了干扰性的伪影，并更好地保留了精细的解剖学细节。该系统仅需几分钟的处理时间即可完成，使其足以应用于临床环境，同时使用的计算机内存也在可控范围内。研究人员证明，通过将构建初始三维地图的智能协作方法与严谨的多维度优化方法相结合，他们可以克服长期困扰内窥镜重建的弱纹理和组织变形等挑战。这项工作表明，未来手术导航的成功可能不再仅仅依赖于寻找单一完美的算法，而更多在于如何协调多个并不完美但各具功能的算法，从而创造出一个单一且可靠的真相。