Multi-Modal Monocular Endoscopic Depth and Pose Estimation with Edge-Guided Self-Supervision

本文提出了名为 PRISM 的自监督学习框架，通过结合边缘检测与亮度解耦等解剖及光照先验，有效解决了单目内窥镜深度与位姿估计中纹理缺失和缺乏真值等挑战，并在实验中发现真实数据训练优于仿真数据且视频帧率对模型性能至关重要。

要点

这篇论文介绍了一种名为 PRISM 的新方法，旨在帮助医生在做结肠镜检查（一种用摄像头检查肠道内部的手术）时，能更清楚地“看”到深度和位置。

为了让你更容易理解，我们可以把这次检查想象成在一个漆黑、潮湿且形状复杂的洞穴里探险。

1. 核心挑战：为什么这很难？

想象一下，你戴着一个手电筒进入一个全是光滑、白色墙壁的洞穴（这就是肠道内部）：

• 没有纹理：墙壁看起来都一样，没有明显的标记，你很难判断哪里是近处，哪里是远处。
• 光线乱跳：手电筒的光在湿滑的墙壁上反射，产生刺眼的亮点（反光），让你看不清真实的形状。
• 没有地图：你手里没有现成的地图（没有真实的深度数据），只能靠猜。

以前的电脑程序就像是一个新手探险家，面对这种环境很容易迷路，或者把墙壁的褶皱误认为是深坑，甚至因为反光而“幻觉”出并不存在的物体。

2. PRISM 的解决方案：给探险家配了“超级向导”

作者提出了一种新的训练方法，叫 PRISM。它不再让电脑只靠“看”普通的照片（RGB 图像）来猜，而是给电脑装上了两个特殊的“超级向导”：

向导一：亮度分解向导（Luminance Guide）

• 它的作用：就像是一个懂光学原理的专家。
• 通俗解释：在洞穴里，有些亮是因为离灯近，有些亮是因为墙壁本身是白色的。这个向导能把“因为光照产生的亮”和“因为物体本身颜色产生的亮”分开。
• 比喻：就像你戴了一副智能墨镜，它能过滤掉那些刺眼的反光（高光），让你只看到物体真实的形状和阴影。这样，电脑就不会被反光骗了，能更准确地判断哪里是凹陷，哪里是凸起。

向导二：边缘检测向导（Edge Guide）

• 它的作用：就像是一个拿着放大镜找轮廓的侦探。
• 通俗解释：肠道里有很多褶皱（像手风琴的折痕）。这个向导专门负责画出这些褶皱的清晰边界线。
• 比喻：普通的照片在模糊时，边界是糊成一团的。但这个向导能像描边笔一样，把褶皱的边缘画得清清楚楚。这帮助电脑在移动时，知道“哦，我刚才经过了这条线”，从而更准确地知道自己移动了多远（定位）。

3. 独特的训练策略：分三步走

这个系统不是“一口吃成胖子”，而是分三个阶段训练，就像学开车：

1. 第一阶段（练基本功）：先单独训练那两个“向导”（亮度向导和边缘向导），让它们学会如何从混乱的图像中提取有用的信息。
2. 第二阶段（上路驾驶）：让主系统（深度和位置估计器）上路，同时参考两个向导提供的信息。这时候，它主要靠“看”图像的变化来学习。
3. 第三阶段（教练纠错）：这是最精彩的一步。作者发现，如果一直让系统同时学深度和位置，位置（定位）可能会学歪。所以，他们把深度学习“冻结”（不再让它变），专门用“边缘向导”提供的清晰线条来微调定位系统。
   • 比喻：就像你开车时，先让副驾驶的导航仪（深度）定好路线，然后你专门练习打方向盘（定位），利用路边清晰的路缘石（边缘线）来修正你的方向，确保你开得直，不偏航。

4. 令人惊讶的发现：真金不怕火炼

作者做了一项非常有趣的对比实验，得出了两个反直觉的结论：

• 发现一：真数据 > 假数据

  • 以前大家觉得，用完美的3D 模拟假人肠道（有标准答案的地图）来训练电脑最好。
  • 结果：作者发现，用真实的、没有标准答案的肠道视频训练出来的模型，反而在真实世界中表现更好！
  • 比喻：这就像教学生认路。如果你只让他背完美的地图（模拟数据），他到了真实的、坑坑洼洼的野外就懵了；但如果你让他在真实的野外迷路过几次（真实数据），他反而学会了如何在复杂环境中生存。真实世界的“混乱”反而教会了模型真正的“智慧”。

• 发现二：视频速度很重要

  • 训练时，视频是快放还是慢放，对结果影响巨大。
  • 比喻：如果视频太慢，就像你开车时几乎没动，电脑就学不到“移动”的感觉；如果太快，又看不清细节。作者发现，针对不同数据集，需要像调节快门速度一样，找到最合适的“帧率”，让电脑能看清物体是如何移动的。

总结

这篇论文的核心思想是：
在结肠镜检查中，为了让电脑能像人眼一样精准地判断深度和位置，我们不能只给它看普通的照片。我们需要教它忽略刺眼的反光（利用亮度分解），看清模糊的轮廓（利用边缘检测），并且在真实的混乱环境中训练，而不是在完美的模拟环境中。

PRISM 就像给结肠镜装上了一套智能辅助驾驶系统，能帮助医生减少“盲区”，更准确地找到病变，让检查更安全、更彻底。

技术摘要

这是一篇关于多模态单目内窥镜深度与位姿估计的论文详细技术总结。该论文提出了一种名为 PRISM 的自监督学习框架，旨在解决结肠镜检查中因纹理缺失、复杂光照和缺乏真实地面真值（Ground Truth）而导致的深度和位姿估计难题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 应用场景：结肠镜检查辅助导航。准确的深度和位姿估计有助于减少盲区、降低漏诊率并提高检查的完整性。
• 核心挑战：
  • 视觉特性：内窥镜图像通常缺乏纹理（光滑组织）、存在复杂的光照模式（如镜面反射）以及组织形变。
  • 数据局限：缺乏带有可靠地面真值（深度和位姿）的真实体内（in-vivo）数据集。现有的合成数据（如 Phantom 模型）与真实数据存在显著的域偏移（Domain Shift）。
  • 现有方法不足：
    • 监督学习方法难以泛化到真实数据。
    • 自监督方法在真实场景中面对遮挡、光照变化和光滑纹理时，运动模式学习困难。
    • 现有研究多关注模型架构创新，而忽视了训练配置（如数据源选择、时间采样率、监督方式）对性能的关键影响。

2. 方法论 (Methodology)

作者提出了 PRISM (Pose-Refinement with Intrinsic Shading and edge Maps)，这是一个分阶段的自监督学习框架，通过引入解剖学和光照先验来指导几何学习。

2.1 网络架构组件

框架包含四个主要网络模块：

1. LumNet (亮度提取器)：
   • 基于 SHADeS 方法训练，用于将内窥镜图像解耦为亮度（Luminance）、反照率（Albedo）和镜面反射（Specularity）分量。
   • 作用：提取亮度图作为深度和位姿估计的额外特征。亮度与场景深度及相机运动相关，且能抑制动态镜面反射带来的干扰。
2. EdgeNet (边缘检测器)：
   • 基于 DexiNed 架构，但在真实结肠镜数据（SegCol 数据集）上从头训练，以检测结肠褶皱的精细边缘。
   • 作用：提供结构先验，帮助模型在纹理缺失区域识别边界。
3. DepthNet (深度估计网络)：
   • 输入：原始图像帧 + 亮度图（Luminance maps）。
   • 作用：利用亮度与深度的相关性进行深度重建。
4. PoseNet (位姿估计网络)：
   • 输入：原始图像帧 + 边缘图（Edge maps）。
   • 作用：利用边缘辅助视图对齐，预测帧间相对位姿。

2.2 三阶段训练策略

1. 阶段 1：预训练
   • 预训练 LumNet 和 EdgeNet，随后冻结其权重。
2. 阶段 2：联合训练
   • 联合训练 DepthNet 和 PoseNet。
   • 损失函数：光度重投影损失（Photometric Reprojection Loss）+ 梯度引导平滑损失。
   • 特点：除了 RGB 图像，还输入亮度图和边缘图。
3. 阶段 3：基于边缘感知的位姿细化 (PoseNet Refinement)
   • 关键创新：冻结 DepthNet，仅微调 PoseNet。
   • 引入边缘引导的结构一致性损失 (Edge-Guided Structural Consistency Loss)。
   • 原理：将源帧的边缘图根据预测的深度和位姿变换到目标帧，计算其与目标帧边缘图的 SSIM 差异。
   • 目的：解决阶段 2 中深度精度提升但位姿精度下降的问题，通过强化几何边界对齐来优化位姿估计。

2.3 损失函数

• 光度损失：结合 SSIM 和 L1 范数，最小化多视图间的重投影误差。
• 边缘损失：专门针对边缘图的结构一致性，确保物体边界在不同视图间对齐，弥补纯光度损失在弱纹理区域的不足。

3. 关键贡献 (Key Contributions)

1. 多模态自监督框架：首次将亮度（Luminance）和边缘（Edge）线索显式整合到内窥镜的深度和位姿估计中，利用内窥镜特有的结构和光照先验。
2. 分阶段训练策略：提出了一种独特的训练流程，其中边缘图不仅作为输入，还作为监督信号（通过边缘损失）。这种策略在深度和位姿精度之间取得了最佳平衡。
3. 系统性的训练配置分析：
   • 深入研究了训练数据域（真实 vs. 合成）、时间采样率（帧率）和监督方式的影响。
   • 发现在真实数据上进行自监督训练优于在合成数据上进行监督训练，强调了“领域真实性”比“真值可用性”更重要。
   • 发现视频帧率是模型性能的关键因素，不同数据集需要特定的采样策略以生成高质量的训练数据（足够的帧间运动量）。

4. 实验结果 (Results)

实验在多个真实（Hyper-Kvasir, EndoMapper）和合成（C3VD）数据集上进行。

• 深度估计性能：
  • 在 C3VD 合成测试集上，PRISM 在 RMSE 等对大误差敏感的指标上表现最佳（优于 MonoDepth2, MonoViT, SHADeS 等）。
  • 在真实数据（EndoMapper）上，PRISM 生成的深度图具有更清晰的褶皱边缘，且能更好地抑制镜面反射产生的伪影，准确还原管腔（Lumen）结构。
• 位姿估计性能：
  • 在 C3VD 上，PRISM 的绝对轨迹误差（ATE）仅次于 SHADeS，优于其他基线。
  • 通过阶段 3 的边缘感知细化，显著改善了相机轨迹的重建质量。
• 消融实验结论：
  • DLPE 配置（DepthNet 输入亮度，PoseNet 输入边缘）是整体最鲁棒的配置。
  • 阶段 3 细化：仅在 PoseNet 上应用边缘损失能提升位姿精度而不损害深度精度；若联合训练则会降低深度性能。
  • 数据域：在 Hyper-Kvasir（真实数据）上训练，即使在 C3VD（合成数据）上测试，效果也优于在 C3VD 上训练。这证明了真实数据的运动统计特性（更丰富的运动模式）对自监督学习至关重要。
  • 监督 vs. 自监督：在 C3VD 上添加监督损失（Ground Truth）反而导致性能下降，原因是合成数据的真值存在噪声且缺乏遮挡区域的有效信息，导致模型过拟合噪声而非学习多视图一致性。

5. 意义与结论 (Significance & Conclusion)

• 理论意义：挑战了“合成数据真值优于真实数据”的常规认知，证明了在缺乏真值的真实场景下，利用自监督学习结合合理的先验（亮度、边缘）和运动采样策略，能获得更好的泛化能力。
• 实践指导：
  • 为内窥镜深度估计提供了最佳实践：优先使用真实数据进行自监督训练，并根据数据运动特性调整视频采样率。
  • 揭示了合成数据集（如 C3VD）在评估真实世界模型时的局限性，呼吁在评估中结合定量和定性分析。
• 未来方向：建议探索注意力机制、动态特征加权，以及开发域适应技术以减少对真实数据的依赖。

总结：PRISM 通过巧妙结合解剖结构（边缘）和光照物理（亮度）先验，并采用分阶段训练策略，显著提升了内窥镜单目深度和位姿估计的鲁棒性和准确性。其关于训练数据选择和采样策略的深入分析，为未来内窥镜导航系统的开发提供了重要的方法论指导。