EndoDDC: Learning Sparse to Dense Reconstruction for Endoscopic Robotic Navigation via Diffusion Depth Completion

本文提出了 EndoDDC 方法，通过结合图像、稀疏深度信息及深度梯度特征，并利用扩散模型进行优化，有效解决了内窥镜环境中弱纹理和光照反射导致的深度估计稀疏与不准确问题，显著提升了手术机器人导航的 3D 重建精度与鲁棒性。

要点

这篇论文介绍了一种名为 EndoDDC 的新技术，它的目标是让手术机器人在人体内部（比如肠道里）看得更清楚、走得更稳。

为了让你更容易理解，我们可以把整个故事想象成在一个伸手不见五指、墙壁光滑且反光的大迷宫里，给机器人装上一双“透视眼”。

1. 核心难题：为什么现在的机器人“看不清”？

想象一下，你让一个机器人拿着摄像头钻进人的肠道里做手术。肠道内部有两个大麻烦：

• 墙壁太光滑（弱纹理）： 肠道壁像涂了油的瓷砖，没有明显的花纹或特征。普通的 AI 就像在一个全是白墙的房间里，很难判断哪里是近、哪里是远。
• 灯光乱反射（光反射）： 手术灯照在湿润的组织上会像照镜子一样反光，产生刺眼的白点，干扰视线。

目前的解决方案主要有两种，但都有缺陷：

• 方案 A（微调大模型）： 就像给机器人看很多带“标准答案”（精确深度图）的肠道照片，让它死记硬背。但问题是，很难搞到那么多带“标准答案”的真实手术视频（因为涉及隐私和安全，很难在病人身上测出精确的 3D 距离）。
• 方案 B（自监督学习）： 让机器人自己看视频猜距离。但这就像让机器人蒙着眼走路，它很容易搞错比例，或者在没纹理的地方直接“瞎猜”，导致重建出来的 3D 地图全是漏洞（稀疏且不准）。

2. 他们的解决方案：EndoDDC（像“填色游戏” + “AI 画家”）

EndoDDC 的思路非常巧妙，它结合了**“稀疏的精准点”和"AI 的想象力”**。

第一步：收集“线索”（稀疏深度）

虽然很难得到完整的 3D 地图，但现在的传感器（比如 ToF 或立体摄像头）能给出一些非常精准但数量很少的点。

• 比喻： 想象你在一张白纸上，只有几个点被标上了精确的坐标（比如“这里离镜头 10 厘米”）。这些点虽然少，但绝对准确。

第二步：深度梯度融合（给 AI 画“骨架”）

机器人不仅要看这些点，还要分析这些点之间的变化趋势（梯度）。

• 比喻： 就像你要画一座山，虽然只有几个山顶的坐标，但你知道山脚到山顶是怎么倾斜的。EndoDDC 会把这些“倾斜趋势”也提取出来，作为给 AI 的骨架线索，告诉它：“这里虽然没点，但根据旁边的点，这里应该是斜坡，不能是平地。”

第三步：扩散模型（AI 画家进行“填色”）

这是最核心的创新。他们使用了一种叫**“扩散模型”**（Diffusion Model）的技术。

• 比喻： 想象一张被泼了墨水的画（全是噪点/混乱），AI 的任务是一步步把墨水擦掉，还原出清晰的图像。
  • 传统的 AI 是直接从模糊猜清楚，容易猜错。
  • EndoDDC 的做法是：先让 AI 看着那些精准的点和骨架线索，然后像填色游戏一样，从混乱中一步步“擦”出清晰的深度图。
  • 关键点： 在“擦”的过程中，AI 会不断问自己：“根据我刚才看到的骨架（梯度），这里应该是凸起的还是凹下去的？”这样就能把那些因为反光或没纹理而看不清的地方，补全得既准确又自然。

3. 效果如何？

作者在两个公开的肠道手术数据集上做了测试，结果非常惊人：

• 更准： 相比目前最先进的模型，EndoDDC 算出来的距离误差更小。
• 更稳： 即使传感器提供的精准点非常少（比如只有几十个），它也能画出完整的 3D 地图。
• 细节好： 在肠道边缘、褶皱等复杂的地方，它能还原出细腻的纹理，而不是糊成一团。

4. 总结：这对我们意味着什么？

这就好比给手术机器人装上了一套**“超级导航系统”**。
以前，机器人可能在光滑的肠道里迷路，或者因为看不清深度而误伤组织。现在，有了 EndoDDC，机器人能：

1. 利用零星的精准数据（稀疏点）。
2. 结合 AI 的推理能力（扩散模型）。
3. 实时生成一张完整、精准、无死角的 3D 地图。

这意味着未来的微创手术机器人能更自主、更安全地帮医生完成高难度操作，减少手术风险，让病人恢复得更快。

一句话概括：
EndoDDC 就像一位拥有“透视眼”和“补全能力”的超级画师，它拿着几个精准的坐标点，就能在光滑反光的肠道里，完美地画出完整的 3D 地形图，让手术机器人不再“迷路”。

技术摘要

以下是对论文《EndoDDC: Learning Sparse to Dense Reconstruction for Endoscopic Robotic Navigation via Diffusion Depth Completion》的详细技术总结：

1. 研究背景与问题 (Problem)

核心挑战： 在内窥镜手术机器人的导航中，精确的深度估计对于 3D 重建和安全器械引导至关重要。然而，现有的深度估计方法面临以下主要瓶颈：

• 数据稀缺与获取困难： 微调（Fine-tuning）预训练模型需要带有精确深度标注的稠密数据集，但在内窥镜环境中，由于组织表面纹理缺失（弱纹理）和镜面反射（强光反射），获取大规模真值深度数据极其困难。
• 现有方法的局限性：
  • 自监督学习： 虽然无需标注，但在弱纹理和光照变化环境下性能下降，且存在尺度模糊问题，导致重建结果稀疏且无效。
  • 传统深度补全（Depth Completion）： 虽然在自动驾驶等领域成功，但直接应用于内窥镜场景效果不佳，难以处理弱纹理和复杂光照。
  • 传感器限制： ToF 或立体内窥镜提供的深度数据通常是稀疏且不完整的，不足以直接用于构建完整的 3D 场景。

目标： 开发一种能够利用稀疏深度信息，在弱纹理和反光环境下，将稀疏深度重建为高精度稠密深度图的方法，以辅助手术机器人导航。

2. 方法论 (Methodology)

作者提出了 EndoDDC，一种专为内窥镜手术机器人设计的深度补全框架。该框架通过整合 RGB 图像、稀疏深度图以及深度梯度特征，利用扩散模型（Diffusion Model）进行优化。主要模块包括：

• 特征提取与深度梯度融合模块 (Feature Extraction & Depth Grad Fusion)：

  • 使用预训练的 PVT（Pyramid Vision Transformer）作为骨干网络，提取 RGB 图像和稀疏深度图的多尺度全局与局部特征。
  • 引入 Depth Grad Fusion 模块，利用卷积门控循环单元（ConvGRU）迭代处理深度图和梯度图。该模块通过隐藏状态网络不断更新，将深度值与几何梯度信息深度融合，生成包含丰富几何先验的隐状态特征。

• 条件深度扩散模型 (Conditional Depth Diffusion)：

  • 基于去噪扩散隐式模型（DDIM），将深度重建视为从噪声到数据的去噪过程。
  • 初始化： 使用特征提取网络生成的初始粗糙深度图（Coarse Depth）作为扩散过程的起点，而非随机噪声。
  • 条件引导： 这是核心创新点。将上述融合模块提取的深度梯度特征（编码了局部表面结构和方向信息）作为扩散模型的条件（Conditioning）。通过 1x1 卷积将高维特征映射为单通道引导图，并与噪声深度图在通道维度拼接，输入到 U-Net 去噪网络中。
  • 作用： 这种机制强制扩散过程遵循几何约束，有效解决了内窥镜图像中因纹理缺失导致的局部歧义，确保生成的深度图在物理上合理且全局一致。

• 深度增强与上采样 (Depth Enhancement & Upsampling)：

  • 扩散模型输出低分辨率（1/4）的优化深度图。
  • 利用凸组合方法（Convex Combination）进行上采样，并结合预训练的空间传播网络（SPN）进行细化，最终生成高分辨率的稠密深度图。

• 损失函数： 结合了 L1/L2 深度损失、梯度损失（监督深度梯度的准确性）以及扩散模型的噪声预测损失（L2），共同优化网络。

3. 主要贡献 (Key Contributions)

1. 提出 EndoDDC 管道： 首个针对内窥镜手术机器人导航的稀疏到稠密深度重建框架，有效解决了微调方法和自监督学习在弱纹理环境下的失效问题。
2. 多尺度特征与梯度融合： 设计了深度梯度融合模块，利用迭代机制为稀疏到稠密的重建提供强有力的几何引导。
3. 基于梯度的条件扩散策略： 创新性地提出将深度梯度特征作为条件引入扩散模型，通过迭代优化深度值，显著提升了在复杂内窥镜环境下的重建精度。
4. 全面的实验验证： 在两个公开手术数据集（C3VD 和 StereoMIS）上进行了详尽实验，证明了该方法在精度和鲁棒性上均优于当前最先进（SOTA）模型。

4. 实验结果 (Results)

• 数据集： 在 C3VD（结肠镜 3D 视频数据集）和 StereoMIS（达芬奇机器人手术数据集）上进行测试。
• 定量对比：
  • 在 C3VD 数据集上，EndoDDC 的 RMSE 为 0.6412 mm，MAE 为 0.2104 mm，优于所有对比模型（包括 DepthAnything-v2, Marigold-DC, OGNI-DC 等）。
  • 在 StereoMIS 数据集上，RMSE 降至 1.4691 mm，相比微调的 DepthAnything-v2 和自监督模型 EndoDAC 有显著提升（例如在 StereoMIS 上精度提升了约 25.55%）。
  • 相比当前最好的深度补全模型 OGNI-DC，在 C3VD 上的 RMSE 降低了 5.28%。
• 稀疏度鲁棒性： 在不同稀疏度（50 到 50000 个稀疏点）下测试，EndoDDC 在大多数情况下表现最佳。特别是在稀疏点较多时，其基于几何约束的重建能力远超依赖视觉先验的生成式模型（如 Marigold-DC）。
• 定性分析： 可视化结果显示，EndoDDC 在图像边缘和深度变化剧烈区域（如肠道壁褶皱）的误差更小，重建细节更丰富。
• 消融实验： 证明了“深度梯度融合”和“初始深度引导的扩散”两个模块对性能提升的关键作用。

5. 意义与价值 (Significance)

• 技术突破： 成功将扩散模型引入内窥镜深度补全领域，利用几何梯度条件解决了传统方法在弱纹理环境下的泛化难题。
• 临床应用价值： 提供了一种无需大量稠密真值标注即可实现高精度 3D 重建的方案，显著降低了手术机器人导航系统的部署门槛。
• 安全性提升： 通过提供更准确、鲁棒的深度感知，增强了手术机器人在复杂解剖结构中的空间感知能力，有助于实现更安全的自主路径规划和实时导航决策。
• 开源贡献： 代码已开源，为后续内窥镜机器人视觉研究提供了重要的基准和工具。

总结： EndoDDC 通过结合稀疏深度先验、深度梯度几何约束以及扩散模型的生成能力，在内窥镜手术机器人导航的 3D 重建任务中取得了突破性的进展，为微创手术的安全性和智能化提供了强有力的技术支撑。