Real-time Monocular 2D and 3D Perception of Endoluminal Scenes for Controlling Flexible Robotic Endoscopic Instruments

这是一份关于论文《Real-time Monocular 2D and 3D Perception of Endoluminal Scenes for Controlling Flexible Robotic Endoscopic Instruments》（用于控制柔性机器人内镜器械的管腔内场景实时单目 2D 和 3D 感知）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
管腔内手术（如胃肠道和泌尿道手术）是一种微创治疗早期癌症的有效手段。然而，传统手术受限于缺乏灵巧性的基本器械和陡峭的学习曲线。连续体机器人（Continuum Robots）因其无限弹性关节和连续变形能力，非常适合在狭窄空间内进行精确操作。

核心挑战：
尽管连续体机器人具有灵活性，但在管腔内手术中将其作为手术器械面临巨大挑战：

1. 感知困难： 缺乏刚性耦合，运动学建模复杂；柔性结构导致难以进行实时的三维（3D）形状感知和状态建模。
2. 环境限制： 手术空间狭窄，常发生器械与周围组织的碰撞。缺乏对机器人状态及周围解剖结构几何关系的准确感知，使得控制变得困难且不安全。
3. 现有方案局限：
   • 依赖内置传感器（如 FBG、电磁传感器）成本高、易受环境干扰且可能降低器械寿命。
   • 外部成像（CT、MRI）昂贵且无法实时提供几何测量。
   • 现有的基于视觉的感知框架多针对刚性器械或单一任务（如仅分割或仅重建），缺乏针对柔性连续体机器人的综合 2D/3D 感知方案。
   • 缺乏高质量的真实标注数据，且现有的模拟器无法真实模拟柔性器械在管腔内的动态交互。

2. 方法论 (Methodology)

本文提出了一套集成化的单目内镜图像感知框架，包含三个核心模块，并构建了一个物理真实的模拟器来生成训练数据。

A. 物理真实模拟器 (Physically-realistic Simulator)

为了解决数据稀缺问题，作者基于 Unity 开发了一个模拟器：

• 柔性建模： 使用分段恒定曲率模型（Piece-wise Constant Curvature）模拟柔性器械，分为肩段（Shoulder）、近端（Proximal）和远端（Distal）三段，通过四个状态参数（$\alpha, \beta, \gamma, \delta$）控制。
• 真实纹理生成： 利用临床结肠镜视频（C3VD, Colon10K）和深度图，通过泊松表面重建（Poisson Surface Reconstruction）生成高保真的 3D 器官模型和纹理。
• 数据生成： 能够生成带有真实状态标签（Ground Truth）的 2D 图像、深度图和法线图，用于训练学习算法。

B. 2D 连续体机器人分割模块 (2D Segmentation)

• 目标： 在单帧图像中准确分割左右两个柔性器械。
• 技术路线： 采用知识蒸馏策略。
  • 教师模型： 使用预训练的视觉基础模型（SAM, Segment Anything Model），仅需在首帧提供简单的边界框提示（Prompt）即可生成高质量掩码。
  • 学生模型： 轻量级的 U-Net 网络，通过负对数似然（NLL）损失函数学习教师模型的输出。
  • 数据增强： 利用基础模型生成的掩码，将器械裁剪并粘贴到不同的内镜背景（EAD 数据集）中，结合颜色抖动等增强手段，提高模型在复杂场景下的鲁棒性。

C. 3D 机器人状态估计模块 (3D Robot State Estimation)

• 目标： 从 2D 分割掩码推断柔性器械在 3D 空间中的状态参数（弯曲角、偏航角、翻滚角）。
• 技术路线：
  • 基于 U-Net 提取图像特征，并根据分割掩码采样像素级特征。
  • 概率建模： 摒弃传统的直接回归（易受旋转空间不连续性影响），采用**矩阵 Fisher 分布（Matrix Fisher Distribution）**来建模状态参数。
  • 优势： 该方法不仅输出状态值，还能输出不确定性（Uncertainty），通过奇异值分解（SVD）量化预测的置信度，提高了控制的鲁棒性。

D. 3D 深度估计模块 (3D Depth Estimation)

• 目标： 重建整个内镜场景（包括组织和器械）的 3D 几何结构，测量器械与组织的距离。
• 技术路线：
  • 光照建模： 针对内镜同轴光源特性，建立光照衰减模型，引入**逐像素渲染（Per-Pixel Rendering, PPR）**场，结合光照方向、衰减因子和表面法线。
  • 损失函数： 设计了监督损失（PPR Loss）用于合成数据，以及自监督损失（利用 PPR 与图像强度的强相关性）用于真实无标签数据。
  • 训练策略： 采用**教师 - 学生（Teacher-Student）**迁移学习。
    • Teacher： 在合成数据上训练，结合监督深度损失和 PPR 损失。
    • Student： 在合成数据和真实临床数据上交替训练。利用 Teacher 对真实数据的预测作为伪标签（Pseudo-ground-truth），结合自监督损失进行微调，解决合成到真实的域差异（Sim-to-Real Gap）。
  • 架构： 基于 DINOv2 编码器 + DPT 解码器，并引入改进模块（PRMod）进行特征融合和深度细化。

3. 关键贡献 (Key Contributions)

1. 首个集成框架： 提出了首个仅基于单目视觉的连续体机器人管腔内手术感知框架，能够同时提供器械的 2D 分割、3D 状态估计（含不确定性）和场景 3D 深度信息。
2. 物理真实模拟器： 构建了能够模拟柔性器械动力学和真实组织纹理的模拟器，生成了大规模、高保真的合成数据集，填补了该领域训练数据的空白。
3. 创新算法设计：
   • 基于 SAM 的标注高效分割方法，显著降低了标注成本并提升了分割精度。
   • 基于矩阵 Fisher 分布的概率状态估计，解决了旋转空间回归的不连续性问题，并提供了关键的不确定性度量。
   • 结合光照建模和教师 - 学生迁移学习的深度估计方法，有效克服了真实数据缺乏深度真值的难题。
4. 系统级验证： 将感知框架集成到真实的连续体机器人系统中，验证了其在远程校准、状态监控和距离推断等认知辅助功能中的实际效果。

4. 实验结果 (Results)

实验在离体猪肠道（Ex-vivo）数据和合成数据上进行，并在机器人系统层面进行了评估：

• 2D 分割性能：
  • 在真实数据上，Dice 系数达到 94.93% (左) 和 95.59% (右)，IoU 超过 90%。
  • 推理速度达到 52.1 fps，远快于基础模型（1.4 fps），满足实时性要求。
• 3D 状态估计性能：
  • 相比关键点法（KP）、骨架法（SKL）和传统回归法（Quat, Rot6D），本文方法在角度误差上表现最优。
  • 平均角度误差（Mean Error）低至 2.60° - 6.66°（取决于具体参数），中位数误差更低。
  • 不确定性估计与误差高度相关：高不确定性区域通常对应高误差，证明了其可靠性。
• 3D 深度估计性能：
  • 在合成测试集上，RMSE 达到 4.020 mm，优于 Metric3D、EndoOmni 等 SOTA 基础模型。
  • 定性分析显示，该方法能清晰捕捉器械尖端和软组织表面的细微几何变化。
• 系统级评估（认知辅助）：
  • 远程校准： 在器械与控制器映射异常时，利用状态估计进行校准，使专业用户的操作时间减少 71%（从 233s 降至 66s），非专业用户减少 72%。
  • 3D 形状监控： 能够实时可视化器械形态，并在部分遮挡时通过高不确定性提示风险。
  • 器械 - 组织距离： 成功推断器械与组织的接触距离，辅助医生判断组织变形情况。

5. 意义与展望 (Significance)

• 临床价值： 该工作显著降低了管腔内机器人手术的学习曲线，通过提供实时的 3D 空间感知和不确定性反馈，增强了手术的安全性和精确度，减少了手术时间。
• 技术突破： 证明了仅凭单目视觉即可在复杂、动态的管腔环境中实现高精度的柔性机器人状态感知和深度重建，为未来自主或半自主手术机器人奠定了基础。
• 局限性： 目前实验主要在离体模型和合成数据上进行，缺乏活体（In-vivo）人体验证；深度估计在完全遮挡区域仍存在局限；模拟器尚未完全模拟软组织的非线性变形。
• 未来方向： 计划进行临床验证，引入多视图重建和时序融合以解决遮挡问题，并结合运动学模型进行贝叶斯融合，进一步提升系统在复杂光照和遮挡下的鲁棒性。

总结： 本文通过“仿真驱动数据生成 + 基础模型知识蒸馏 + 概率感知建模 + 迁移学习”的技术路线，成功构建了一套高效、鲁棒的连续体机器人内镜感知系统，显著提升了柔性手术器械在狭窄管腔内的操控能力和手术安全性。