Streamlining stereo differentiable rendering for marker-free real-time tracking of surgical robots

技术摘要：通过立体可微渲染实现手术机器人的无标记实时追踪

问题陈述
模块化手术机器人需要在空间受限的手术室中进行灵活部署，然而其有限的空间感知能力阻碍了安全自动化，导致可能与医护人员及设备发生碰撞。目前的解决方案依赖于基于标记（标靶）的追踪或离线位姿估计，这些方法在杂乱的手术环境中极易受到遮挡影响，或者在动态位移过程中无法实现实时、连续的追踪。虽然基于深度学习的渲染方法提供了鲁棒性，但它们通常面临高昂的计算成本，无法在标准相机帧率（30 fps）下进行在线推理。核心挑战在于，如何在无需对机器人进行物理改装的情况下，实现手术机器人连续、无标记的 6D 位姿估计，并应对部分遮挡和多变的运动速度。

方法论
作者扩展了现有的 roboreg 框架——一种立体可微渲染流水线——以实现在线、实时的动态追踪。该方法通过将分割的机器人掩码（mask）与 CAD 模型的渲染投影进行对齐，以迭代方式优化相机外参（位姿）。其关键的方法论创新包括：

1. 并发多流处理： 为了克服顺序渲染和优化的延迟，作者利用 CUDA 流实现了一个并行化流水线。通过使用“乒乓”（ping-pong）模式（两个流：一个用于当前帧的分割，另一个用于前一帧的优化）来重叠计算。这有效地将每帧处理时间从 $t_{seg} + t_{opt}$ 降低到了 $\max(t_{seg}, t_{opt})$，从而使吞吐量翻倍。
2. 运动感知自适应优化： 为了平衡收敛速度与精度，系统根据帧间运动特性动态调整优化器超参数。算法通过分析感兴趣区域（ROI）内的软交并比（soft IoU）、质心位移和角度差异，将运动分类为三种模式（稳定、旋转、平移）：
   • 稳定追踪： 使用保守的学习率以实现平滑收敛。
   • 快速运动： 触发激进的学习率并降低动量，以快速修正位姿。
3. 损失函数适配： 目标函数使用 Tversky 损失取代了原始的 soft Dice 损失，以减轻由分割掩码附近（尤其是边界处）的假阳性引起的对抗性梯度信号。
4. 初始化策略： 系统在第一帧使用 Hydra 算法（利用深度数据）进行位姿初始化，并在后续帧中传播已收敛的位姿，以确保时间相干性。

核心贡献

• 实时立体可微渲染： 首次部署了用于在线手术机器人定位的立体可微渲染流水线，在 1080p 分辨率下实现了 30+ fps 的处理速度。
• 新型基准数据集： 收集了 38 个位移视频序列（33 个无遮挡，5 个具有不同程度的遮挡），涉及 KUKA LBR Med 7 机器人。该数据集包含静态地面真值校准和动态标记（AprilTag）参考，用于严格评估。
• 无需算法重构的高效性： 证明了通过优化执行流水线（CUDA 流、自适应超参数）而非从根本上改变底层可微渲染算法，即可实现实时性能。
• 全面的基准测试： 将其与最先进的 FoundationPose（一种神经隐式表示方法）及既定基准进行了直接对比，突出了其在静态和动态场景下的性能。

结果
所提方法达到了以下性能指标：

• 推理速度： 在 1080p 视频下实现 30 fps 的实时定位，从原始 roboreg 实现的 14 fps 显著提升，且推理速度比 FoundationPose 快 6 倍。
• 静态精度： 相对于静态地面真值校准，系统实现了 1.7 cm 的平移误差和 0.6° 的旋转误差。这显著优于 FoundationPose（其平均误差为 4.37 cm，包含失败案例；若计入因深度图误分类导致的失败案例，误差则为 57.76 cm）。
• 动态精度： 在针对 27,460 帧的标记（AprilTag）参考标准测试中，该方法实现了 1.2 cm 的平均 3D 误差。
  • 在遮挡场景（轻度至重度）中，该方法在 40–54% 的帧中保持了亚厘米级的精度，而 FoundationPose 在严重遮挡时精度几乎降至 0%。
  • 该方法在动态估计方面优于 FoundationPose 11%，在静态估计方面优于其 250%。
• 消融实验发现： 全分辨率渲染使静态精度提高了 15%。自适应超参数调优相比固定设置减少了 4.3% 的静态误差，并防止了在激进固定模式优化中观察到的过早收敛现象。

意义与主张
本文声称，通过立体可微渲染实现高分辨率、无标记的实时手术机器人追踪是可行的，且不会牺牲精度。作者强调，其方法：

• 达到了标记法（marker-based）的精度，同时消除了对易受遮挡或脱落影响的物理标记的需求。
• 与基于直接稠密对应关系的“白盒”结构相比，比“黑盒”神经方法（如 FoundationPose 或 CtRNet）提供了更高的可解释性。
• 在深度数据不可用（例如，覆盖了覆膜的手术机器人）的情况下仍能有效运行，因为它依赖于 RGB 立体输入。
• 实现了高达（34 fps）的运行速度，超过了标准的相机采集速率，能够对复杂手术环境中的视觉输入做出即时响应。

作者承认了局限性，指出由于分割梯度不准确，性能在严重遮挡下会下降，且系统目前假设初始相机位姿已知。他们总结道，虽然该方法在轻度遮挡下表现稳健，但未来的工作必须解决严重遮挡的处理问题，并在真实的临床环境下对覆膜机器人进行验证。