Surgical Vision ROS2: a ROS2 Humble pipeline for intraoperative wound assessment and variable-autonomy arm control

技术摘要：Surgical Vision ROS2

问题陈述
目前的远程操作手术机器人完全依赖人类操作员来检查组织、判断伤口状态并决定机械臂运动。机器人手臂缺乏对手术部位的独立感知视角，也无法根据视觉线索修改其行为。这种安排对于经验丰富的外科医生是有效的，但在培训环境（受训者可能会遗漏线索）以及长时间手术过程中（注意力可能会下降）会带来风险。本文指出需要一个“感知调节辅助”（perception-conditioned assistance）层，该层能够独立监测伤口并约束机械臂的自主性，作为一种更廉价的二次判断，以捕捉操作员可能遗漏的错误。

方法论
作者提出了 Surgical Vision ROS2，这是一个基于 ROS2 Humble 和 OpenCV 构建的软件流水线，旨在将伤口感知与变自主度机械臂控制相结合。

• 架构： 该系统由四个解耦的 ROS2 节点组成，通过线性生产者-消费者链连接：

  1. lesion_detector_node（病灶检测节点）：读取图像，计算临床风格的分数，并发布状态。
  2. behavior_manager_node（行为管理节点）：将分数映射到自主等级并发布模式。
  3. surgeon_console_node（外科医生控制台节点）：执行自主等级限制（对操作员指令进行门控）。
  4. moveit_bridge_node（MoveIt 桥接节点）：将批准的指令转发给 MoveIt2 以执行。
  • 通信通过基于字符串的话题（/scene_state, /autonomy_mode, /arm_command）进行，确保了模块化。

• 评分框架 (ABCDE)： 视觉逻辑借鉴并改编了皮肤科的 ABCDE 框架（不对称性 Asymmetry、边缘性 Border、颜色 Colour、直径 Diameter、演变性 Evolution）用于手术伤口。它根据图像指标（例如轮廓实度、拉普拉斯方差、HSV 颜色分类）计算五个子分数（0–2），从而生成总分（0–10）。

  • 判定映射： 分数为 0–1 映射为 PASS（全自主）；2 映射为 CAUTION（减速，且每次运动需确认）；3 及以上映射为 FAIL（保持状态，需手动输入“CONFIRM”方可恢复）。

• 自主等级：

  • Full（全自主）： 标准远程操作。
  • Reduced（减速）： 以 50% 的速度执行指令，且每次运动都必须经过操作员确认。
  • Hold（保持）： 冻结机械臂，直到操作员明确输入“CONFIRM”。

• 分割算法演进：

  • 原始方法： 使用灰度自适应阈值法。该方法效果极差，由于均匀组织中的局部对比度问题，它会锁定在缝合线（suture stitches）而非伤口主体上。
  • 替代方法： 实现了全局 HSV 色彩距离分割。它采样图像角落的背景颜色，计算每个像素与中值背景的欧几里得距离，应用 Otsu 二值化，并使用形态学操作去除缝合线伪影。

核心贡献

1. 可运行的流水线： 一个四节点 ROS2 图，将伤口感知与机械臂自主性门控耦合，具有清晰的话题级分离。该架构允许独立更换感知和控制节点。
2. 失败与修复的实证验证： 本文记录了一个特定的失败模式，即初始分割方法在合成基准测试中仅达到了 6.7% 的准确率，因为它识别的是缝合线而非伤口。文中详细描述了实现并验证替代分割方法的细节，该方法将准确率提高到了 64.4%。
3. 教育模板： 一个紧凑（少于 700 行 Python 代码）的“感知-执行”循环示例，包含操作员在环（operator-in-the-loop）门控功能，适用于 ROS2 教育和机器人研究。

结果
系统在一个由确定性脚本生成的 45 幅图像合成基准测试（分为“健康”、“可疑”、“危急”三类，每类 15 幅图像）上进行了评估。

• 原始流水线： 三分类判定准确率仅为 6.7% (3/45)。混淆矩阵显示没有一致的对角线结构；该方法无法识别健康伤口，常因检测到缝合环而将其误分类为“可疑”或“危急”。
• 替代流水线： 准确率达到 64.4% (29/45)。
  • 健康类（Healthy）： 14/15 正确识别。
  • 危急类（Critical）： 15/15 正确识别。
  • 可疑类（Concerning）： 0/15 正确识别（全部被误分类为“健康”）。
• 残余失败分析： 作者将无法分类“可疑”伤口的原因归因于 ABCDE 阈值。这些阈值是针对之前失效的分割方法所产生的分布进行人工调优的。因此，它们无法区分有效分割方法所产生的分布（例如，“可疑”伤口现在的实度值较高，触发了“PASS”判定）。论文指出需要重新校准，但为了避免对小规模基准测试过拟合，暂缓了此项工作。

意义与声明
论文明确指出 Surgical Vision ROS2 并非临床工具。它尚未在患者数据上进行测试，也未在物理机械臂上进行验证。其意义在于：

• 研究用途： 为研究人员提供了一个开源模板，用于将任何感知信号与驱动 MoveIt2 的机械臂耦合，实现变自主度远程操作。
• 教育价值： 展示了一种解耦的、基于话题的感知调节控制架构。
• 方法论透明度： 提供了一个清晰的案例研究，展示了特定的分割失败（锁定缝合线）如何导致整个系统的崩溃，以及采用（全局色彩距离）方法如何解决此问题，同时强调仅仅修复分割算法是不够的，还需要重新校准下游的决策阈值。

作者总结道，虽然该流水线可以作为模拟和研究框架使用，但在具备任何临床相关性之前，仍需进行进一步的工作（包括更大的基准测试、阈值重新校准以及在非合成图像上的测试）。