Surgical Vision ROS2: a ROS2 Humble pipeline for intraoperative wound assessment and variable-autonomy arm control

技術要約：Surgical Vision ROS2

問題提起
遠隔操作される手術ロボットは、現在、組織の検査、創傷状態の判断、およびアームの動きの決定を完全に人間のオペレーターに依存しています。ロボットアームには、手術部位に対する独立した知覚的視点が欠けており、視覚的な手がかりに基づいて自身の挙動を変更することができません。この構成は経験豊富な外科医には効果的ですが、トレーニング環境（訓練生が手がかりを見逃す可能性がある）や、長時間の処置中（注意力が低下する可能性がある）においてはリスクを伴います。本論文では、創傷を独立して監視し、アームの自律性を制約することで、オペレーターが見落とす可能性のあるエラーを捕捉する「二次的で安価な判断」として機能する、「知覚条件付き支援（perception-conditioned assistance）」レイヤーの必要性を特定しています。

手法
著者らは、ROS2 HumbleとOpenCVに基づき、創傷の知覚を可変自律アーム制御に結合させたソフトウェアパイプラインであるSurgical Vision ROS2を提案しています。

• アーキテクチャ: システムは、線形なプロデューサー・コンシューマー・チェーンで接続された4つのデカップルされたROS2ノードで構成されています。

  1. lesion_detector_node: 画像を読み取り、臨床的なスコアを算出し、状態をパブリッシュします。
  2. behavior_manager_node: スコアを自律性のティア（階層）にマッピングし、モードをパブリッシュします。
  3. surgeon_console_node: 自律性のティアを強制します（オペレーターのコマンドをゲート制御します）。
  4. moveit_bridge_node: 承認されたコマンドをMoveIt2に転送し、実行させます。
  • 通信は、モジュール性を確保するために、文字列ベースのトピック（/scene_state, /autonomy_mode, /arm_command）を介して行われます。

• スコアリング・フレームワーク (ABCDE): ビジョン・ロジックは、皮膚科のABCDEフレームワーク（非対称性、境界、色、直径、進化）を外科的創傷に適応させたものです。画像メトリクス（例：輪郭の堅牢性、ラプラシアン分散、HSVカラー分類）に基づき、5つのサブスコア（0–2）を計算し、合計スコア（0–10）を生成します。

  • 判定のマッピング: スコア0–1はPASS（フル自律）、2はCAUTION（速度低下、動作ごとの確認が必要）、3以上はFAIL（ホールド状態、再開には手動での「CONFIRM」が必要）に対応します。

• 自律性のティア:

  • Full (フル): 標準的なテレオペレーション。
  • Reduced (低減): コマンドを50%の速度で実行し、各動作に対してオペレーターによる確認を義務付けます。
  • Hold (ホールド): オペレーターが明示的に「CONFIRM」と入力するまで、アームを停止させます。

• セグメンテーションの進化:

  • 当初のアプローチ: グレースケール適応型閾値処理を使用していました。これは、均一な組織における局所的なコントラストの問題により、創傷本体ではなく縫合糸にロックオンしてしまうため、大幅に失敗しました。
  • 代替アプローチ: グローバルなHSVカラー距離セグメンテーションを実装しました。画像のコーナーから背景色をサンプリングし、各ピクセルと中央値の背景とのユークリッド距離を計算し、**大津の二値化（Otsu binarization）**を適用し、形態学的操作を用いて縫合糸のアーティファクトを除去します。

主な貢献

1. 実行可能なパイプライン: 知覚をアームの自律性ゲートに結合させた、クリーンなトピックレベルの分離を持つ4ノードのROS2グラフ。このアーキテクチャにより、知覚ノードと制御ノードを独立して置換することが可能です。
2. 失敗と修正の実証的検証: 当初のセグメンテーション手法が、合成ベンチマークにおいて、創傷ではなく縫合糸をセグメント化したために、精度がわずか**6.7%であったという特定の失敗モードを記録しています。また、精度を64.4%**に向上させた代替セグメンテーション手法の実装と検証についても詳述しています。
3. 教育用テンプレート: 知覚から駆動へのループと、オペレーター・イン・ザ・ループのゲーティングを備えた、コンパクト（700行未満のPython）な例であり、ROS2の教育やロボット研究に適しています。

結果
システムは、決定論的なスクリプトによって生成された45枚の合成ベンチマーク画像（「Healthy（健全）」、「Concerning（懸念）」、「Critical（重大）」の各クラスに15枚ずつ）を用いて評価されました。

• 当初のパイプライン: 3クラス判定の精度は6.7%（45枚中3枚）でした。混同行列は一貫した対角構造を示しておらず、手法は健全な創傷を特定できず、縫合糸のリングを検出したために、それらを「懸念」または「重大」と誤分類することが頻発しました。
• 代替パイプライン: 64.4%（45枚中29枚）の精度を達成しました。
  • Healthy クラス: 15枚中14枚を正しく識別。
  • Critical クラス: 15枚中15枚を正しく識別。
  • Concerning クラス: 15枚中0枚を識別（すべて「Healthy」と誤分類）。
• 残留する失敗の分析: 著者らは、「Concerning」な創傷の分類失敗をABCDEの閾値に求めています。これらの閾値は、壊れたセグメンテーションによって生成された分布に対して手動調整されたものでした。その結果、機能しているセグメンテーションによって生成される分布（例：「Concerning」な創傷は高い堅牢性値を持ち、「PASS」判定を誘発する）を識別できていません。論文では、再キャリブレーションが必要であると述べていますが、小さなベンチマークへの過学習を避けるために、その検討は保留としています。

意義と主張
本論文は、Surgical Vision ROS2は臨床ツールではないことを明示しています。患者データによるテストは行われておらず、物理的なロボットアームでの検証も行われていません。その意義は以下の点にあります。

• 研究上の有用性: 知覚信号をMoveIt2駆動のアームに結合させ、可変自律テレオペレーションを実現するためのオープンソースのテンプレートを提供すること。
• 教育的価値: デカップルされた、トピックベースのアーキテクチャを示すこと。
• 方法論的透明性: 特定のセグメンテーションの失敗（縫合糸へのロックオン）がいかにシステム全体の失敗へと連鎖するか、また、グローバルカラー距離という手法の転換がいかにそれを解決するかを示すとともに、セグメンテーションの修正だけでは、下流の意思決定閾値の再キャリブレーションなしには不十分であることを浮き彫りにしたケーススタディを提供すること。

著者らは、本パイプラインはシミュレーションおよび研究用フレームワークとしては機能するものの、臨床的な関連性を検討する前に、より大きなベンチマーク、閾値の再キャリブレーション、および非合成画像でのテストといったさらなる作業が必要であると結論付けています。