技術概要：3D 手の再構成を用いた説明可能な開腹手術技能評価システム ExpOS

問題定義

効果的な外科トレーニングには、タイムリーかつ透明性のあるフィードバックが必要であるが、現在の評価方法は構造化された評価尺度（例：OSATS）を用いた専門家の観察に大きく依存している。これらの従来のアプローチはリソース集約的であり、主観的であり、自律的な練習の機会を制限する。近年の深層学習手法は、運動や動画データから全体的な技能レベルを予測できるが、これらは通常「ブラックボックス」として機能し、予測を駆動する時間的セグメントや行動パターンを説明することなく、グローバルなスコアを提供する。一方、専門家によって定義された指標に依存する手法は解釈可能性を提供するが、発見を事前に定義された基準に制限し、データ駆動型の洞察を制限する。本論文は、手術技能を自動的に評価し、実行可能でフィードバック指向の評価を提供する、スケーラブルで客観的かつ説明可能なフレームワークの必要性に取り組む。

手法

著者らは、弱教師あり時間的重要度学習と解釈可能な運動統計を組み合わせたエンドツーエンドのフレームワーク ExpOS を提案する。このパイプラインは、3 つの主要な段階を通じて開腹手術タスクの動画データを処理する。

1. データ抽出と特徴量エンジニアリング

• 入力: 縫合、結紮、筋膜閉鎖の 3 つのタスクを実行する研修医による 4K RGB 動画記録（30 fps）。
• 検出と再構成:
  • YOLO モデルが手術器具（ピンセット、針持、はさみ、シミュレーター）と手を検出する。
  • RoHans の疑似ラベル自己学習が手の検出器を改良し、これを 3D 手の再構成用の WiLoR に統合する。これにより、手ごとに 21 の関節を追跡する。
• フレームレベル特徴量: 各フレームは、バウンディングボックス情報（6 つのオブジェクト：左右の手、3 つの器具、シミュレーター）と再構成された 3D 手のキーポイント（2 関節 × 21 点）を用いて符号化される。これらはフレームごとのテンソルに連結される。短いギャップは補間され、軌道は平滑化される。
• グローバルレベル特徴量: 動画レベルの統計量は、バウンディングボックス中心の時間的変化に基づいて計算される。これには以下が含まれる：
  • 静止時間（オブジェクトが静止しているフレームの割合）。
  • 平均速度と加速度（非アイドル期間中）。
  • 画面外にある手の割合。
  • タスク完了時間。
  • 手間の自己相関。

2. ExpOS アーキテクチャ

このフレームワークは、3 つの主要なコンポーネントで構成される。

• 時間的バックボーン（MS-TCN++）: フレームごとの特徴量は、分類ヘッドを除去した MS-TCN++ バックボーンに入力され、時空間ダイナミクスを符号化する。これにより時間次元が保持され、隠れ表現の系列（$F \times T$）が出力される。
• 時間的アテンションプーリング: マルチヘッド自己アテンション機構が隠れ系列に適用される。このモジュールは、特定の時間的セグメントに重要度重みを割り当て、系列をコンパクトな表現に圧縮すると同時に、フレームレベルの重要度マップを生成する。これにより、モデルは重要なパフォーマンスの瞬間が「いつ」発生するかを特定できる。
• 融合と予測: 時間的にプーリングされた表現は、事前に計算されたグローバル統計特徴量と連結される。この融合ベクトルは、最終的な回帰ベースの技能スコアを出力するために多層パーセプトロン（MLP）を通過する。グローバル特徴量は、その解釈可能性を保持するために、この最終段階でのみ注入される。

3. 説明可能性メカニズム

ExpOS は、多レベルの説明可能性を提供する。

• 時間的重要度: NLP のアテンション機構に触発され、プーリング層からのアテンション重みが、技能予測に最も影響を与えた特定の動画フレーム（時間的セグメント）を強調表示する。
• グローバル特徴量アトリビューション: 著者らは、各グローバル運動統計量（例：タスク時間、加速度）の最終予測への寄与を定量化するために SHAP（Shapley Additive exPlanations） 値を使用する。これにより、どの運動特性がスコアを駆動しているかを特定する。

主要な結果

このフレームワークは、3 つの異なるタスクを実行した 77 人の外科研修医からの 221 本の動画でトレーニングおよび評価された。各シミュレーターに対して、Soft Ordinal Regression（SORD）損失を用いて個別のモデルがトレーニングされた。

• パフォーマンス相関: このフレームワークは、すべてのタスクにおいて専門家の評価と強い相関を達成した。
  • 筋膜閉鎖: 最高のパフォーマンスで、ピアソン相関係数 $r = 0.778$、$R^2 = 0.74$。
  • 結紮: $r = 0.678$、$R^2 = 0.649$、最小の RMSE（1.276）。
  • 縫合: $r = 0.622$、$R^2 = 0.579$、最小の MAE（0.833）。
• 解釈可能性の知見:
  • 筋膜閉鎖: タスク完了時間が支配的な特徴量であった（より短い時間がより高いスコアと関連）。正の寄与は、より高い割合の静止したピンセット/手と手の自己相関から生じ、負の寄与はより高い平均加速度から生じた。
  • 結紮: より高い平均速度と右手のより低い加速度が、より高いスコアと関連していた。
  • 縫合: 筋膜閉鎖と同様で、静止したピンセットの使用とより短い完了時間が最も影響力のある正の要因であった。

意義と主張

本論文は、ExpOS が専門家によって定義された評価基準から モデル駆動型の重要度推定 への転換を表すと主張している。その主な意義は、以下の点にある。

1. 識別パターンの学習: 事前に定義された指標に依存するのではなく、モデルはデータから直接時間的パターンを学習し、何が技能を構成するかを特定する。
2. 多レベルフィードバックの提供: アテンションベースの時間的局所化と SHAP ベースのグローバル特徴量分析を組み合わせることで、パフォーマンスの逸脱が「いつ」発生し、どの運動行動がスコアに寄与するかについて構造化されたフィードバックを提供する。
3. スケーラブルな自律トレーニングの実現: このフレームワークは、3D 手の運動のデータ駆動型時間的モデリングが臨床的に意味のあるパフォーマンスパターンを捉えうることを実証し、リソース集約的な専門家監督に代わるスケーラブルな代替手段を提供する。

著者らは限界を認め、このアプローチは信頼性の高い 3D 手の再構成と明確な可視性に依存しており、遮蔽や困難な視点によってパフォーマンスが低下する可能性があると指摘している。将来の作業は、マルチモーダル統合と、より大きく多様なコホートでの検証に焦点を当てることを提案している。