技術要約：腹腔鏡手術ビデオ解析のための拡張KAFR

問題提起

人工知能は、フェーズセグメンテーションやスキル評価を含む手術ビデオ解析にますます活用されている。しかし、重大なボトルネックが存在する。手術の録画は通常、1時間から数時間に及ぶことがあり、処理における計算負荷が極めて高い。著者らは以前、高解像度の画像と安定したカメラによって信頼性の高いツール追跡が可能なロボット手術向けに、Kinematics-Adaptive Frame Recognition（KAFR）を開発したが、その腹腔鏡手術への適用は未検証であった。腹腔鏡環境は、手動によるカメラ制御（頻繁なモーションアーチファクトを誘発する）、一般的に低い画質、および器具の外観の大きな多様性といった特有の課題を提示する。本研究が取り組む中心的な問いは、運動学に基づいたフレーム選択戦略が、計算負荷を軽減しつつ精度を損なうことなく、これら制御が難しく視覚的に複雑な条件下において効果的に汎用化できるかどうかである。

手法

本研究では、Cholec80ベンチマークデータセット（80本のビデオ、7つの手術フェーズ）を用い、腹腔鏡下胆嚢切除術へとKAFRフレームワークを拡張する。パイプラインは以下の3つの明確な段階で動作する：

1. 物体検出とフィルタリング:

   • 微調整されたYOLOv8モデルが、手術器具（例：グラッサー、フック、バイポーラ）を検出し、セグメンテーションを行う。
   • データセットの特性に対応するため、「Grasper 2」と「Grasper 3」は機能的に同等であるとして、単一の「Grasper」クラスに統合された。
   • 検出されたツールの重心は算出され、無限インパルス応答（IIR）バターワース低域通過フィルタ（遮断周波数3Hz）を通じて処理される。これにより、カメラの動きによる高周波ノイズと背景のジッターを抑制し、意図的なツールの動きを分離する。

2. 運動学適応型フレーム選択（KAFR）:

   • 一様的な時間サンプリングの代わりに、ツールの動きに基づいてフレームを選択する。システムは、時間窓全体における変位と速度の変化を計算する。
   • 2つの適応型バリアントを評価した：
     • Adaptive 1: 累積的なツールの速度（変位）に基づいてフレームを選択する。
     • Adaptive 2: 累積的な加速度（速度の変化）に基づいてフレームを選択する。
   • 選択はビデオ全体で行われ、運動学的活動が顕著な「キーフレーム」を特定し、冗長な静止状態や低速の動きを含むコンテンツを排除する。

3. フェーズセグメンテーション:

   • 選択されたキーフレームは、X3D 3D畳み込みニューラルネットワーク（Kinetics-400から微調整）に投入され、フェーズ分類が行われる。
   • クラス不均衡と時間的コヒーレンスに対処するため、以下の手法を用いる：
     • リサンプリング: フェーズ間のフレーム数を中央値に基づいて正規化する。
     • 損失関数: クロスエントロピーとアースムーバー距離（EMD）の組み合わせ。
     • 後処理: フェーズ境界での誤分類を減らすため、モード関数を用いた滑らかな移動平均（SMA）を適用する。

主な貢献

• 腹腔鏡への汎用化: 本研究は、ハンドヘルドカメラの動きや低画質といった課題があるにもかかわらず、KAFRパラダイムをロボット手術から腹腔鏡手術へと成功裏に適応させた。
• 運動学的顕著性による効率化: 本研究は、正確なフェーズセグメンテーションには高密度な時間サンプリングが不要であることを示している。熟練した外科医の選択的注意を模倣するように、運動学的活動が高いフレームを優先することで、システムはデータ要件を劇的に削減できる。
• 視覚的ノイズへの堅牢性: モーションフィルタリング（バターワース）と運動学ベースの選択の統合により、視覚的な質が変動したり、ツールが部分的に遮蔽されたりする場合でも、システムは効果的に機能し続ける。
• モジュール式アーキテクチャ: 本フレームワークは分類器に依存しない（classifier-agnostic）設計であり、フレーム選択メカニズムとダウンストリームの分類モデル（X3D）を分離しているため、他の時間的アーキテクチャとの将来的な統合が可能である。

結果

Cholec80データセット（訓練用40、検証用8、テスト用32ビデオ）で評価した結果、拡張KAFRは以下の成果を達成した：

• 性能: 10秒の緩和境界プロトコルの下で、F1スコア91.0%、精度91.5%を達成した。
• 効率性: これらの結果は、分類モジュールにおいて全ビデオフレームのわずか0.58%のみを使用して得られた。これは、典型的な手法（EndoNet、Trans-SVNet、LoViTなど）が4%のフレームをサンプリングする場合と比較して、約7倍の削減を意味する。
• 比較分析:
  • 先駆的なEndoNetに対し、F1スコアで19.0%上回った（76.5% vs 91.0%）。
  • LoViT（F1 90.2%）やTrans-SVNet（F1 89.7%）といった最新のTransformerベースのモデルに対しても、競争力のある性能を示した。
  • 厳格な評価（緩和なし）において、KAFRはわずか1.5%のフレームを使用しながらも、85.1%のF1スコアを維持し、4%を使用する手法に対して依然として競争力を持っていた。
• 適応型バリアントの性能: Adaptive 1（速度ベース）は、Ambiguousなフェーズ遷移を回避し、安定した情報量の多いフェーズ内活動に焦点を当てるという点で、一貫してAdaptive 2（加速度ベース）よりも優れた性能を示した。

意義と主張

本論文は、KAFRがロボットから腹腔鏡ドメインへの転移に成功したことを主張しており、運動ベースのフレーム選択はドメインに依存しない前処理アプローチであることを示している。その意義は、臨床グレードの精度を維持しながら、計算オーバーヘッドを約7倍削減できる点にあり、リソースが限られた臨床現場における長い手術ビデオ処理の決定的な障壁を解決するものである。

著者らは、本手法の成功は、決定的な動作やツールの関与に集中するという外科医の「選択的注意」のパターンが、計算によって捉えられることを示唆していると述べている。本研究は、2つの手術様式と2つの施設にわたる計220本以上のビデオを含む、3つの独立したデータセット（以前のロボットによる検証を含む）を通じてKAFRを検証している。

認められた限界事項:

• 検証は現在Cholec80データセット（単一センター、単一の手術手順）に限定されているが、以前の研究はより広い適用可能性を支持している。
• ツール検出器は、微調整のために手動のアノテーション（使用されたサブセットに対して約1週間の作業）を必要とするが、将来的にはSAMのような基盤モデルを活用してこの負担を軽減できる可能性がある。
• 本研究は遡及的なビデオ解析に焦点を当てており、リアルタイムの術中モニタリングにおける有用性はまだ検証されていない。
• ハイパーパラメータは、体系的な最適化ではなく経験的に選択された。