SurgMotion: 手術動画の包括的理解のための動画ネイティブ基盤モデル

技術的サマリー（日本語）

1. 背景と課題 (Problem)

手術支援 AI の分野において、基盤モデル（Foundation Models）の導入は進んでいますが、既存のアプローチには以下の根本的な課題が存在します。

• ピクセルレベル再構築の非効率性: 既存の多くのモデル（MAE や VideoMAE など）は、ピクセルレベルの再構築を目的としています。しかし、手術動画には煙、鏡面反射、体液の動きなど、高周波で非意味的な視覚ノイズが多く含まれます。モデルの容量がこれらの低レベルな視覚詳細の再構築に浪費され、手術の本質である「器械と組織の相互作用」や「動きのシグナル」といった重要な意味構造の学習が阻害されています。
• 時空間的関係性の欠如: 手術動画は時間的な連続性と、解剖学的領域と器械の間の構造的な関係性を強く持っています。しかし、多くの事前学習パイプラインは、時間を超えた関係性の安定性を明示的に制約する仕組みが不足しており、大きな動きや視点変化に対して特徴のドリフトやロバスト性の低下を招きます。
• テクスチャが希薄な領域での表現崩壊: 脂肪組織や滑らかな臓器表面など、テクスチャが均一な領域では、自己教師あり学習において特徴の分散が低くなり、チャネルの冗長性や表現の崩壊（Representation Collapse）が起きやすくなります。
• データのスケーラビリティと多様性の不足: 既存の手術用データセットは、特定の手術手技（例：胆嚢摘出術のみ）に限定された「データサイロ」状態にあり、異なる解剖学領域や手術モダリティ、施設間での汎化能力が制限されています。

2. 提案手法と技術的革新 (Methodology & Key Contributions)

著者らは、SurgMotion と呼ばれる、手術動画の包括的な理解を目的とした「動画ネイティブ基盤モデル」を提案しました。このモデルは、ピクセル再構築から潜在空間での動き予測へと学習パラダイムを転換し、Video Joint Embedding Predictive Architecture (V-JEPA) を基盤としています。

主要な技術的革新

1. 動き誘導型潜在マスク予測 (Motion-Guided Latent Masked Prediction):

   • 手術動画では、臨床的に意味のある変化が器械や組織との相互作用領域に集中しています。
   • 空間的・時間的勾配に基づいた「動きの注目度（Motion Saliency）」シグナルを導入し、マスクされた領域の予測損失を再重み付けします。
   • これにより、低レベルの視覚ノイズへの感度を下げ、器械の動きや組織の変形など、動きに情報を含む領域を優先的に学習させます。

2. 時空間親和性自己蒸留 (Spatiotemporal Affinity Self-Distillation):

   • 可視トークンや背景トークンに支配されず、マスクされたトークン間の関係性を維持するために設計されました。
   • 全潜在トークン間のペアワイズ関係をモデル化する「Global Token Affinity Matrix」を導入し、学生ネットワークと EMA（指数移動平均）で更新される教師ネットワークの間で、親和性構造を一致させる自己蒸留を行います。
   • これにより、明示的なラベルなしで、時間的・空間的な一貫性とロバスト性を確保します。

3. 時空間特徴多様性正則化 (Spatiotemporal Feature Diversity Regularization: SFDR):

   • 視覚的に均一なシーンでの表現崩壊を防ぐための正則化項です。
   • (i) ペアワイズ特徴類似性の分散を正則化して多様性を維持し、(ii) チャネル間の共分散を最小化して冗長性を削減します。
   • これにより、テクスチャが希薄な手術環境でも、補完的で情報量の多い特徴チャネルを学習することを促します。

データセット貢献：SurgMotion-15M

• 大規模な自己教師あり学習を可能にするため、SurgMotion-15M という大規模データセットを構築しました。
• 規模: 50 の異なるソースから収集された3,658 時間の動画（約 45,757 本）。
• 多様性: 13 の解剖学領域、100 以上の手術手技、12 以上の臓器を網羅。
• これにより、従来の単一手技に限定されたデータセットの限界を打破し、汎用的な表現学習を可能にしました。

3. 実験結果 (Results)

SurgMotion は、17 のベンチマークにわたる広範な実験で、最先端（SOTA）の手法を大幅に上回る性能を示しました。

• 手術ワークフロー認識 (Surgical Workflow Recognition):
  • EgoSurgery: F1 スコアで +14.6% 向上（既存の最良の手術基盤モデル EndoFM に対して）。
  • PitVis: F1 スコアで +10.3% 向上。
  • 8 つの異なるデータセット（腹腔鏡、開腹、神経外科、眼科など）で全体的に最高性能を達成し、時間的なフェーズ境界の認識精度が大幅に向上しました。
• 微細な動作認識 (Fine-Grained Action Understanding):
  • 動作トリプレット認識 (CholecT50): 器械・動詞・対象の組み合わせ認識において、mAP-IVT が 39.54% と SOTA を更新。特に「動詞（動作）」の認識精度向上は、動きのダイナミクスを捉えていることを示しています。
  • スキル評価 (JIGSAWS): 平均絶対誤差（MAE）を 26% 削減し、スピアマン相関を 27 ポイント向上。動作の「質」と「流暢さ」を捉える能力を示しました。
• 密な視覚認識 (Dense Visual Perception):
  • ポリープセグメンテーション: 分布内（ID）だけでなく、分布外（OOD）のデータセットにおいても、ドメインシフトに対して強力な汎化性能を示し、Dice 係数と MAE で最高性能を記録しました。
  • 深度推定 (C3VD): 幾何学的予測のために明示的に訓練されていないにもかかわらず、RMSE 1.88 で SOTA を達成。動画ネイティブな事前学習が、動きの手がかりを通じて 3D 空間構造を暗黙的に捉えていることを示唆しています。

4. 意義と結論 (Significance)

SurgMotion は、手術 AI の分野において以下の点で重要な転換点となります。

• パラダイムシフト: 手術動画理解において、ピクセル再構築から「動き中心の潜在空間予測」へのパラダイムシフトを成功させ、ノイズの多い手術環境におけるロバストな表現学習を実現しました。
• 汎用性の確立: 単一の手技や施設に依存せず、多様な解剖学領域や手術モダリティにまたがる「普遍的な手術理解」を可能にする基盤モデルを確立しました。
• 実臨床への応用可能性: 術中の意思決定支援、自動ドキュメント作成、客観的なスキル評価など、実臨床での応用が期待されます。

本研究は、大規模で多様なデータ（SurgMotion-15M）と、手術特有の課題に特化したアーキテクチャ設計の組み合わせが、手術 AI の汎用性と性能を飛躍的に向上させることを実証しました。