技術的概要：SurgOnAir

問題定義

現在の手術用 AI システムは、手術ワークフローのリアルタイムかつ時間的根拠に基づいた理解を提供することに苦慮しています。マルチモーダル大規模言語モデル（MLLM）は一般的な動画理解を進展させましたが、重厚なバックボーンとオフライン処理パラダイム（動画シーケンス全体へのアクセスを必要とする）への依存により、変化する手術のダイナミクスに対する即時反応を妨げています。手術室では、重要な意思決定は器具の動きや組織の状態の微妙な瞬間ごとの変化に依存しており、わずかな知覚遅延さえも安全性を損なったり、支援を制限したりする可能性があります。さらに、既存の手法はしばしば手術ワークフローを平坦なシーケンスとして扱い、文脈的根拠付けと幻覚の低減に不可欠な階層的構造（フェーズ→ステップ→アクション）を見落としています。ストリーミング動画処理を同時に行いながら、多レベルかつ階層認識型のナレーションを生成できるモデルが存在しません。

手法

1. データキュレーション：SurgOnAir-11K

著者は、生手術動画と構造化ナレーションの間のギャップを埋めるように設計されたキュレーションされた階層データセット、SurgOnAir-11K を導入します。データキュレーションパイプラインは以下の通りです：

• 時間的根拠付け ASR：WhisperX-large を使用して、正確なタイムスタンプを持つ単語レベルの転写を抽出し、$\langle word, t_{start}, t_{end} \rangle$ のトリプレットを作成します。
• ドメイン認識型修正：低信頼度の文（対数確率 < -0.15）は、GPT-4o を用いて厳格な制約のもとで修正され、内容を改変することなく用語を正規化します。
• アクション認識型フィルタリング：文をACTION、EXPLANATION、INTERACTION に分類します。視覚的内容に厳密に根拠付けられたACTION文のみを監督のために保持します。
• 階層構築：データセットはフェーズ→ステップ→単語という 3 段階の階層構造に整理されます。高レベルの手順ステップは、重複せず時間的に単調な分割を確保するために LLM によって生成され、その後メタデータで定義されたフェーズと整合されます。

2. モデルアーキテクチャ：SurgOnAir

SurgOnAir は、LiveCC-7B-Baseバックボーンに基づいて構築されたストリーミングビジョンランゲージモデルであり、未来へのアクセスなしにリアルタイムのフレームからトークンへの生成を行うように設計されています。

• 高密度時間的インターリーブ：このモデルは、視覚フレーム（$\langle F \rangle$）とテキストトークン（$\langle W \rangle$）が密にインターリーブされるストリーミング入力戦略を採用します：$[Con] \langle F_{t:t+k} \rangle \langle W_{t:t+k} \rangle \dots$。ストライド $k$ は 2 FPS のフレームレートで 1 に設定され、微細な整合性を確保します。
• 階層的状態トークン：階層認識型ナレーションを強制するために、モデルは特別な遷移トークン（例：<State>Phase=P1, Step=S1</State>）を利用します。これらのトークンは、状態遷移が発生した場合にのみテキストストリームに条件付きで挿入され、ワークフローの離散的なアンカーとして機能します。これにより、モデルは連続的なナレーターとして、かつ厳格な状態トラッカーとして同時に機能できます。
• トレーニング戦略：モデルは段階的条件付け戦略を採用します。最初の 2 エポックでは、トレーニングを安定させるために以前の ASR テキストに条件付けられます。最終エポックでは、ASR 文脈を除去（動画タイトルのみを保持）し、モデルが直接視覚証拠に依存することを強制します。

主な貢献

1. 階層的時間的根拠付けパイプライン：生手術動画と ASR 転写を、明示的なフェーズ、ステップ、単語の監督を備えた多レベルの時間的整合動画言語コーパス（SurgOnAir-11K）に変換する新規手法。
2. SurgOnAir フレームワーク：リアルタイム処理のためにマルチモーダルトークンをインターリーブする階層的ストリーミングフレームワーク。これは、状態変化を明示的に予測するために専門的な遷移トークンを独自に活用し、手順の階層を認識したナレーションの生成を可能にします。
3. リアルタイム性能：手術ワークフローの複数の階層にわたるストリーミングを統合できる単一のビジョンランゲージモデルの実証。リアルタイムナレーションの質において、オフラインおよび既存のストリーミングベースラインを凌駕します。

実験結果

モデルは、GPT-4o によって評価されたペアワイズ選択タスクを用いて、SurgOnAir-11K データセットの 80/20 分割で評価されました。評価では、構文的完全性よりも意味的正確性と根拠付けが優先されました。

• ベースラインとの比較：
  • オフラインモデル：オフライン Video-LLM（LLaVA-Video-7B、Qwen2.5-VL-7B）は性能が低く（勝率それぞれ 11.3% および 6.2%）、リアルタイム手術シナリオへの不適切さを浮き彫りにしました。
  • ストリーミングベースライン：汎用ストリーミングモデル LiveCC-7B は 16.7% の勝率を達成し、オフラインモデルを上回りましたが、複雑な手術のニュアンスを捉えることはできませんでした。
  • SurgOnAir 変種：ドメイン内データでトレーニングされた平坦ナレーション版（SurgOnAir-base）は 60.4% の勝率を達成しました。階層モデリングを組み込んだ完全なSurgOnAirモデルは、**66.1%**という最高勝率を達成しました。
• アブレーション研究：
  • 階層：階層構造を除去（SurgOnAir-base）すると、完全モデルに対する勝率は 39.4% に低下し、構造的ガイダンスの必要性を確認しました。
  • 状態定式化：各単語トークンで状態予測を強制する変種（SurgOnAir-v1）は 42.5% を達成し、提案された遷移認識型定式化の 57.5% と比較して、冗長な状態生成がナレーションの流暢さを害することを示しました。
  • フェーズ正確性：モデルが手術フェーズを正確に予測した場合、ベースモデルに対する勝率は 65.8% に跳ね上がり、正確なフェーズ根拠付けが文脈に整合したナレーションを直接支援することを示しました。
• 定性的結果：モデルは手順の境界（例、「メッシュ導入」から「メッシュ固定」へ）を一貫して円滑に遷移し、マイクロレベルの時間的整合性を維持して、相互作用の瞬間に器具と解剖構造を正確に記述します。

意義と主張

本論文は、SurgOnAir が階層モデリングに基づいた初のリアルタイム手術ナレーションフレームワークであると主張しています。その主な意義は、時間的整合性と階層認識の両方を備えた記述を生成することで、従来の動画キャプションを超えたリアルタイム手術理解を進展させる点にあります。著者は、この仕事が将来の手術自動化およびインテリジェント手術教育システムの基盤を築くと述べています。

論文は限界について控えめに述べており、現在のデータセット規模が限られていること、およびモデルがまだ将来の行動予測を行っていないことを認めています。これらはさらなる探求のための有望な方向性として指摘されています。