OphEdit: Training-Free Text-Guided Editing of Ophthalmic Surgical Videos

技術的サマリー：OphEdit

問題定義
高忠実度の手術動画の生成は、医療トレーニングおよび AI 開発において極めて重要であるが、プライバシー規制、専門家によるアノテーションの高コスト、希少な臨床事象の代表性不足により、大規模で注釈付きのデータセットの入手は依然として重大なボトルネックとなっている。近年のテキストから動画へ（T2V）のモデルは自然ドメインの動画合成を進展させたが、これを眼科手術に応用することは困難である。既存のアプローチは主に、ゼロから動画シーケンス全体を再生成することに焦点を当てており、計算効率が低く、既存の動画内の特定の手術手順（例：器具の交換やフェーズの遷移）を修正するために必要な微細な制御性が欠如している。さらに、標準的な動画編集フレームワークは、臨床的なリアリズムに不可欠な厳密な解剖学的完全性と時間的整合性を維持することに苦慮しており、構造歪みやジッターアーティファクトをしばしば導入し、医療目的における出力の実用性を損なう。

手法
OphEdit は、眼科手術動画のテキストガイド付き編集のための新規かつ学習不要なフレームワークを提案する。このシステムは、T2V モデル（具体的には Ophora ファウンデーションを活用）によって生成された既存の手術動画に基づいて動作し、追加のモデル微調整や対データセットを必要とせず、ターゲットのテキストプロンプトに基づいてそれを修正する。手法は主に 2 つの段階で構成される：

1. アテンション値の保存を伴う決定論的インバージョン
   プロセスは、決定論的 2 次 ODE ソルバ（DDIM-Solver）を用いて、元の手術動画をノイズ付き潜在表現にインバージョンすることから始まる。このインバージョン中、フレームワークはトランスフォーマーの自己アテンション層からのアテンション値（V）テンソルを捕捉し、保存する。著者は、V テンソルが目の豊かな解剖学的構造と複雑なテクスチャを包含しているため、クエリまたはキーテンソルではなく V テンソルに焦点を当てる。計算効率と構造忠実度のバランスを取るため、これらのテンソルは、高空間分解能で動作する最終的な $m$ 個のアテンションブロックと、グローバルな構造レイアウトが確立される最終的な $n$ 個のインバージョンステップからのみ選択的に保存される。

   眼科手術動画に共通する時間的ジッターの問題に対処するため、インバージョンには2 次積分スキームが採用される。単一の線形離散化ではなく、軌道は log-SNR 中点における中間的な「半ステップ」を計算することで精緻化される。これには、各ステップで 2 回のフォワードパス（完全ステップと中点でのパス）を実行することが含まれ、厳密な空間時間的整合性を確保する。

2. タイムステップ整合アテンション値注入
   編集（ノイズ除去）フェーズにおいて、システムはターゲットテキストプロンプト（$p_t$）によって逆拡散軌道をガイドすることで編集済み動画を生成する。元の解剖学的幾何学を維持しつつ意味的変化を適用するため、OphEdit は選択的注入メカニズムを利用する。バイナリ注入スケジュールは、条件付き値テンソルの置換を、初期の高ノイズ領域（最初の $n_{inject}$ ステップ）に限定し、保存されたソース値テンソルへの置換を制限する。

   これらの初期ステップ中、フレームワークは Classifier-Free Guidance（CFG）定式化内で、条件付きブランチの値テンソルを保存されたソーステンソルに置き換えることで構造的整合性を強制する。これにより、ネットワークは元の解剖学の空間的および構造的な事前分布に準拠しつつ、ターゲットプロンプトが意味的詳細をガイドすることを可能にする。後続のステップでは、モデルは自由なノイズ除去を行い、微細なテクスチャと意味的詳細を合成する。編集プロセスは、インバージョンで使用された 2 次積分スキームを反映し、時間的な滑らかさを確保し、ちらつきアーティファクトを排除するために、完全ステップと中点の両方の経路による潜在更新を実行する。

主要な貢献
本論文は 3 つの主要な貢献を概説している：

• 眼科手術における初の学習不要フレームワーク：OphEdit は、眼科手術動画のテキストガイド付き編集に特化した初のフレームワークであり、自然言語を介して手順要素（器具の種類、組織反応、手術フェーズ）の精密な操作を可能にし、過剰な手動記録や高コストなモデル微調整を必要としない。
• 新規インバージョン - 編集パイプライン：著者は、2 次ソルバによるインバージョン中にアテンション値（V）テンソルを捕捉し、それらをノイズ除去プロセスに選択的に注入するパイプラインを導入する。このアプローチは、テキスト駆動の意味的変更を動画ストリームにマッピングしつつ、解剖学的忠実度を厳密に維持する。
• 時間的整合性のための 2 次積分：ジッターアーティファクトを防止するため、フレームワークは 2 次積分スキームを導入する。log-SNR 中点で双経路の潜在更新を計算することで、この手法は厳密な空間時間的整合性を確保し、臨床的リアリズムに不可欠な連続的な手術ダイナミクスを維持する。

結果
本フレームワークは、眼科手術の 12 の異なるフェーズを含む Ophora データセットを用いて評価された。システムは、適応された一般ドメイン動画編集ベースラインである FateZero に対してテストされた。眼科医が 19 の異なるフェーズ固有の介入に対してブラインド評価を行い、解剖学的整合性、正しい操作、総合的編集の観点から編集をスコアリングした。

• 定量的パフォーマンス：OphEdit（DDIM-Solver 変種を使用）は、解剖学的整合性スコアで61.40%、正しい操作スコアで**43.85%**を達成し、FateZero（それぞれ 57.89% と 24.56%）を上回った。2 次ソルバを使用した OphEdit 変種（DDIM-2nd Order）は、標準ソルバ（26.31%）および FateZero（24.56%）と比較して、正しい編集を生成する最高の割合（35.08%）を達成した。
• 定性的観察：視覚的比較は、OphEdit が器具の交換（例：ファコエマルシフィケーションハンドピースをコアクシャル洗浄吸引ハンドピースに交換）や手術物質の変更（例：ヒアルロン酸ナトリウムに代わってトリパンブルー色素を注入）に成功し、解剖学的正確性を維持したことを示した。対照的に、FateZero は頻繁にオブジェクトの正しい変更ができず、目に見えるアーティファクトや時間的不整合を生み出した。
• 分布：臨床評価スコアは、OphEdit（DDIM-Second Order）がパフォーマンス分布の右上象限に成功した編集の最も高い集中度を示したことを示しており、保存された眼構造を伴う正確な手術修正を意味する。

意義
本論文は、OphEdit が眼科手術ドメインにおける学習不要の動画編集の初適用を表すと主張している。その意義は、手動記録やモデル微調整に伴う禁止的なコストなしに、多様で注釈付きの医療データセットを生成するためのスケーラブルな解決策を提供することにある。医療ドメインの厳密な解剖学的および時間的制約に対処することで、この研究は、実際の臨床環境では捉えにくい手術バリエーション（器具の交換や手順のバリエーションなど）の作成を可能にする。この能力は、手術トレーニング、パフォーマンス評価、ロボット支援手術のための AI システムの開発を支援し、医療 AI における現在のデータ不足のボトルネックを克服する可能性がある。