On the Robustness of Temporal Vision-Language Models for Surgical Endoscopy Videos

ロボットにビデオを見せる方法を教えていると想像してみてください。一つの特定のゲームを一つずつ教えるのではなく、見ているものと言葉の意味の両方を理解できる、一般的な「脳」を与えます。これは「視覚言語モデル（Vision-Language Model）」と呼ばれます。これは、図書館にあるすべての本を読み、これまでに作られたすべての映画を観た学生のようなものです。そうすれば、「このビデオで何が起きている？」と尋ねるだけで、彼らが持つ知識に基づいて答えてくれます。これらのロボットは手術ビデオを監視するために非常に普及しつつあります。医師は、あらゆるフレームに対してラベル付けを行うために何年も費やすことなく、手術中の器具、フェーズ（段階）、あるいは安全上の問題などを迅速に特定したいと考えているからです。

しかし、落とし穴があります。そのロボットは、完璧で高精細な、スタジオ品質のビデオで訓練されました。しかし、現実世界のビデオは乱雑です。それは、霧がかかった窓越しに映画を見ているようなものです。カメラが揺れたり、レーザー切削ツールによる煙が発生したり、インターネット接続の不調によって信号がフリーズしたりします。大きな疑問は、この超スマートなロボットに、乱雑で現実的な手術ビデオを見せたとき、果たしてうまく機能するのか？ ということです。それとも、混乱してデタラメな内容を「幻覚（ハルシネーション）」として生成してしまうのでしょうか？ この論文は、まさにその問題に深く切り込み、AIモデルの品質が「制御不能」になったときに、それらがどれほど耐えうるかをテストしています。

---

ロボットの現実チェック：手術ビデオが乱雑になったとき

**時間的視覚言語モデル（Temporal Vision-Language Model: TVLM）**をご紹介しましょう。これらはAI界の「マルチタスクの天才」と考えることができます。単一のもの（例えば「これはメスですか？」）を認識するように訓練されているのではなく、動く画像と言葉による記述を一致させることで、ビデオの物語全体を理解するように訓練されています。外科医が彼らを好む理由は、「これは手術のどのフェーズですか？」や「どの器具が使われていますか？」といった質問を、あらゆる質問に対して専用の脳を構築することなく投げかけられるからです。

しかし、ここにプロットツイスト（どんでん返し）があります。これらの天才たちは、清潔で完璧な世界で育てられました。彼らが学習したビデオは、クリアで、安定していて、明るいものでした。しかし、実際の外科手術は混沌としたアドベンチャーです。熱によってカメラが曇ったり、レンズがぼやけたり、焼灼（しょうやく）ツール（組織を焼く装置）からの煙が画面を覆ったり、パケットロス（ビデオ通話がフリーズする時のように）によってビデオがスキップしたりすることがあります。

MBZUAIやドイツがん研究センターなどの研究チームである著者らは、これらのAIモデルに究極のストレス・テストを課すことにしました。彼らはこう問いかけました。「もし、これらの乱雑で現実的な問題がモデルに降りかかったら、彼らは崩壊してしまうのだろうか？」

「Endo-C6」という障害物コース

これに答えるため、チームはEndo-C6と呼ばれる特別な障害物コースを作り上げました。ビデオゲームのレベルを想像してください。そこには6種類の異なる災難を乗り越えなければなりません：

1. デフォーカス（焦点ボケ）: カメラの鋭さが失われ、写真がぼやけたようになる。
2. 霧（ヘイズ）: お風呂場の曇った鏡を見ているように、視界が白く濁る。
3. ショットノイズ: 古いテレビの砂嵐のように、画像がザラザラになる。
4. モーションブラー（動きによるブレ）: カメラが速く動きすぎて、画像が引き延ばされる。
5. パケットロス: インターネットのストリーミングのように、ビデオが飛んだり止まったりする。
6. 焼灼煙（コーテリー・スモーク）: 組織を焼く際に発生する厚い煙が視界を遮る。

彼らは3つの人気のあるAIモデル（SurgVLP、HecVLP、PeskaVLP）を取り上げ、3つの異なるデータセット（腹腔鏡手術、消化管内視鏡、および大腸手術）を用いた実演手術ビデオを使用して、この障害物コースを実行しました。

ショッキングな結果： 「崩壊」

結果は、AIコミュニティにとって少し恐ろしいものでした。ビデオが綺麗な状態であれば、モデルは良好なパフォーマンスを発揮しました。しかし、ひとたび「災難」が襲うと、モデルは著者らが**「ワーストケースの崩壊（worst-case collapse）」**と呼ぶ現象に見舞われました。

それは、静かな図書館で数学のテストで満点を取った学生が、霧がかかったバイザーをつけ、ハリケーンの中に立たされて同じ問題を解こうとした途端、数え方さえ忘れてしまうようなものです。

• あるデータセット（CholecT50）では、クリーンなビデオでの精度は約**40%でしたが、煙やブレが導入されると、わずか7%**まで低下しました。
• 別のデータセット（TEMSET-24K）では、モデルの状態はさらに悪化し、一部の破損したクリップでは**0.4%**という恐ろしい精度まで落ち込みました。これは、実質的にランダムに推測している状態です。

論文は、これらのモデルが現在の「そのままの状態（off-the-shelf）」では、実用段階にはないという考えを明確に示しています。彼らはあまりにも脆弱です。わずかな煙やブレによって、彼らは完全に役に立たなくなってしまう可能性があり、これは安全性がすべてである手術においては危険です。

ヒーロー： 軽量な「チューニング」のトリック

しかし、パニックにならないでください！ この論文は問題を指摘するだけではありません。解決策も提示しています。研究者たちは、RobustEndoCLIPと呼ばれる新しいモデルを開発しました。

AIの巨大な脳全体を再学習させる（これには膨大な時間と大量のデータが必要です）代わりに、彼らはVeRA（Vector-based Random Matrix Adaptation）と呼ばれる巧妙なトリックを使用しました。AIモデルを巨大で重い図書館だと想像してください。再学習することは、図書館全体を建て直すようなものです。VeRAは、フロントデスクに小さくてスマートなインデックスカード（索引カード）システムを追加するようなものです。それは非常に小さく、効率的です。

彼らは、利用可能なトレーニングクリップのわずか**16%**という小さなクリーンなデータを取り出し、この「インデックスカード」のトリックを使用して、モデルが乱雑な世界をより良く理解できるように優しく促しました。

結果はどうだったでしょうか？ RobustEndersCLIPは、障害物コースを生き残っただけでなく、そこで躍進しました。

• 旧来のモデルが最悪の煙のシナリオで**7%の精度まで低下した一方で、新モデルは16.83%**を維持しました。
• 最も困難なデータセット（TEMSET-24K）において、最悪のケースの精度を、悲惨な**0.40%から、より信頼できる19.98%**へと向上させました。

この論文は、この軽量なチューニングが、モデルとの対話方法を変えることなく、特に「ワーストケース」のシナリオにおいて、モデルをより堅牢（ロバスト）にすることを証明しています。あなたは依然として自然な英語で質問でき、ビデオが乱雑であっても、より良い回答を得ることができます。

これが将来に意味すること

著者らは、自分たちが手術AIを「解決した」と言っているわけではないことに注意を払っています。彼らは、自分たちの新しいベンチマークであるEndo-C6が、これらのモデルをテストするための標準的な方法になるべきだと提案しています。私たちがAIを手術室での補助として信頼する前に、煙やブレ、霧に対してどのように対処できるかを知っておく必要があります。

研究は、現在のモデルは脆弱であるが、スマートで効率的なチューニングを加えることで、よりタフになれることを結論づけています。これは、手術という混沌とした現実の世界においては、「賢い」だけでは不十分であり、「タフ」であることも必要だということを思い出させてくれます。そして、RobustEndoCLIPのようなツールによって、私たちは、手術室の混乱の中でも冷静さを失わずに対応できるAIに、より近づいているのかもしれません。