Toward Mask Annotation-Free Surgical Instrument Segmentation from Endoscopic Images Using Text-Prompted Segment Anything Model 3 (SAM3)

あなたは、ロボットに手術の手順を教えようとしていると想像してください。これを安全に行うためには、ロボットはビデオ映像の中で手術器具が正確にどこにあるのかを知る必要があります。つまり、ハサミと組織や影を区別できなければなりません。これは「手術器具のセグメンテーション（領域分割）」と呼ばれます。長い間、ロボットにこのスキルを教える唯一の方法は、専門家を雇って、何千時間ものビデオに対して、あらゆる器具の周囲をピクセル単位で丁寧に縁取り（アウトラインを描く）することでした。これは、子供に犬を認識させる方法として、誰かが丹念に一匹一匹の毛を塗りつぶした何百万枚もの写真を見せるようなものです。それは機能しますが、時間がかかり、コストも高く、規模を拡大するのが困難です。

最近、「Segment Anything Model（SAM）」と呼ばれる新しい種類のAIが登場しました。SAMを、写真の中のあらゆる物体に対して、指を差したり「道具」といった単純なテキストコマンドを与えたりするだけで、瞬時に色を塗ることができる「超強力なハイライター（蛍光ペン）」だと考えてください。SAMは数百万枚の日常的な写真で学習しているため、現実世界の物体を見つけるのが得意です。しかし、研究者がこのハイライターを、体内手術の奇妙で光沢があり、混乱しやすい映像の世界で使おうとしたところ、うまくいきませんでした。ロボットは、手術中のビデオにおける「グレーサー（把持鉗子）」や「ハサミ」が、キッチンの写真におけるそれと同じ意味であることを理解できなかったのです。ロボットの学習内容と手術の現実との間の溝はあまりにも広く、単に道具の名前を叫ぶだけでは機能しませんでした。

ナクル・ポウデル（Nakul Poudel）氏らによるこの論文は、まさにその問題に取り組んでいます。彼らは、人間が描いた輪郭（マスク）や手動での指定なしに、ロボットが手術器具を見つけ、識別できるようにしたいと考えました。彼らは単にロボットに特定の道具の名前を理解させようとしたのではなく、代わりに2ステップの「探偵チーム」を構築しました。まず、彼らは非常に単純で汎用的なコマンドである「道具（tool）」を用いて、このハイライター（SAMの新しいバージョンであるSAM3）を使用しました。これにより、たとえまだ名前までは分からなくても、道具の「形」を見つけることに成功しました。次に、これらの形を「Qwen」と呼ばれる「脳」にあたる第2のAIに渡し、そのハイライトされた形を見て、それがどのような種類の道具であるかを推測するように学習させました。

結果は、「まだ完全ではない」と「非常に有望である」が混ざり合ったものでした。チームは、彼らの新しい2ステップの手法が、何千もの人間による手描きの輪郭で訓練された最高峰のロボットには及ばないものの、道具の名前を使ってハイライターを直接使おうとする方法よりは大幅な改善であったことを見出しました。実際、直接的な手法はしばしば完全に失敗し、道具を見逃したり、名前を間違えたりしました。新しい手法は多くの場合で道具を特定することに成功し、手動での描画という重い負担なしに、ロボットに手術器具を「見る」能力を持たせられることを証明しました。しかし、著者らは、このシステムにはまだ間違いがあり、特に道具が隠れている場合や、ハイライターが乱れた形を描いてしまう場合に問題が生じることを慎重に指摘しています。彼らは、これが今日すべての問題を解決する魔法のような解決策ではないものの、手術ロボットが、あらゆる写真を描くための人間の軍隊を必要とすることなく、より速く、より安価に学習できる未来への扉を開くものであると示唆しています。