S3-Tracker: Self-Supervised Surgical Tissue Tracking With Contrastive Random Walks

人体内部において、手術用カメラからの視界は、器具の圧力によって伸びたり、折れ曲がったり、滑ったりする、柔らかく湿った組織が織りなす絶えず変化する風景である。外科医やそれを支援するロボットにとって、あらゆる組織のパーツがどこに位置しているかという安定したメンタルマップを維持することは、絶え間ない挑戦である。もし外科医が、画面で見ているものと、CTやMRIのような術前のスキャン画像を一致させる必要がある場合、組織がリアルタイムで変形してしまうと、その作業はほぼ不可能になる。これを解決するためには、コンピュータがビデオのフレームごとに特定の組織上の点を追跡し、ライブ映像と患者の内部解剖学的構造との間の連続的なつながりを維持する必要がある。現代の人工知能は標準的なビデオ内の物体を追跡することには非常に長けているが、血液、煙、そして高度に反射する表面に満ちた手術という混沌とした現実が、膨大な量の人間によるラベル付きデータなしに、コンピュータにこれを確実に実行する方法を教えることを困難にしてきた。

ある研究チームは、こうした入手困難なラベルを必要とせずに、コンピュータに手術組織を追跡させる方法を開発した。何千ものビデオに対して、人間が苦労して点や線を描き込み、動きを示していくのではなく、「S3-Tracker」と呼ばれるこの新手法は、ビデオ自体を観察し、自らの仕事を検証することで学習する。このシステムは、ビデオを一連のつながれた瞬間として扱い、単純な問いを投げかける。「もし私がフレーム内の点Aから次のフレームの点Bへと移動し、次にBからAへと戻ろうとしたとき、正確に元の場所に戻れるだろうか？」と。この問いに何度も正しく答えさせることで、コンピュータは、たとえ次の瞬間には組織の見え方が大きく異なっていても、ピクセルがどのように動き、変形するかを理解できるようになる。このアプローチにより、システムはラベル付けされていない膨大な手術映像から学習することができ、専門家がすべてのフレームに注釈を付けるというボトルネックを回避できるのである。

研究者たちは、ビデオフレームのペアを見て、あるフレームのピクセルが次のフレームのピクセルとどのように関連しているかを判断するシステムを構築した。彼らは、これらの点の間にある接続のマップを作成するプロセスを用いており、本質的に、コンピュータに対して「ある組織の破片が辿った最も可能性の高い経路」を推測させている。コンピュータが単にランダムに推測しているのではないことを確認するために、システムは動きを順方向に実行した後、逆方向に実行することで、自らの論理をチェックする。もし順方向の経路と逆方向の経路が同じ場所で合流しない場合、システムは間違いを犯したと判断し、自身の理解を調整する。「コントラスティブ・ランダムウォーク（対照的ランダムウォーク）」と著者らが呼ぶこの自己チェックメカニズムにより、モデルは人間から提供された正解を一度も見ることなく、組織が伸びたり曲がったりする複雑な様態を学習することができる。また、このシステムには、例えば血液や器具によって点が見えなくなった場合に、その点がもはや可視ではないと判断し、再出現するまで追跡を停止する機能も備わっており、コンピュータが混乱してコースから外れるのを防いでいる。

実際の外科ビデオデータセットを用いてテストを行った際、この新手法は、部分的な人間のラベルに依存する既存のシステムに対して強力な対抗馬であることを証明した。研究者たちは、この自己教師あり学習のアプローチが、一部の人間によるガイダンスを用いて訓練された手法に匹敵する精度で点を追跡できる一方で、リアルタイムでの実行速度が大幅に速いことを発見した。予測された点が実際の正解（グラウンドトゥルース）からどれだけ離れているかを測定するテストにおいて、システムは様々な誤差閾値にわたって平均精度スコア0.708を達成し、臨床使用が可能と考えられるほど良好なパフォーマンスを示した。完全な人間のラベルを使用する完全教師ありモデルは、生の誤差距離に関しては時としてわずかに精密であることもあるが、生中の手術中にフレームごとに動作するには、しばしば速度が不足している。対照的に、この新手法は効率的に動作し、ビデオストリームに追いつくことができる、毎秒3回のフレーム処理速度を実現している。このスピードと、ラベル付けされていないデータなしで手術の視覚的な混乱に対処できる能力を併せ持つことは、自己教師あり学習による追跡が、ロボット手術を導き、外科医が人体という複雑で動的な地形をナビゲートするのを助けるための実用的なツールになり得ることを示唆している。