A Pixel-based Confidence Weighted Transfusion model for Colonoscopy and Colon Capsule Endoscopy image-based Polyp Segmentation

人間の体内において、大腸の内壁は、ポリプと呼ばれる小さく、しばしば目に見えない増殖物が形成されることもある複雑な景観となっています。これらの増殖物は、最終的にがんへと変化する可能性があるため、その早期発見は命を救うための極めて重要なステップとなります。これらのポリプを見つけるための現在のゴールドスタンダードは、大腸内視鏡検査と呼ばれる処置であり、医師がカメラの付いた柔軟なチューブを大腸へと誘導して、異常がないかを探ります。しかし、このプロセスは困難を伴います。医師は数千もの画像をスキャンしなければならず、多くの場合、照明条件が難しかったり、カメラが動いていたりします。また、ポリプが小さかったり、隠れていたり、背景に紛れてしまったりするために、単純な理由で3分の1もの増殖性病変を見逃してしまうことがあります。これを助けるために、科学者たちは人工知能を活用し、コンピュータにこれらの増殖物を認識させる方法を教えてきました。しかし、これまで開発されてきたツールは、ある厄介な問題に直面しています。それは、全体像を理解することに苦労するという点です。それらは細部の識別には優れている一方で、大きな文脈（コンテキスト）の理解には乏しかったり、あるいはその逆であったりします。さらに、カメラの種類や画像の質が変わると、性能が低下してしまいます。

デンマークの大学や病院の研究チームは、この特定の問題を解決するための新しいアプローチを開発しました。彼らは、大腸の2つの異なる見方を橋渡しするように設計されたコンピュータモデルを作成しました。一方の方法は、従来の結腸内視鏡によるもので、高解像度で鮮明な画像を提供します。もう一方は、結腸カプセル内視鏡によるもので、患者が薬の形をしたカメラを飲み込み、それが消化管を移動しながら写真を撮ります。これらの画像は、解像度が低かったり、制御されていない照明下で撮影されていたりすることがよくあります。研究者たちは、単一のコンピュータモデルを一方のタイプの画像で学習させると、もう一方の画像を見せられた際に失敗してしまうということを突き止めました。実際、高品質な光学大腸内視鏡の画像で学習したモデルは、カプセルによる低品質なデータに適用した際に性能を維持できず、これら2つのイメージングタイプ間の知識転送における重大なギャップを浮き彫りにしました。これを解決するために、彼らは2つの別々のモデルの強みを組み合わせたシステムを構築しました。一方のモデルは、従来のスコープによる鮮明で詳細な画像に特化しており、もう一方は、ピルカメラからの変動しやすい画像に合わせて調整されています。この新しいシステムは、これら2つのモデルに単一の答えに同意させるのではなく、画像のすべてのピクセルを調べ、「どちらのモデルがこの特定の箇所に対してより自信を持っているか？」という単純な問いを投げかけます。そして、答えを融合させ、より確信を持っている方のモデルに重みを置きます。これにより、システムは、鮮明な高精細画像を見ているときでも、ぼやけた低解像度の画像を見ているときでも、即座に適応することができるのです。

研究者たちは、この「TransFuseNet」と名付けられた新しいシステムを、数千件の処置から得られた実際の患者データや、コンピュータによって生成された合成画像を含む、幅広い画像セットを用いてテストしました。その結果、システムはこれらすべての異なる条件下で、ポリプの形状とサイズを正確に描き出すことができることがわかりました。実世界のカプセル内視鏡の画像を用いたテストでは、システムは約82パーセントのケースでポリプの境界を正しく特定し、標準的な大腸内視鏡の画像を用いたテストでは、90パーセント近い精度に達しました。決定的なことに、この新しい結合システムは、イメージングタイプを切り替える際に通常見られる性能の低下を、見事に軽減することに成功しました。一方のモダリティで学習した個別のモデルは、他方のモダリティでテストした際に著しく苦戦しましたが、融合されたシステムは、各ピクセルに対して最も信頼できる予測を動的に選択することで、堅牢な精度を維持しました。また、システムはすべての予測に対して確信度の尺度を提供し、どの領域において確信があり、どの領域において確信が低いかを明らかにしました。これは、医師がコンピュータの示唆をいつ信頼すべきかを知る助けとなります。

このシステムは、単にポリプを見つけるだけでなく、それらを測定する方法も提供します。検出された増殖物を構成するピクセルをカウントすることで、ソフトウェアはポリプの相対的な大きさを推定できます。これは、そのポリプが危険であるかどうかを判断するための重要な要素です。研究者たちは、彼らのモデルがライブビデオフィードに追いつくほど速く画像を処理できること（毎秒約46フレームを分析）を示しました。これは、医師がビデオをレビューする速度よりも速いものです。この速度は、このツールが処置中のリアルタイムの「第二の目」として、疲れを知らずに機能できる可能性を示唆しています。本研究は、局所的な詳細と画像のより広い理解を組み合わせ、情報のソースのどちらを信頼するかをコンピュータ自身に決定させることで、より信頼性の高い、初期の癌の兆候を見つけるためのツールを作ることが可能であることを裏付けています。このシステムは医師に取って代わるものではありませんが、見逃されるポリプの数を減らし、大腸がんに対峙する患者にとって、より早期の治療とより良い結果をもたらすための、堅牢な手法を提供するものです。