CoM$^3$eT: A foundation model for medical image analysis through federated, multidimensional context integration

人体は、X線による平面的で二次元的な影から、CTスキャンによる複雑な三次元ボリューム、そして組織スライドの微視的なギガピクセル級の詳細に至るまで、膨大な視覚データの風景を提示しています。数十年にわたり、人工知能はこの風景をナビゲートすることを学習してきましたが、それは孤立した領域においてのみ行われてきました。胸部X線から腫瘍を見つけ出すように訓練されたシステムは、顕微鏡のスライドを理解できないことが多く、組織サンプル内の細胞数を数えるように設計されたモデルは、3D臓器スキャンの解釈に苦戦します。この断片化により、医師や研究者は、画像の種類ごとに異なる専門的なツールに頼らざるを得なくなっています。これは、データが乏しい場合や、患者の状態が複数のタイプのスキャンを同時に見ることを必要とする場合に、決定的な制限となります。現代の医療AIの目標は、形式に関係なく全体像を見ることができる、単一で多才な精神を構築することですが、このようなシステムの構築は、これらの多様な視覚的世界を精度を失うことなく統合することの難しさによって阻まれてきました。

研究チームは現在、あらゆる次元とタスクにわたって医療画像を理解するように設計された基盤モデルである、CoM³eTと呼ばれる統一されたシステムを構築しました。放射線科や病理学といった単一の専門分野に限定されたり、単純な分類や詳細なセグメンテーションといった特定の種類の回答に限定されたりした従来のモデルとは異なり、この新しいモデルはそれらすべてを統合しています。このモデルは、心臓の3Dボリューム、平坦なX線、そして巨大なデジタル顕微鏡スライドを、同じ根本的な視覚言語のバリエーションとして扱います。単一細胞の画像から全身スキャンに至るまで、10万人以上の患者にわたる大規模なコレクションを用いて訓練することで、モデルは異なるスケールやモダリティ間で持続するパターンを認識することを学びました。その結果、肺炎の診断、乳がんスライドにおける分裂細胞のカウント、3D CTスキャンにおける血管のセグメンテーションといった多様なタスクを実行できる単一のアーキテクチャが誕生し、その精度は現在利用可能な最高の専門ツールのレベルに匹敵するか、あるいはそれを上回ります。

このシステムの力は、情報の処理方法にあります。3Dスキャンを個別の2Dスライスの積み重ねとして扱うのではなく、モデルはボリューム全体を一つのまとまったものとして捉え、画像内の異なる層にわたるコンテキスト（文脈）を理解することを可能にします。また、画像の最も関連性の高い部分に焦 متعدد しつつ、それらの部分が空間内のどこに位置しているかを把握できるメカニメントを使用しています。このアプローチは非常に効果的であることが証明され、最近行われた医療基盤モデルをテストするための独立したコンペティションにおいて、CoM³eTは放射線科と病理学の両方において他の主要なモデルを凌駕し、総合優勝を果たしました。それは、画像に関するテキストレポートの生成から、複雑な3Dデータ内の特定の構造の特定に至るまで、提示されたすべてのタスクを処理できる唯一のモデルでした。MRIスキャンにおける乳がん腫瘍のセグメンテーションを含む特定のテストでは、このモデルは専門の競合モデルよりも大幅に高いスコアを達成し、単一の統一されたアプローチが、一連の狭い専門的なツールを凌駕できることを実証しました。

この研究におけるおそらく最も実用的な突破口は、その知能だけでなく、その効率性にあります。このような大規模なモデルの訓練には通常、スーパーコンピューターへのアクセスを持つ一部のエリート機関に限定されるような、膨大な計算能力が必要です。しかし、研究者たちは、全パラメータの2.5パーセント未満という極めてわずかな内部設定を更新するだけで、この強力なシステムを新しい医療タスクに適応させられることを発見しました。「部分的ファインチューニング」として知られるこの手法により、モデルは脳全体を再学習することなく、新しいスキルを学ぶことができます。この効率性は、病院間の新しいコラボレーションへの道を開きます。チームは、機密性の高い患者データをローカルストレージから移動させることなく、複数のドイツの大学病院にわたってモデルを訓練できることを実証しました。モデルのコア部分を凍結（フリーズ）させ、更新された小さな断片のみをインターネット経由で交換することで、単一の巨大な結合データセットで訓練した場合と同等のパフォーマンスを実現しました。これは、高度な医療AIが標準的なコンピュータハードウェアと一般的なインターネット接続を使用してさえ、安全に開発・共有できることを証明しており、高度な診断ツールをより幅広い医療センターに普及させることを可能にします。

このモデルが多様なデータタイプを扱える能力は、医療画像における長年の課題、すなわち患者の状態を多角的に分析する必要性に対処するものです。過去には、医師はCTスキャンを読むための放射線科医と、組織スライドを読むための病理医の両方に頼らなければならず、両方の視点を合成できる単一のシステムは存在しませんでした。CoM³eTは、異なる情報源からの情報を統合することを学ぶことで、このギャップを埋めます。例えば、がんの再発予測を必要とするタスクにおいて、モデルはホールスライド（組織全体のスライド）の空間的コンテキストと、個々の細胞パッチの詳細をうまく組み合わせることに成功しました。この全体論的な視点により、データを孤立して見ていたモデルよりも正確な予測を行うことができました。研究者たちは、モデルが画像内の異なる部分間の関係を考慮できるようにすると、パフォーマンスが大幅に向上することを発見しました。これは、画像のコンテキストが画像そのものと同じくらい重要であることを示唆しています。

成功にもかかわらず、研究者たちは、このシステムがあらゆるシナリオで完璧に機能する魔法の解決策ではないことを慎重に注記しています。CTスキャンにおける非常に小さな血管の特定など、特定のタスクにおいては、特に構造が周囲から区別しにくい場合に、依然として課題に直面します。チームは、グローバルなコンテキストを統合する能力が大きな強みである一方で、専門的な従来の手法が優位性を保持する領域がまだ存在することを認めています。しかし、単一の柔軟なシステムがこれらの専門的な手法と競い合い、しばしばそれを上回ることができるという事実は、医療AIの開発方法が変化していることを示唆しています。新しい疾患や新しい画像技術ごとに新しい狭いツールを作るのではなく、将来は、特定のニーズに合わせて迅速に調整できる、これらの広範で適応可能な基盤にこそ未来があるのかもしれません。

この研究の意義は、研究室の枠を超えています。単一のモデルが膨大な医療データから学習でき、新しいタスクに効率的に適応できることを証明することで、研究者たちは次世代の医療AIへのブループリント（設計図）を提供しました。このアプローチは、新しいアプリケーションのために大規模なデータセットやスーパーコンピューティングのリソースを必要としなくなるため、新しい診断ツールの開発への参入障壁を下げます。また、生の患者データを共有せずに複数の機関にわたってこれらのモデルを訓練できる能力は、患者のプライバシーを尊重した共同研究への道を提供し、重要なプライバシー上の懸念に対処します。分野が進展するにつれ、焦点は孤立した専門的なモデルの作成から、人間の健康に対する理解とともに成長し適応できる、これらの多才な基盤となるシステムへとシフトしていくでしょう。CoM³eTの成功は、医療画像の分析の未来が、医師が持つツールの数ではなく、医療データの全景を見ることができる単一の知的なシステムの深さと広さによって定義されることを示唆しています。