An Open Multi-Center Whole-Body FDG PET/CT Foundation Model for Tumor Segmentation

患者の身体における腫瘍を医療スキャンを用いて特定するようコンピュータに教えることを想像してください。医師は通常、2 種類の画像を併せて観察します。一つはCT スキャン（骨や臓器の詳細な 3 次元マップのような身体の解剖学構造を示すもの）であり、もう一つはPET スキャン（代謝を示し、細胞がエネルギーを消費している領域を光らせ、しばしばがんを示唆するもの）です。

長らく、コンピュータはこれら 2 つの視点を効果的に組み合わせることに苦手としてきました。既存の AI モデルのほとんどは、特定の試験のみの勉強をする学生のようなものでした。これらはたった一つの病院からの患者の小さなグループで訓練され、CT と PET スキャンを 2 つの別個の科目として扱い、その「思考」プロセスの最終段階でのみ組み合わせようとしました。このため、それらは脆弱でした。コンピュータが異なる病院や異なる機械からのスキャンを見ると、しばしば混乱をきたしたのです。

この論文は、PET/CT スキャンのための新しい解決策、すなわち**「基盤モデル」**（Foundation Model）を紹介しています。これを特定の試験の勉強をする学生ではなく、実際の患者を見る前に 4 か国からの何千冊もの教科書を読んできた医学部の学生だと考えてください。

以下に、その構築方法と機能する理由を簡潔に説明します。

1. スキャンの「図書館」

単一の場所からの小さなデータセットを使用する代わりに、研究者はドイツ、オーストラリア、アメリカ、ベトナムの 4 つの公開データセットから4,997 枚のスキャンを収集しました。

• 課題: これらのスキャンはすべてサイズが異なり、異なる機械で撮影されていました。1000 ピースのパズルと 500 ピースのパズルから来たピースが混在し、画質もまちまちのパズルを組み立てようとしているようなものです。
• 解決策: 彼らは「調和パイプライン」を作成しました。これは、すべての異なるパズルピースを取り、端を整え、同じ物理的なグリッド（ピースあたり 2.0 x 2.0 x 3.0 mm）に収まるようにサイズを調整するマスター編集者のようなものです。重要なのは、単に画像を同じに見えるように引き伸ばしたのではなく、腫瘍の実際の物理的サイズを保持したことです。これにより、コンピュータは物事の真のスケールを学ぶことができます。

2. CT と PET の「早期結婚」

以前の AI モデルのほとんどは、CT と PET スキャンを、テーブルの反対側に座り、それぞれが自分のレポートを書き終えてから初めて互いに話す 2 人の人のように扱っていました。

• 新しいアプローチ: このモデルは、CT と PET スキャンに最初の瞬間から「手を取り合う」ことを強制します。コンピュータが分析を開始する前に、これらは側面から側面へと縫い合わされます（チャネル方向の連結）。
• アナロジー: これは、犬の画像を見せ、「これは何ですか？」と問い、その後、吠え声を再生して「これは何ですか？」と別々に問うのではなく、犬の画像と吠え声を同時に示して子供に犬を認識させるようなものです。解剖学的（CT）情報と代謝的（PET）情報を即座に混合することで、モデルは身体の構造とそのエネルギー利用がどのように関連しているかを、最初から学ぶことができます。

3. 「目隠し」ゲーム（マスク付き自己符号化）

すべての腫瘍に人間が輪郭を描く必要（これは高価で時間がかかる）なくこのモデルを教えるために、マスク付き自己符号化（Masked Autoencoding）という手法が用いられました。

• ゲーム: 想像してください。コンピュータに腫瘍の画像を見せるが、その 50% を目隠しで覆います。コンピュータの役割は、見える部分と他のスキャンタイプ（例えば、CT が隠されている場合、PET を見て形状を推測する）に基づいて、隠れているものを推測することです。
• 革新: 通常、コンピュータが画像の一部を隠す際、空白スペースを一般的な「プレースホルダー」トークン（灰色の空白の四角のようなもの）で埋めます。研究者たちは、これがコンピュータを混乱させる「人工的なエッジ」を生み出すことに気づきました。代わりに、彼らはゼロ平均補完（Zero-Mean Imputation）を使用しました。データがすでに正規化（平均がゼロになるように明るさを調整）されていたため、隠れた部分を単にゼロで埋めました。
• 重要性: これは、壁の穴を、そこにあったのと同じ色の漆喰で埋めるようなものであり、灰色のパッチを貼るようなものではありません。これにより、画像の「質感」が滑らかに保たれ、コンピュータは偽の境界に気を取られることなく、より効果的に学ぶことができます。

4. 結果：少ないデータで学ぶ

研究者たちは、この新しいモデルを「腫瘍セグメンテーション」（腫瘍の周りに線を引く）というタスクでテストしました。

• 「少数ショット」の奇跡: 通常、AI がよく学習するには数千のラベル付き例が必要です。しかし、このモデルはまず 4,997 枚のスキャンという巨大な「図書館」で訓練されました。その後、通常のラベル付きデータの10%（わずか 70 枚のスキャン）のみでテストしたところ、データの**100%**で訓練された他のモデルと同等の性能を発揮しました。
• 「極限」テスト: さらに、コンピュータがラベル付き例を 5 つしか見ない「5 ショット」テストを試みました。新しいモデルは機能しましたが、古いモデルは完全に失敗しました。
• 教訓: このモデルは、多様で巨大なデータセットから CT と PET の両方における腫瘍の一般的なルールを学習したため、新しい病院ごとにすべてをゼロから教え直す必要がありませんでした。

まとめ

この論文は、何千もの多様なスキャンを読んできたオープンソースの医療画像用「脳」を提示しています。CT と PET スキャンを最初から一緒に見るよう教えることと、巧妙な「穴埋め」訓練手法を使用することで、彼らは以下のシステムを構築しました。

1. より賢い: 身体の構造と代謝の間の関係をよりよく理解する。
2. より効率的: 非常に少ないラベル付き例で腫瘍を特定するよう学習でき、医師の時間を節約する。
3. より頑健: 異なる病院や機械からのスキャンであってもよく機能する。

著者らは、これは強力なツールである一方で、現時点では CT と PET スキャンの両方が存在する必要があること（まだ欠損データを処理できない）、そしてモデルの最大バージョンを完全に微調整するためには、テストで利用できたものよりも多くのラベル付きデータが必要になる場合があることに言及しています。しかし、これは将来の自動化されたがん画像診断のための強力でオープンな基盤を提供しています。