技術要約: CPS4 – クラス固有の整合性制約を用いたクラスプロンプト駆動型半教師あり脊椎セグメンテーション

問題提起

MRIにおける椎体（VB）および椎間板（IVD）のマルチクラス・セグメンテーションを含む、自動脊椎セグメンテーションは、整形外科的診断や手術計画において極めて重要である。ディープラーニング手法は大きく進歩しているが、それらは手間がかかり、専門知識を必要とするピクセルレベルのアノテーションに大きく依存している。半教師あり学習（SSL）は、限られたラベル付きデータと豊富なラベルなしデータを併用することで、この解決策を提示する。しかし、一貫性正則化や疑似ラベル生成に依存する既存のSSL手法は、しばしば低品質な疑似ラベルに悩まされる。これらのノイズを含むラベルは誤った指導をもたらし、モデルを無関係な特徴量に集中させ、ラベルなしデータの効果的な活用を妨げる。

Vision-Language Models（VLM）は、テキストによるクラスプロンプトを利用してセグメンテーションマップを生成することで、疑似ラベルの品質を向上させる可能性を示しているが、現在のVLMには、クラスプロンプトと特定の画像オブジェクトとの間の整合性を確保するための明示的な制約が欠けている。この欠如は、クラス固有のセマンティックな結合を弱め、クラス間の干渉を引き起こし、結果としてマルチクラスのセグメンテーションマップ生成において不満足な性能をもたらす。

手法

著者らは、クラスプロンプトを半教師あり脊椎セグメンテーションに統合する新しいフレームワークであるCPS4を提案する。これは2段階のトレーニング戦略を通じて行われる。

ステージ1: クラス固有の整合性制約を用いたVLM事前学習

既存のVLM（CLIPやMedCLIPなど）は、画像レベルでのクロスモーダルなアライメントを行うが、これでは異なるクラスプロンプトがそれぞれの対応するオブジェクトに焦点を当てることを保証できない。これに対処するため、CPS4は、Vision Transformer（ViT）を視覚に、BioClinicalBERTをテキストに使用したVLMを用い、クラスプロンプトと脊椎ユニット間の整合性を強制するための2つの新しい損失関数を用いた事前学習ステージを導入する。

1. トークンレベル・アテンション損失 ($L_{token}$): この損失は、クラスプロンプトのトークン（$F_{T,i}$）と対応する画像パッチトークン（$F_I$）のアライメントを最適化する。類似度スコアを計算して粗いアテンションマップ（$A_i$）を生成し、活性化を予測された脊椎ユニット領域（$B_i$）へと集約する。目的は、テキストプロンプトをセマンティック空間においてターゲットとなる脊椎ユニットに密接に結合させることである。
2. ピクセルレベル・アテンション損失 ($L_{pixel}$): モデルがターゲットユニットの特定のサブ領域のみにアテンションを過度に集約してしまうのを防ぐため、ピクセルレベルのクロスエントロピー目的関数が追加される。これにより、アテンションマップがターゲットとなる脊椎ユニット全体を均一にカバーすることを保証する。

全事前学習損失は、$L_{token}$と$L_{pixel}$の平均である。

ステージ2: クラスプロンプト駆動型半教師あり脊椎セグメンテーション

このステージでは、事前学習された視覚・テキストエンコーダを使用して、ラベルなしデータの疑似ラベル生成プロセスを強化する。

• クラスプロンプド誘導型セグメンテーションマップ生成: 各ラベルなし脊椎画像に対して、画像パッチトークンとクラスプロンプトトークンのドット積を計算することにより、各クラス（例：「腰椎1」）のバイナリセグメンテーションマップを生成する。これらのマップはアップサンプリングされ、OTSU自動閾値法を用いてバイナリマスクに変換される。すべてのクラス固有のマップは、統一されたマルチクラスセグメンテーションマップ（$y^{text}$）を形成するためにスタックされる。
• 疑似ラベル生成と最適化: 本フレームワークは、学生（Student）ネットワークと教師（Teacher）ネットワークを備えたMean Teacher（MT）アーキテクチャを採用している。教師ネットワークは、指数移動平均（EMA）を介して、ラベルなし画像に対する疑似ラベル（$y^t_u$）を生成する。
  • 教師あり損失 ($L_{sup}$): ラベル付きデータに対する学生の予測とグランドトゥルースとの間で計算される。
  • 半教師あり損失 ($L_{semi}$): 以下の2つの部分で構成される。
    1. $L^{text}_{semi}$: ラベルなしデータに対する学生の予測と、クラスプロンプトによって生成されたマップ（$y^{text}$）との間の一貫性損失。
    2. $L^{enhance}_{semi}$: 学生の予測と、教師の疑似ラベル（$y^t_u$）とクラスプロンプトマップ（$y^{text}$）を統合して作成された強化された疑似ラベルとの間の一貫性損失。

主な貢献

1. 初のテキスト誘導型脊椎セグメンテーション用SSL: 本研究は、疑似ラベルの品質を高めるためにテキストによるクラスプロンプトを導入した、初の半教師あり脊椎セグメンテーション手法である。
2. 新規なクラス固有の整合性制約: 著者らは、トークンレベルおよびピクセルレベルのアテンション損失を用いた特定の事前学習メカニズムを提案し、各クラスプロンプトとそのターゲットとなる脊椎ユニットとの間の明示的な制約を強制し、緊密なセマンティック結合を確保した。
3. 最先端の性能: 本手法は、様々なラベル付きデータの比率において優れた性能を示し、特に低データ環境において顕著である。

実験結果

本手法は、215名の被験者からなる20カテゴリ（19の脊椎構造と背景）を含むT2強調MRボリューム画像を含むMRSpineSegデータセットを用いて評価された。

• 性能: わずか5%のラベル付きデータを使用した場合でも、CPS4は**Diceスコア80.44%およびmIoU 70.63%**を達成した。
• 比較: これらの結果は、一般的な半教師あり学習手法（MT、BCP、SS-Netなど）や既存のVLMベースのアプローチ（CLIP、MedCLIP、MGCA、EGMAなど）を凌駕している。
  • 5%のラベル付きデータを用いた、テキストプロンプトを持つサブオプティマルなGraphCL手法と比較して、CPS4はmDiceを2.23%、mIoUを**2.42%**向上させた。
• 堅牢性: アブレーション研究により、トークンレベルおよびピクセルレベルの両方の損失が性能に大きく寄与することが確認された。本手法は、ラベル付きデータの比率が5%から50%に増加するにつれて、MTベースラインを明確な差で上回り、安定した性能向上を示した。
• 可視化: CPS4によって生成されたアテンションマップは、ターゲットとなる脊椎ユニットと強く一致していたが、ベースラインのVLM（MedCLIPなど）は、散在した活性化と弱いセマンティック結合を示した。

意義

論文は、CPS4が高品質な疑似ラベルの生成を導くためのテキストのセマンティックな力を活用することで、脊椎セグメンテーションにおけるラベル不足の問題を効果的に軽減すると主張している。事前学習中にクラスプロンプトと脊椎ユニットの間の整合性を明示的に制約することにより、本フレームワークは医療画像タスクにおける現在のVLMの限界を克服している。結果は、このアプローチがより信頼性の高いクラスプロンプト駆動型の疑似ラベル生成を可能にし、ラベル付きデータが限られているシナリオにおいて半教師あり学習の有効性を大幅に向上させることを示唆している。著者らは、さらなる研究を促進するためにコードを公開する予定であると述べている。