K-MaT: Knowledge-Anchored Manifold Transport for Cross-Modal Prompt Learning in Medical Imaging

K-MaT は、臨床テキストにアンカーされたプロンプトと融合グロモフ・ワシュタイン最適輸送を用いて高解像度画像モデルの決定構造を低解像度画像へ転送し、トレーニングデータなしで医療 VLM のクロスモーダル適応と性能向上を実現する手法です。

要約

🏥 問題：「名医」が「地方の診療所」で失敗する理由

Imagine（想像してみてください）：
ある天才的な医師（AI モデル）が、最高級の 3D CT スキャンという、非常に詳細で鮮明な画像を使って「がん」を見分ける訓練を受けました。この医師は、CT 画像の微妙な陰影から病気を正確に見抜くことができます。

しかし、この医師を地方の診療所に連れて行き、普通のレントゲン写真や超音波を見て診断させると、彼はパニックに陥ります。

• 「CT なら見えた影が、レントゲンでは全然違う形に見える！」
• 「CT で覚えた『がんのサイン』が、レントゲンでは通用しない！」

AI も同じです。CT で訓練された AI は、CT 特有の「ノイズ」や「特徴」を覚えてしまい、レントゲン画像を見ると「これは何だ？」と混乱し、診断能力が急落してしまいます。これを論文では**「カタルシスな忘却（知識の崩壊）」**と呼んでいます。

💡 解決策：K-MaT（知識を固定した「地図の移動」）

この論文の著者たちは、新しい方法**「K-MaT」を考案しました。これは、「新しい画像データ（レントゲン）を一切使わずに、CT で学んだ知識をそのままレントゲンに適用する」**という画期的な技術です。

彼らが使った 3 つのアイデアを、料理や旅行に例えてみましょう。

1. 料理のレシピを「分解」する（Prompt Factorization）

AI は通常、「この画像はがん」という判断を、一つの大きな頭でまとめて行います。K-MaT はこれを**「共通のレシピ（病気の本質）」と「食材ごとの調理法（画像の見た目の違い）」**に分けます。

• 共通レシピ： 「がんは、形が不規則で、境界がギザギザしている」という医学的な事実。
• 調理法： CT なら「白く濃く見える」、レントゲンなら「影が薄く見える」といった、画像ごとの特徴。
  これらを分けることで、病気の本質（レシピ）は忘れないまま、新しい食材（新しい画像）に対応できるようにします。

2. 教科書で「基準」を作る（Knowledge Anchoring）

AI が勝手に「CT っぽい特徴」だけを覚えて、医学的な真実からズレてしまわないよう、**「AI 用の教科書（LLM が生成した文章）」**を基準（アンカー）として固定します。

• 例え： 料理人が「味付けは塩分 1% が基準」というルールを忘れないよう、常に「基準の味」を舌で確認させます。
• AI は、CT 画像を学習する際も、この「医学的な文章の基準」から離れすぎないように縛られます。これにより、どんな画像を見ても「病気の本質」を忘れないようになります。

3. 2 つの「地図」をぴったり重ねる（Manifold Transport）

これがこの論文の最大の特徴です。

• CT の世界とレントゲンの世界は、まるで「東京の地図」と「大阪の地図」のように、形も距離感も全く違います。
• 通常、この 2 つを無理やり重ねようとすると、地図がぐちゃぐちゃになります。
• K-MaT は、**「Fused Gromov-Wasserstein（FGW）」という高度な数学の道具を使います。これは、「2 つの地図の『点と点の関係性』だけを保ちながら、形を無理やり変形させて重ねる」**技術です。
  • 「A 地点と B 地点は、CT 世界では『近い』関係だった。だから、レントゲン世界でも『近い』関係に保ってね！」
  • 「C 地点と D 地点は、CT 世界では『遠い』関係だった。だから、レントゲン世界でも『遠い』関係に保ってね！」
    このように、**「関係性の構造」**だけを移植することで、新しい画像（レントゲン）でも、CT で学んだ正確な診断ができるようになります。

🏆 結果：驚異的な成功

この方法を試した結果、以下のような素晴らしい成果が出ました。

• 従来の AI： レントゲン画像を見ると、診断精度が 75% から 27% までガタ落ちしました（知識を忘れた）。
• K-MaT： レントゲン画像でも、38% 以上の精度を維持しました。
• 平均成績： 4 つの異なる医療タスク（皮膚、乳腺、胸部など）で、従来の最高水準よりも大幅に良い成績を収めました。

🌟 まとめ

この論文が伝えているのは、**「新しいデータを集めなくても、AI は『知識の構造』をうまく変換すれば、新しい環境でも活躍できる」**ということです。

• CT 画像は「高価な高級食材」。
• レントゲンは「手軽な日常食材」。
• K-MaTは、「高級食材で学んだ『味付けの極意』を、日常食材でもそのまま活かすための『魔法のレシピ本』」です。

これにより、医療機関が新しい AI を導入する際、高価なデータ収集や再学習が不要になり、世界中のどんな病院でも、すぐに高精度な AI 診断が使えるようになる可能性があります。

技術概要

K-MaT: 医療画像におけるクロスモーダルプロンプト学習のための知識アンカー付き多様体輸送

以下は、Jiajun Zeng と Shadi Albarqouni によって提案された論文「K-MaT: Knowledge-Anchored Manifold Transport for Cross-Modal Prompt Learning in Medical Imaging」の技術的概要です。

1. 背景と課題 (Problem)

医療画像診断における深層学習モデルは、データ分布のシフト、特に**異なる撮像モダリティ間での転移（クロスモーダル転移）**において性能が著しく低下する傾向があります。

• 高品質モダリティ vs 低品質モダリティ: MRI や CT などの高解像度・高コストなスクリーニング画像（高品質）で学習したモデルは、X 線や超音波、皮膚臨床写真などのアクセスしやすい低コストな画像（低品質）へ転移する際に失敗しやすいです。
• モダリティ固有のショートカット: モデルは、病理所見そのものではなく、モダリティ固有の統計的性質（画像のテクスチャやノイズなど）に依存する「ショートカット」を学習してしまい、本質的な診断意味論（セマンティクス）を保持できなくなります。
• 知識の忘却 (Catastrophic Forgetting): 従来のプロンプト学習手法（CoOp など）は、高品質データのみで最適化すると、低品質モダリティへの推論時に高品質で学習した知識を完全に失い、性能が崩壊します。
• ゼロショット制約: 低品質モダリティには学習データが存在しない、あるいは利用できない状況（厳密なゼロショット設定）での転移が求められますが、既存の BiomedCoOp などの手法でもこの課題は完全には解決されていません。

2. 提案手法：K-MaT (Methodology)

K-MaT (Knowledge-Anchored Manifold Transport) は、高品質モダリティの視覚データと LLM によって生成された臨床テキストのみを使用し、低品質モダリティへのゼロショット転移を実現するプロンプト学習フレームワークです。BiomedCLIP を基盤モデルとして使用し、以下の 3 つの主要な技術的要素で構成されています。

2.1 因子分解されたプロンプト (Factorized Prompts)

学習可能なコンテキストベクトルを導入し、プロンプトを以下の 2 つの要素に因子分解します。

• クラス固有コンテキスト (CSC): 特定の病変クラスに固有の情報。
• モダリティ固有コンテキスト (MSC): 各モダリティ（高品質/低品質）に固有の情報。
  これにより、異なるモダリティ間での干渉を最小化しつつ、共通の診断意味論を保持します。

2.2 知識アンカーによる空間固定 (Space Anchoring)

学習可能なプロンプトがモダリティ固有の統計に偏りすぎないよう、LLM（GPT-5 など）で生成された臨床記述（例：「不整な縁と棘突起を有する悪性腫瘍を示す乳房画像」）を意味的アンカーとして使用します。

• 損失関数 ($L_{anc}$): 学習可能なテキスト埋め込みと、固定された LLM 生成プロトタイプとの間の距離（ユークリッド距離）を最小化します。これにより、プロンプトが臨床的に意味のあるセマンティクスから逸脱することを防ぎます。

2.3 融合グロモフ・ワッサーシュタイン輸送による多様体整合 (FGW-based Manifold Alignment)

これが K-MaT の中核となる革新です。低品質プロンプト多様体が、高品質プロンプト多様体の幾何学的関係構造を厳密に模倣することを強制します。

• メカニズム: 高品質空間（視覚的にグラウンドされた）と低品質空間（テキストアンカーに固定された）の間の関係性を、Fused Gromov-Wasserstein (FGW) 最適輸送を用いて整合させます。
• 損失関数 ($L_{fgw}$): 特徴量間の距離と、クラス間の関係構造（距離行列）の両方を考慮した整合損失を計算します。これにより、低品質モダリティの決定境界が高品質モダリティの構造を反映するように誘導され、視覚データなしでゼロショット推論が可能になります。

2.4 全体最適化

最終的な目的関数は、クロスエントロピー損失（高品質データでの教師あり学習）、知識アンカー損失、FGW 多様体整合損失の重み付き和です。

3. 主要な貢献 (Key Contributions)

1. 厳密な非対称ゼロショット転移戦略: 低品質モダリティの視覚学習データを一切使用せず、高品質データと LLM 生成テキストのみで転移を実現。
2. 忘却の防止: LLM 生成テキストをアンカーとした制約により、学習済みプロンプトがモダリティ固有の統計に収束するのを防ぎ、臨床意味論を維持。
3. FGW による構造整合: 最適輸送を用いて、低品質プロンプト多様体を高品質空間の幾何構造に強制的に一致させる新しいアプローチの提案。
4. SOTA パフォーマンス: 4 つの異なる医療画像クロスモーダルタスクにおいて、既存の最善の手法（BiomedCoOp など）を上回る性能を達成。

4. 実験結果 (Results)

4 つのクロスモーダルベンチマーク（皮膚病変：ダーモスコピー→臨床画像、乳がん：マンモグラフィー→超音波、胸部：CT→X 線）で評価されました。

• 平均性能:
  • 精度の調和平均 (Harmonic Mean of Accuracy): 44.1% (BiomedCoOp の 42.0% から改善)。
  • マクロ F1 スコアの調和平均: 36.2% (BiomedCoOp の 35.0% から改善)。
• 乳がんタスクにおける顕著な効果:
  • 従来の CoOp は高品質で 75.2% の精度を達成しましたが、低品質（超音波）では 27.0% まで急落（忘却）。
  • K-MaT は低品質タスクで 38.4% の精度を維持し、調和平均で 50.3% を達成しました。
• アブレーション研究:
  • CSC と MSC の組み合わせ、アンカー損失 ($L_{anc}$)、FGW 損失 ($L_{fgw}$) のすべてを組み合わせることで、ベースラインに対して調和平均 F1 で 13.75%、調和平均精度で 10.10% の相対改善が見られました。
  • t-SNE 可視化により、$L_{fgw}$ を導入することで、低品質の埋め込みが高品質のクラス構造を保持していることが確認されました。

5. 意義と結論 (Significance)

K-MaT は、医療 VLM（ビジョン・ランゲージモデル）のゼロショット・クロスモーダル展開に対する画期的なアプローチを示しています。

• 臨床的意義: 高価な高解像度画像（CT/MRI）で学習した診断知識を、安価で普及している低解像度画像（X 線/超音波）へ、追加の学習データなしで安全に転移させることを可能にします。これは、医療資源が限られた環境での AI 導入を促進します。
• 技術的意義: 「最適輸送」をプロンプト学習の多様体整合に応用することで、ドメインシフトに対する頑健性を飛躍的に向上させました。特に、視覚データなしで構造を転移させる手法は、医療 AI の転移学習における新たなパラダイムを提供します。

今後の課題として、モダリティ間の視覚的差異が極端に大きい場合の性能限界や、より信頼性の高い視覚シグナルの統合が挙げられていますが、K-MaT は医療画像におけるクロスモーダル転移の課題解決において大きな一歩を踏み出したと言えます。