技術概要：Rad-VLSM

問題定義

医用画像セグメンテーションは、単に病変マスクを生成するのではなく、診断を直接支援する際に最も臨床的価値を発揮します。しかし、既存のモデルは、特に超音波画像において、現実の臨床ワークフローにおいて重大な課題に直面しています。病変は微細で局所的であり、境界が不明瞭、コントラストが低く、音響アーティファクト（例えば、スぺックルノイズ、シャドウ）を伴うことが多いためです。その結果、画像全体の表現に依存するモデルは背景組織に注意が逸れ、病変固有の識別手がかりが希薄化します。

さらに、SAM（Segment Anything Model）のようなプロンプト可能なセグメンテーションモデルは有望ですが、その効果は入力プロンプトの品質に大きく依存します。手動プロンプトはコストが高く、自動生成されたプロンプトは複雑な背景において不安定になり得ます。加えて、意味的なテキスト記述を単に診断分類器に直接注入すると、「ショートカット学習」を招く可能性があります。これは、モデルが病変の形態やテクスチャの根拠ある視覚的証拠ではなく、テキストの相関に依存してしまう現象です。病変の局所化、セグメンテーション、診断を統合しつつ、最終的な診断が生々しいテキストではなく、空間的および放射線学的証拠に基づいていることを保証する統合フレームワークの必要性があります。

手法：Rad-VLSM

著者は、意味支援による病変焦点化、頑健なセグメンテーション、視覚的根拠に基づく診断のために設計された 2 段階のクロスモーダルフレームワークであるRad-VLSMを提案します。

段階 I：言語支援による病変局所化と自動プロンプト生成

この段階では、推論時に手動注釈なしで候補となるバウンディングボックスプロンプトを自動生成するために、BLIP-2 ベースの視覚 - 言語アライメントモジュールを利用します。

• 非対称プロンプティング戦略：訓練中は、詳細な BI-RADS 形態記述（形状、縁など）を使用して視覚パターンとテキストをアライメントします。推論時には、単一の固定プロンプト（例：「乳房超音波：異常病変領域」）を普遍的に使用します。これにより、モデルがクラス固有の言語ショートカットに依存することを防ぎ、予測を視覚的証拠に基づけるようにします。
• 多閾値 CAM：モデルは、テキスト整合視覚特徴からのクラス活性化マップ（CAM）を介して確率ヒートマップを生成します。候補バウンディングボックスは複数の閾値で抽出され、信頼度でランク付けされ、交差率（IoU）を通じて重複除去されます。
• 多候補領域集約（MCRA）：単一ボックスプロンプトの不安定性に対処するため、著者は 3 段階の集約戦略を導入します：
  1. 重み付きソフト融合（V1）：CAM 応答スコアを正規化し、複数の候補からのマスク、ログit、および埋め込みを融合します。
  2. 意味支援フィルタリング（V2）：局所領域埋め込みとグローバルテキスト特徴間のコサイン類似度を使用して候補を再スコアリングし、意味的アライメントを欠くアーティファクト（音響シャドウなど）を抑制します。
  3. 自己蒸留一貫性（V3）：高信頼度候補が「教師」として機能し、低信頼度の「生徒」予測を導き修正する正則化メカニズムであり、ノイズのあるプロンプトに対する訓練を安定させます。

段階 II：SAM ベースのマルチタスクセグメンテーションと分類

段階 I で洗練されたプロンプトが、SAM ベースのマルチタスクネットワークに入力されます。

• セグメンテーション：SAM の画像エンコーダとプロンプトエンコーダが協力して、正確な病変マスクを出力します。
• 診断のための視覚 - 放射線学融合：診断を孤立したタスクとして扱うのではなく、予測されたマスクを空間的事前分布として利用します。
  • マルチスケール特徴集約：Squeeze-and-Excitation（SE）メカニズムと適応型アトラス空間ピラミッドプーリング（ASPP）が、多様な幾何学的コンテキストを捕捉します。
  • マルチプーリング分類器：病変コア、バウンディングボックス近傍、およびグローバルコンテキストから特徴を抽出する専用プーリング戦略が、分類のために連結されます。
  • 双枝決定融合：解釈可能性を高めるため、並列の放射線学ヘッドが 500 以上の放射線学的特徴（形態、1 次、テクスチャ）を抽出します。カスケード選択戦略（mRMR および LASSO）により、これらは 63 の識別特徴に削減されます。最終診断は、深層視覚分類出力と明示的放射線学出力の相乗的融合です。

主要な貢献

1. Rad-VLSM フレームワーク：BLIP-2 を活用して病変局所化とボックスプロンプト生成を自動化し、推論中の手動プロンプト注釈の必要性を排除する、意味支援の視覚 - 言語フレームワーク。
2. MCRA 戦略：プロンプトの変化や粗い局所化誤差下での病変証拠の安定性を向上させる新規の多候補領域集約メカニズムであり、統合診断の頑健性を強化します。
3. 病変根拠に基づく診断：暗黙的視覚表現と明示的放射線学的特徴を統合する方式。意味的事前分布を局所化のみに使用し、最終診断を病変レベルの視覚的および放射線学的証拠に集中させることで、モデルは意味的ショートカット学習を回避します。
4. 包括的評価：プライベートな臨床乳房超音波データセットおよび複数の公開ベンチマーク（ISIC、BUSI、結腸ポリープ、MRI 脳腫瘍）における厳密な評価により、強力な汎化性能を実証しました。

実験結果

このフレームワークは、559 枚の乳房超音波画像（癌対硬化性腺症）のプライベートデータセットおよびいくつかの公開ベンチマークで評価されました。

• セグメンテーション性能：臨床乳房超音波データセットにおいて、Rad-VLSM はmDSC 0.9217およびmIoU 0.8579を達成し、MedCLIP-SAMv2（mDSC 0.8865）や BoxShrink（mDSC 0.8735）などの最先端ベースラインを上回りました。また、ISIC 2018（mDSC 0.9331）および MRI 脳腫瘍データセットでもトップの性能を達成しました。
• 診断性能：乳房超音波データセットにおける二値分類において、Rad-VLSM は94.07% の精度および97.55% の AUCを達成し、最も強力なベースライン（MIAFEx）を精度で 11.77%、AUC で 9.73% 大幅に上回りました。また、98.41% の感度と89.09% の特異度を備えたバランスの取れたプロファイルを維持しました。
• アブレーション研究：
  • 放射線学ブランチを削除すると、感度は 98.41% から 88.89% に低下し、偽陰性を軽減するその役割を浮き彫りにしました。
  • MCRA 戦略（V1+V2+V3）は、単一プロンプトまたは正解ボックスを使用する場合よりも下流の診断において優れており、重要な病変周囲コンテキストを保持することが示されました。
  • このフレームワークは、ランダムなまたは不一致な意味プロンプトに対して頑健であることを示し、診断が直接テキスト条件付けではなく、視覚的/放射線学的証拠に基づいていることを確認しました。
• 解釈可能性：SHAP 分析により、テクスチャベースの放射線学的特徴（例：wavelet-H glcm Idmn）が悪性予測の主要な駆動因子であることが明らかになりました。相関分析により、深層視覚特徴と放射線学的特徴は冗長ではなく相補的であることが示されました。

意義

本論文は、Rad-VLSM が医用画像における孤立したセグメンテーションと信頼性の高い診断の間の重要なギャップに対処していると主張しています。証拠駆動型パイプラインを確立することで、このフレームワークは病変根拠に基づく証拠を通じてセグメンテーションと診断を成功裡に結合します。手動プロンプト注釈への依存を減らし、MCRA 戦略を通じて不完全なプロンプト生成の影響を軽減し、深層学習と放射線学を融合させることで微細な病変特徴付けを改善します。著者は、このアプローチが既存の多段階または共有バックボーン手法よりも透明性が高く臨床的に意味のある代替手段を提供し、高精度かつ解釈可能な統合ソリューションを提供すると主張しています。