技術要約: Mr3D-VL

問題提起

マルチパラメトリック磁気共鳴画像法（mpMRI）は、脳腫瘍の診断および治療における要石であるが、現在のAIモデルは臨床応用における決定的な限界に直面している。既存のソリューションは、主に以下の3つの課題に苦慮している：

1. 自然言語によるインタラクションの欠如： 臨床医は、腫瘍の空間的特性、モダリティ間の関連性、あるいは臨床的意義について、自然言語を通じて直接クエリを投げることができず、これが現在のモデルにおける手術計画やリスク評価の有用性を制限している。
2. モダリティと空間の複雑性： 異なるMRIモダリティ（例：T1、T2、DWI）は、組織特性の著しい違いを反映しており、モデルには個別の物理的な意味を理解することが求められる。さらに、異なる時間間隔でのスキャン間の患者の動きにより、空間的な不整合が生じることがしばしばある。
3. 既存の3D VLMの限界： ビジュアル・ランゲージ・モデル（VLM）は有望ではあるが、その多くはボリュームを連続的な2Dスライスとして扱うことで、2Dアーキテクチャを3Dデータに適応させている。このアプローチは、明示的な3D空間関係を無視し、体積の連続性を損ない、トークン数の指数関数的な増加を引き起こす。既存の3D VLM（例：CT用）は、mpMRIに求められる複数の画像モダリティ間の協調的な推論という特定の課題に対処できていないことが多い。加えて、高品質なマルチモーダル3D画像・テキストデータセットの不足が、教師あり学習を阻害している。

手法

著者らは、マルチパラメトリック3D MRI向けに特別に設計された、40億パラメータを持つ汎用ビジョン・ランゲージ基盤モデルであるMr3D-VLを導入する。そのアーキテクチャは、以下の3つのコアコンポーネントで構成されている：

1. モデルアーキテクチャ

• 共有3Dビジョンエンコーダ： モダリティ固有のエンコーダや2Dスライスベースの処理を用いる手法とは異なり、Mr3D-VLはMedNext（ConvNeXt3D、UpKern、および複合スケーリングを利用）に基づいた、モダリティに依存しない3Dビジュアルエンコーダを採用している。このエンコーダは、テキストラベルを必要としないDino-v2アーキテクチャを用いて教師なし学習で事前学習されており、モダリティ内の特徴とモダリティ間の差異の両方を捉えることを可能にしている。
• 4D回転位置エンコーディング（4D-RoPE）： ボリュームデータの空間的複雑性に対処するため、モデルは従来の positional encoding を4次元座標系へと拡張している：時間（モダリティ）、深さ（z軸）、幅（x軸）、高さ（y軸）。これにより、モデルはテキストトークンと3Dボリュームの特定の空間次元に対して個別の位置エンコーディングを割り当てることができ、モダリティ情報と空間的な局在化の二次元的な融合を促進する。
• 多解像度特徴注入（Multi-Resolution Feature Implantation）： DeepStackやUNetに着想を得て、モデルはビジュアルエンコーダのピラミッド構造から低・中・高解像度の特徴マップを抽出する。これらの特徴はVision Transformer (ViT) を介して融合され、LLMデコーダの中間層へと段階的に注入される。この戦略により、LLMはグローバルなコンテキストと微細な診断の詳細の両方に注意を向けることができる。
• LLMバックボーン： モデルは、連結されたテキストと投影された3Dビジュアル埋め込みを自己回帰的に処理するために、Qwen3-4B-Instructを言語バックボーンとして利用する。

2. データ生成パイプライン

マルチモーダル3D医療データセットの不足を克服するため、著者らはLLM駆動型データ生成パイプラインを開発した：

• レポート解析と拡張： 臨床レポートを解析して構造化された情報を抽出する。LLMは、論理的一貫性を高め、医学的知識を統合し、単一または複数のモダリティに対する多様な記述を生成するように、これらのレポートを書き換える。
• エキスパートによるグラウンディング： より小規模で専門的なモデルによるセグメンテーションおよび検出結果を統合し、病変や解剖学的領域に対する正確な空間的グラウンディング（バウンディングボックス）を提供する。
• 合成データセットの構築： パイプラインは、モダリティ記述、解剖学的領域記述、セグメンテーション/検出に基づく推論、および空間認知Q&Aペアの4種類のトレーニングデータを生成する。これにより、8つのモダリティをカバーする103,605ケース（460,541画像）のデータセットが構築される。

3. トレーニングパイプライン

トレーニングプロセスは、主に2つのステージに分かれている：

• 事前学習（Pre-training）： 単一モダルの短文アライメントから混合モダルの長文コンテキスト理解へと移行する3つのフェーズ（S0、S1、S2）で行われる。これには、モダリティ間のギャップを埋め、クロスモーダルな推論を学習するために、特定のコンポーネント（投影モジュール、エンコーダ、LLM）の凍結および解凍が含まれる。
• 事後学習（SFT）： ラジオグラフィ・レポート生成およびオープンエンド/多肢選択式質問回答を含む、約30万のサンプルを用いた目標指向の教師あり微調整を行う。

主な貢献

1. LLM駆動型データ生成： 臨床レポートを解析し、より小さなモデルからの推論を統合することで、多様で高品質なマルチモーダル画像・テキストデータセットを生成する新しいパイプラインであり、データの不足と意味的な不整合に対処する。
2. 共有エンコーダを用いた教師なし事前学習： すべてのモダリティで共有されるモダリティ非依存の3DエンコーダをDino-v2を介して事前学習することで、パラメータ数を削減しつつ、クロスモーダルな融合能力を高める。
3. 4D回転位置エンコーディング： 従来の3Dエンコーディングに「深さ」の次元を導入して4Dシステムを構築し、LLMのデコーディング空間内にモダリティと空間情報を統合する特化したエンコーディング戦略。
4. 多解像度特徴注入： 複数の解像度レベルの特徴をLLMのデコーダ層に注入する戦略であり、診断に関連する詳細を失うことなく、グローバルおよび詳細な特徴への協調的なアテンションを可能にする。

実験結果

Mr3D-VLは、放射線科レポート生成およびビジュアル質問応答（VQA）タスクにおいて、ドメイン特化型モデル（Hulu-Med, Lingshu）および汎用モデル（Qwen3.5シリーズ）と比較して評価された。

• レポート生成： Mr3D-VLは0.856のBERTScoreを達成し、Qwen3.5-4B（0.688）やHulu-Med（0.659）のような医学特化型モデルを大幅に上回った。また、METEOR（0.496）およびCIDEr（0.655）においても優れた性能を示した。
• 質問回答：
  • オープンエンド： 0.713の精度を達成し、既存モデルに対して約20%の向上を実現した。
  • 多肢選択式： 0.912の精度を達成し、既存モデルに対して約13%の向上を実現した。
• 効率性： 競合他社が7Bまたは35Bのパラメータを持つ中で、Mr3D-VLはわずか40億のパラメータでありながら、優れた計算効率を示した。5つのモダリティ入力時、Qwen3.5-4Bと比較してFLOPsを**96%削減し、Lingshu-7Bと比較してピークGPUメモリ使用量を93%**削減した。
• 堅牢性： 入力モダリティの数が増えるにつれて性能低下や意味的なノイズが生じた他のモデルとは異なり、Mr3D-VLは安定したBERTScoreとMETEOR指標を維持しており、堅牢なホリスティックな推論能力を示した。

意義と主張

本論文は、Mr3D-VLを、単純な検出から臨床的に解釈可能なインタラクションへの、mpMRIのインテリジェントな分析におけるパラダイムシフトとして位置づけている。自然言語によるクエリを可能にすることで、臨床医は診断に関する質問を直接投げ、解剖学的な局在、信号特性、および機能的パラメータを組み込んだ回答を受け取ることができる。

著者らは、この能力が診断および治療計画における臨床的意思決定の効率と精度を大幅に向上させると主張している。2Dスライスに伴う情報損失なしに、マルチモーダル3Dデータをネイティブに処理できる能力は、現在の医療AIにおける重要なギャップを埋めるものである。この研究は、ゲノムデータ、治療歴、およびマルチターン形式の臨床対話を統合できる将来のシステムの基礎を提供することで、「放射線学的診断」から「精密医療」への移行を促進することを目指している。