技術概要：Fully Open Meditron — 臨床用 LLM の監査可能パイプライン

問題提起

現在の大規模言語モデル（LLM）に基づく臨床意思決定支援システム（LLM-CDSS）は、根本的な透明性の欠如に悩まされています。多くの「オープン」な医療モデルが重みを公開している一方で、モデルの振る舞いを決定づけるデータの出所、キュレーション手順、生成パイプラインを秘匿しています。この不透明性により、モデルがガイドラインに基づいた証拠、ベンチマークの人工物、あるいは合成された幻覚から学習したかどうかを厳密に監査することが妨げられています。さらに、標準的な医療ベンチマークはしばしば飽和状態にあり、性能向上が真の臨床能力ではなく、データ汚染や暗記を反映している可能性があります。トレーニングスタックをエンドツーエンドで完全に公開する既存の「フルオープン（FO）」モデルは、医療分野には現在存在せず、監査可能な AI への必要性と不透明な適応パイプラインの現実との間にギャップが存在します。

手法

著者らは、FO 基盤モデルを医療専門家へ適応させる最初のフルオープンパイプラインであるFully Open Meditronを導入します。手法は以下の 3 つの中核コンポーネントで構成されます。

1. Fully Open Meditron コーパス

コーパスは、公開医療データセットにおける分布のギャップ（救急医療、命に関わる症例、低リソース環境の過小評価など）を埋めるために構築されました。

• 集約: 8 つの公開医療 QA データセット（MedQA, MedMCQA, PubMedQA, MedExpQA, HealthSearchQA, LiveQA, AfriMed-QA v1/v2）を、段階的な根拠を含む正規化された会話形式に統一しました。
• 合成拡張: カバレッジを拡大するため、著者らはGPT-OSS-120Bを用いて 3 つの合成コンポーネントを生成し、4 人の医師からなるパネルによって検証しました。
  • Synthetic Curated QA: 選定されたプールからシードされた、問題タイプ別に層化された新規試験形式の QA ペア。
  • Guidelines QA: 16 のグローバル機関からの 46,469 件の臨床実践ガイドラインに基づいた QA ペア。
  • Synthetic MOOVE: 複雑な診断推論を誘発するために、MOOVE トレーニングスプリットからシードされたオープンエンドの臨床症例。
• 品質管理: パイプラインは、評価ベンチマークとの重複を排除するために、Apertus から適応された 2 段階の n-gram およびトークンアライメントパイプラインを用いたシステム全体の汚染除去を強制します。合成ターゲットは、幻覚を軽減するためにゴールドラベル拒否サンプリング（T=0.7 で最大 8 倍）を受けます。

2. トレーニングフレームワーク

このレシピは、5 つのフルオープン基盤モデルに適用されます。Apertus-70B/8B-Instruct、OLMo-2-32B-SFT、EuroLLM-22B/9B-Instruct、および 1 つのオープンウェイト制御モデルであるGemma-3-27B-ITです。

• モデルは、Fully Open Meditron コーパスを用いた教師あり微調整（SFT）によって適応されます。
• トレーニングは、各基盤モデルのネイティブなインストラクションチューニング形式を保持します。
• インフラは、Flash Attention 2 と混合精度トレーニングを備えた NVIDIA GH200 ノードを利用します。

3. 評価プロトコル

著者らは、オープンエンドの臨床推論を捉えるために、標準的な多肢選択問題（MCQ）を超えて進みました。

• 構造化ベンチマーク: MedQA, MedMCQA, PubMedQA、および OOD 確認用のホールドアウト MedXpertQA での評価。
• オープンエンド評価:
  • HealthBench: 医師が作成した評価基準を用いて、オープンエンドの回答をスコアリングします。
  • Auto-MOOVE: 臨床症例に対するペアワイズ比較を行う、Qwen3-235B-A22Bを用いた自動化された「LLM によるジャッジ」プロトコル（204 人の人間の評価者に対して検証済み）。これは、質問の理解、論理的推論、関連性、無害性、公平性、文脈認識、コミュニケーション、明確さ、ガイドラインの整合性という 9 つの基準を評価します。

主要な貢献

1. フルオープン医療適応フレームワーク: コーパス構築、合成生成、汚染除去、トレーニング、評価にわたる再現可能なエンドツーエンドパイプライン。
2. 臨床医監査済み知識コーパス: 公開 QA と合成拡張を統合したデータセットで、救急医療（15.0% $\to$ 38.7%）と命に関わる重症度（8.6% $\to$ 31.8%）のカバレッジを大幅にシフト。
3. 自動化されたオープンエンド評価プロトコル: 人間の評価者間的一致性に対して検証された Auto-MOOVE フレームワークにより、多次元の臨床推論を評価。
4. フルオープン医療専門家のファミリー: 競争力のある医療専門化が FO 制約下で達成可能であることを示す 5 つの新しいモデル。

結果

• ベンチマーク性能: 全ての MeditronFO 変種は、それぞれの基盤モデルを上回ります。Apertus-70B-MeditronFOは、フルオープンモデルにおける新しい最先端（SoTA）を確立し、医療ベンチマークの集計スコアを 47.2% から53.8%（+6.6 ポイント）に向上させました。
• プロプライエタリ/オープンウェイトモデルとの比較:
  • Apertus-70B-MeditronFO は MedGemma-27B との差を縮小しましたが（60.67% vs 53.77%）、依然として最も強力なフルオープンシステムです。
  • Gemma-3-27B-MeditronFOは、プロプライエタリなMedGemmaよりも、**58.6%**の Auto-MOOVE ペアワイズ比較で好まれ、HealthBench でも上回っています（58.0% vs 55.9%）。
• オープンエンド評価: 全ての MeditronFO 変種は、ペアワイズ評価において基盤モデルよりも好まれています（勝率 67.2% から 92%）。改善は 9 つの臨床基準すべてで一貫しており、単一の次元に限定されません。
• アブレーション研究: 特定のコーパスコンポーネントを除去するとトレードオフが明らかになります。「Guidelines QA」を除去すると MCQA 精度がわずかに向上しましたが、オープンエンドの選好は変化しませんでした。一方、「Curated QA」を除去するとオープンエンドの品質が大幅に低下し、試験形式の監督がより広範な臨床推論に寄与していることを示しています。

意義と主張

本論文は、Fully Open Meditronが、監査可能性や再現性を犠牲にすることなく、フルオープンパイプラインが最先端のドメイン固有性能を達成し得ることを実証していると主張しています。著者らは、オープンモデルとクローズドモデルの間の性能差は、オープンモデルの固有の限界ではなく、コーパス構築の結果であると論じています。透明性があり臨床医によって監査されたパイプラインを提供することで、この研究は厳密な検証を可能にし、医療 AI における「不透明性」の問題に対処します。結果は、規律あるデータキュレーションとオープンエンド評価を通じて臨床的に競争力のある専門化が達成可能であることを示唆しており、将来のフルオープン医療モデルのための再利用可能な基盤を提供します。

著者らは限界に関して謙虚であり、汚染除去が意味論的ではなく構文論的であること、合成データがコーパスの約 64% を占めていること（監査はサンプリングされた QA ペアに限定される）、そして単一の教師/ジャッジ設定がスタイルバイアスを導入する可能性があることを指摘しています。彼らは、コーパスのオープン性がリスクに対する部分的な緩和（監査を可能にする）であると同時に、部分的な増幅（監査しない当事者による再現性）でもあることを強調しています。