技術要約: PACT – 特権的合成とブランチ・コンセンサスによる多様な診断戦略の学習

1. 問題提起

臨床診断は、本質的に多ターンかつ不確実な対話であり、医師は不完全な情報の下で、複数の推論パラダイム（例：ステップ・バイ・ステップの仮説検証、並列的な鑑別診断、緊急度に基づく優先順位付け、あるいはエビデンスに基づく修正など）を柔軟に駆使する必要があります。大規模言語モデル（LLM）は強力な医学的知識を示していますが、既存の医療エージェントは、これらの多様な推論パラダイムを干渉させることなく同時に学習することに苦慮しています。

以下の2つの主要な課題が、堅牢な診断エージェントの開発を阻んでいます。

1. データ合成: 高品質で制御された診断対話を生成することは困難です。これは、医師と患者の間の「情報の非対称性」に起因します。合成システムは品質管理のために完全な電子カルテ（EMR）を必要としますが、シミュレートされた医師エージェントは、情報の漏洩や誘導尋問を防ぐために、隠された臨床的回答（最終診断や検査結果など）を見てはなりません。既存のデータセットは、制御された軌跡を欠いているか、制約のないロールプレイによってハルシネーション（幻覚）に陥ることがよくあります。
2. モデル訓練: 複数の推論パラダイムを単一のデプロイ可能なモデルに統合することは容易ではありません。単に教師あり微調整（SFT）のために対話を混合するだけでは、パラダイム固有の学習が曖昧になります。逆に、各パラダイムに対して個別のモデル（またはアダプタ）を訓練すると、「勾配の衝突（gradient conflict）」が発生し、独立して訓練されたブランチが互いに互換性のない方向に更新されるため、性能を低下させることなく単一のモデルにマージすることが困難になります。

2. 手法

著者らは、新しいデータ合成モジュールとコンセンサスベースの訓練戦略を組み合わせたフレームワークである PACT (Periodic Anchor Consensus Training) を提案しています。

A. DPS: Doctor-Patient-Supervisor Data Synthesis

データ合成の課題に対処するため、著者らは Learning Using Privileged Information (LUPI) に着想を得た蒸留ベースのモジュールである DPS を導入しています。

• 状態の分離: 各EMRは、患者に可視の情報 ($s_{vis}$: 主訴、症状) と、特権的な臨床情報 ($s_{priv}$: 隠された検査結果、ターゲットとなる診断) に分割されます。
• 役割分離型の生成: 医師エージェントは、蓄積された軌跡と $s_{vis}$ のみに基づいて質問を生成し、$s_{priv}$ は決して参照しません。患者エージェントは $s_{vis}$ に基づいて回答します。
• スーパーバイザーによる検証: 2つのスーパーバイザー（Doctor-Supervisor および Patient-Supervisor）が、完全なEMR ($s$) を利用して対話を検証します。彼らは、情報の漏洩、進行のペース、あるいは価値の高い質問の欠落といった問題を修正するために、「PASS-or-REWRITE（合格か書き直し）」チェックを実行します。これは回答全体を書き換えるのではなく、局所的な修正を行います。
• パラダイムの条件付け: このプロセスにより、以下の4つの異なる臨床推論パラダイムの下で検証された対話が生成されます。
  1. Serial (直列型): ステップ・バイ・ステップの仮説検証。
  2. Tree (木構造型): 鑑別診断のための競合する診断を維持する。
  3. Heap (ヒープ型): 緊急度と期待される情報価値によって質問の優先順位をつける。
  4. Feedback (フィードバック型): 回答する前に自己批判を行う。

B. PACT: Periodic Anchor Consensus Training

訓練の課題に対処するため、PACTはデータの混合や事後的なマージを避け、周期的な集約を通じて単一のデプロイ可能なモデルを訓練します。

• ブランチ訓練: モデルは、推論パラダイムごとに1つの LoRA Branch (アダプタ) を訓練します。
• アンカー正則化: デプロイ可能なコンセンサスとして、共有の Anchor ($\Delta_{anc}$) が維持されます。ローカル訓練中、各ブランチは、タスク損失と L1正則化項 ($\lambda \|\Delta^{(k)} - \Delta_{anc}\|_1$) からなる損失関数を最小化し、ブランチをアンカーに近づけます。
• 周期的な集約: $T^*$ エポックごとに、アンカーは sign-consensus (符号コンセンサス) マージプロセスを通じて更新されます。
  1. Trim (トリミング): 低振幅の更新（ノイズ）が除去されます。
  2. Elect (選出): 多数決により、全ブランチにわたる各パラメータ次元の符号が決定されます。
  3. Merge-Project (マージ・投影): 符号が一致する値のみが平均化され、その結果は低ランク構造を維持するために、切断されたSVD（特異値分解）を介してLoRAランクに投影されます。
• デプロイ: 訓練後、すべてのブッチアダプタは破棄されます。最終的なモデルは、ベースモデルと最終的なアンカーの単純な結合 ($M + \Delta_{anc}$) となり、推論時にアーキテクチャの変更やルーティングメカニズムを必要としません。

3. 主な貢献

1. DPSモジュール: 医師と患者の情報の非対称性を厳格に維持し、ラベルの漏洩を防ぎながら、検証済みのマルチパラダイム対話を合成するデータ構築手法。
2. PACTフレームワーク: パラダイム固有のLoRAブランチを学習し、それらを周期的に集約して単一のデプロイ可能なモデルへと統合することで、混合SFTによる干渉や独立訓練による不適合を回避するコンセンサスベースの訓練手法。
3. 動的ベンチマーク: 静的なシングルターンのQAではなく、インタラクティブなコンサルテーション能力（エビデンス収集、診断、および検査推奨）を評価するために設計された、新しい動的な中国語医療診断ベンチマークの導入。

4. 実験結果

著者らは、GPT-4oを搭載した患者シミュレータを用いた動的なマルチターンベンチマークにおいて、PACTを評価しました。

• パフォーマンス: PACT (Qwen3-8Bで訓練) は、Strict Diagnosis Accuracy (DA) 55.31% および Soft Score 76.16 を達成し、強力なゼロショットの商用ベースライン（GPT-4.1）や医療特化型LLM（例：Doctor-R1, HuatuoGPT-o1）を大幅に上回りました。
  • GPT-4.1と比較して、PACTはStrict DAを+18.61ポイント、Exam F1を+44.06ポイント向上させました。
  • Qwen3-8Bベースモデルと比較して、PACTはStrict DAを+22.78ポイント向上させました。
• アブレーション研究:
  • データ: 訓練データから4つの推論パラダイムのいずれかを削除すると、Exam F1が5〜6ポイント低下しました。これは、各パラダイムが相補的な監督を提供していることを示しています。
  • 訓練: PACTは、Mixed-SFT、Sequential Curriculum、および様々な事後マージ技術（TIES, DARE-TIES）よりも優れた性能を示しました。特に、標準的な事後マージ（TIES）は性能を著しく低下させた（Strict DA 40.41%）ため、訓練中の周期的な集約の必要性が検証されました。
• 汎用性: このアプローチは、Llama3.1-8BおよびMinistral-3-8Bにおけるクロスアーキテクチャの汎用性を示し、英語に翻訳された設定への転移性も示しました。

5. 意義と主張

本論文は、PACTが医療AIにおけるデータの非対称性とパラダイム干渉という二重の課題を解決したと主張しています。

• 効率性: 複雑なルーティングや複数のモデルを必要とする手法とは異なり、PACTは追加の推論オーバーヘッドなしで標準的な単一LoRAモデルを生成します。
• 有効性: 多様な臨床推論戦略を明示的にモデル化し、訓練中にコンセンサスを強制することで、PACTはインタラクティブな診断シナリオにおいて、汎用モデルおよび特化型医療LLMの両方を凌駕する最先端の性能を達成しています。
• 拡張性: 本フレームワークは、医療ドメインにおけるマルチタスク学習に典型的な「破滅的忘却」や「勾配の衝突」を起こすことなく、多様な診断戦略が単一のモデル内で学習可能であることを示しています。

著者らは、症状の収集（ここではGPT-4.1がわずかに優れていた）も重要であるが、マルチパラダイム・コンセンサス訓練を通じて獲得された構造化された診断推論こそが、優れた診断精度と検査推奨の質を駆動する決定的な要因であると強調しています。