技術概要：MDIA - HealthBench Professional 上のマルチエージェント診断インテリジェンスパイプライン

問題定義

本論文は、OpenAI のHealthBench Professionalベンチマークを用いた、臨床環境における大規模言語モデル（LLM）の評価という課題に取り組んでいる。このベンチマークは、実際の臨床医との対話から導き出された、525 の評価基準付きケースで構成され、敵対的かつ多ターン形式に設計されている。

著者は、現在の文献における 2 つの主要なギャップを特定している：

1. アーキテクチャ対プロンプトエンジニアリング：エージェント型 LLM ベンチマークで報告される多くの成果がプロンプトエンジニアリングに起因するとされる中、著者は、アーキテクチャおよびエンジンレベルの設計を通じて大幅な改善が達成可能であると仮説を立てている。
2. 評価手法：先行研究は、ベンチマークの多ターン対話構造が標準的な評価ハーネス設計とどのように相互作用するかを十分に検討していない。具体的には、「simple-evals」のデフォルト戦略は、会話履歴を最後のユーザーメッセージに平坦化し、フォローアップターンからの文脈（ベンチマークケースの 22% を構成する）を静かに破棄している。

手法：MDIA アーキテクチャ

著者は、TietAI Hydra プラットフォーム上で実行される調整された 7 ノードの非巡回グラフ（DAG）である**MDIA（Multi-agent Diagnostic Intelligence Agent）**を提示する。このシステムは、微調整されていない汎用 LLM（推論用 Gemini 3.1 Pro）上で動作し、14 種類の医療ツールのスイートを利用する。

グラフ構造は、以下のノードで構成される：

1. Intake Orchestrator（受入オーケストレーター）：PubMed、DailyMed、UMLS、ICD-10、およびサイトフィルター付き Web 検索などのツールを用いて構造化された臨床ドossierを収集するツール呼び出し型研究エージェントである。これは多ターン対応であり、会話履歴を保持する。
2. Router（スペシャリティ分類器）：ドossierを分析し、タスクを 3 つのドメイン専門家推論器（消化器内科、眼科、神経内科）のいずれか、または一般論理経路へ分岐させる。
3. Specialty Reasoners（専門推論器）：3 つの専門エージェント（消化器、眼科、神経）であり、グロースキー・ブラットフォード、NIHSS、東京ガイドラインなどのキュレーションされたアンカー知識を備えている。
4. Generalist Reasoner（一般論理器）：3 つの専門家によってカバーされていない「ロングテール」の専門分野を処理する。
5. Output Synthesizer（出力合成器）：推論器の要約を、長さ制約（目標 2000〜3000 文字、ハードキャップ 4000 文字）付きのユーザー向け応答に変換する。
6. Verifier（検証器）：最終的な安全性と形式チェックを行う。
7. Drug-State Safety Gate（薬物状態安全性ゲート）：コンテンツ生成前の必須チェックであり、危険な薬物 - 患者状態の組み合わせ（例：発熱時のロペラミド）に対して拒否または警告を発する一方、教育的文脈を除外して過剰な拒否を防ぐ。

主要なエンジニアリング介入：

• 多ターン処理：評価ハーネスを、最後のユーザーメッセージ（last_user）だけでなく、完全な会話履歴（multiturn 戦略）を渡すように変更した。
• エンジンの信頼性：JSON コードフェンスの除去、空出力の再試行、モデルごとのロケーションオーバーライドの実装など、安定した実行を確保するための修正を行った。
• 検索の衛生：ノイズを低減するため、PubMed、NICE、UpToDate などの権威ある医療ソースへのサイトフィルター付きクエリを実装した。
• 長さガイダンス：ベンチマークの長さペナルティに対処するため、臨床アンカーを落とさずに冗長性を削減するための明示的な制約を設けた。

主要な結果

本論文は、OpenAI の GPT-5.4-2026-03-05 と Google の Gemini 2.5 Pro の 2 つの異なる評価者を用いて、完全な HealthBench Professional データセット（$n=525$）における結果を報告している。

GPT-5.4 評価者下でのパフォーマンス：

• MDIA v1.0.53：0.6272 のスコアを達成。
• 比較：
  • OpenAI の「ChatGPT for Clinicians」（0.590）に対して**+3.72 pp**（ポイント）。著者は、この差がブートストラップ標準偏差（$\sigma \approx 0.023$）の範囲内であり、決定的というよりは方向性を示すものとみなすべきであると指摘している。
  • GPT-5.4 シングルエージェントベースライン（0.481）に対して**+14.62 pp**。
  • 医師による回答（0.437）に対して**+19.02 pp**。

Gemini 2.5 Pro 評価者下でのパフォーマンス：

• MDIA v1.0.53：0.6585 のスコアを達成（v1.0.50 は 0.6771）。
• 観察：評価者の選択が大きな変動をもたらす。例えば、長さガイダンス介入（v1.0.53）は GPT-5.4 評価者によるスコアを向上させたが、Gemini 評価者によるスコアはわずかに低下し、異なる評価者が簡潔さと詳述をどのように重み付けるかが異なることを示唆している。

特定介入の影響：

• 多ターン文脈：last_user から multiturn 平坦化への切り替えにより、スコアは（Pro 評価者で）+5.0 pp、（GPT-5.4 評価者で）+6.3 pp 増加した。この上昇は、フォローアップターンを持つ 22% のケースから完全に生じたものである。
• エンジンの信頼性：実行エンジンの修正により、インフラの不安定性によって以前失われていた約3〜4 ppが回復した（空応答率を 3.8% から 0.2% に削減）。
• 専門分岐：特定の推論器（消化器、眼科、神経）への分岐は、一般論理器のみのアプローチに対して**+3.1 pp**の上昇をもたらした。

意義と主張

本論文は、4 つの主要な貢献をなしている：

1. アーキテクチャの優位性：汎用・非微調整 LLM 上のマルチエージェントパイプラインが、同一評価者下で、プロプライエタリなドメイン特化モデル（ChatGPT for Clinicians）を上回ることを実証している。著者はこれをモデルの微調整ではなく、システムアーキテクチャ（専門分岐、安全性ゲート、多ターン文脈）に起因すると帰属させている。
2. 評価の欠陥の特定：評価ハーネスにおける標準的な「最後のユーザーメッセージ」平坦化戦略は、文脈認識型エージェントのパフォーマンスを約6 パーセントポイント過小評価していることを強調している。すべての将来の HealthBench Professional 報告は、平坦化戦略を開示すべきであると主張している。
3. エンジニアリングの堅牢性：エンジンレベルの信頼性（空出力の処理、JSON パース、ロケーションオーバーライド）は、3〜4 pp のパフォーマンス変動を説明し得る、しばしば見過ごされる重要な要因であることを文書化している。
4. 評価者の変動性：本研究は、LLM-as-a-judge 評価が評価者の選択に敏感であることを再確認している。著者は、公平性を確保しバイアスを低減するためには、複数の独立した評価者モデルによる評価が必要であると主張している。

限界と留保事項：

• 著者は明示的に、ChatGPT for Clinicians に対する 3.72 pp の差は統計的ノイズの範囲内であり、OpenAI は自システムの信頼区間を公開していないと述べている。
• OpenAI 自身の評価ハーネスに関するドキュメント（特に多ターン文脈を使用していたかどうか）の欠如により、比較が複雑化している。
• 結果は、ベンチマーク発行元（OpenAI）がモデルベンダーでもあることを認めつつ、システム能力の技術的指標として提示され、決定的な臨床的検証とはみなされていない。

本論文は、エージェント型臨床ベンチマークのパフォーマンスは、基盤モデルとオーケストレーションアーキテクチャの両方によって形成されるものであり、将来のベンチマークは評価ハーネスの透明性とマルチ評価者検証を優先すべきであると結論付けている。