技術要約：AI Consilium – LLMによる臨床多職種セカンドオピニオンのベンチマーク

問題提起

大規模言語モデル（LLM）は、複雑な臨床症例に対して鑑別診断を生成する能力を示しているが、高品質な臨床的セカンドオピニオンには、単なる診断の正確性以上のものが求められる。それは、事実に基づき、臨床的に一貫しており、実行可能であり、かつ安全でなければならない。既存の評価は、多くの場合、診断の一致度のみに依存しているか、あるいはマルチエージェント・システムを単一の「ブラックボックス」として扱っており、モデルのアイデンティティ、応答構造（自由形式 vs 構造化）、および合成プロセス自体の具体的な寄与を分離できていない。さらに、多職種による審議が本質的に結果を向上させるという仮定は、計算量的に一致させたベースラインや、隔離された役割固有の意見と比較した場合の厳密な実証的検証が欠けている。したがって、独立した役割ごとの分析から多職種による合成に至るまで、臨床的セカンドオピニオンの全軌跡を評価し、推論の質、最終的な結論、および管理計画を区別できるベンチマークが必要である。

方法論

著者らは、NEJM–MedQAデータセット（マサチューセッツ総合病院の症例記録）から得られた300の診断解決済み臨床症例を用いて、ベンチマークを開発した。研究デザインは、3段階の生成パイプラインと多次元的な評価フレームワークで構成されている。

1. データおよびパイプライン設計

• データセット: 300のユニークな症例を、医師によるアノテーションおよびLLM Judgeの較正用に110症例、保持された評価用に190症例に分割した。
• 生成パイプライン:
  • 役割の割り当て: 各症例に対し、1〜5つの臨床的役割（例：放射線科、内分泌科）を割り当て、そのうち1つを主担当とする。
  • Pre-Consilium（コンシリアム前）ステージ: 各役割は、2つの条件下で独立したセカンドオピニオンを生成する：自由形式（記述式）および構造化形式（症候群、メカニズム、管理などの特定のセクションを持つスキーマ制約付き）。
  • Interactive Consilium（対話型コンシリアム）ステージ: 役割固有の意見を統合するための対話型プロトコル。役割は共有レポートを反復的にレビューし（最大5ラウンド）、批判を伴う「イエス」または「ノー」の投票を行う。モデレーターが異議を解決し、ファイナライザーが統合された症例レベルのレポートを作成する。
• モデル: 保持されたテストセットに対して、8つの異なるシングルモデル・パイプラインを評価した（DeepSeek-V4-Pro, Gemma-4-31B, GLM-5.2, GPT-5.6-Sol, GPT-OSS-120B, Qwen3.5-27B, Qwen3-235B, Qwen3-Next-80B）。較正セットでは、3+1の手順を用い、3つのワーカーモデルが意見を生成し、4つ目のモデル（GLM-5.2）がそれらを合成した。

2. 評価フレームワーク

• 医師によるリファレンス: 異なる専門分野にわたる6名の医師が、以下の8つの応答品質基準に基づき、0〜3のスケールで出力を評価した：
  1. 事実の正確性とソースへの根拠付け
  2. 臨床的問題の特定と優先順位付け
  3. データの完全性と関連性
  4. 臨床的推論の一貫性
  5. 鑑別診断の質
  6. 最終的な臨床的結論の質
  7. 管理の正当性と具体性
  8. 臨床的安全
  • 特別ルール: 臨床的に重要な事実の捏造があった場合、事実の根拠付けのスコアは0となり、関連する基準は最大1に制限される。
• 自動Judge: 医師によって較正されたLLM Judge（GPT-OSS-120B）を使用し、各基準に対して医師の評価に対する平均絶対誤差（MAE）を最小化するように進化アルゴリズム（GigaEvo）を用いて最適化した。
• 指標: モデルのアイデンティティ、応答形式、合成ステージの寄与、審議ダイナミクス（合意ラウンド）、および推論コスト（トークン使用量）を分析する。

主な貢献

1. デュアルチェックポイント・ベンチマーク: 同一の症例に対して、スタンドアロンの役割固有の意見と、最終的な多職種による合成結果を、それぞれ独立した臨床的成果物として評価する最初のベンチマークであり、これにより合成の価値を分離することが可能となった。
2. 多次元的品質フレームワーク: 単なる診断の一致度を超え、事実の根拠付け、推論、管理、および安全性を分離した、医師が開発したルーブリック。
3. 制御された比較: モデルのアイデンティティ、応答構造、および合成ステージを独立して変化させることで、計算量の多いマルチエージェント間の相互作用とシングルモデルのベースラインを比較し、それらの影響を分離する設計。
4. 較正されたJudgeシステム: 特定の次元について医師の評価に対して検証された、オープンエンドな臨床的セカンドオピニオンのスケール可能な評価を提供する、基準別の較正済みLLM Judge。

結果

• モデル・アイデンティティの支配性: モデルのアイデンティティは、レポートの品質における最も強力な予測因子であった。GPT-5.6-Solは、自由形式および構造化形式の両方において、すべての評価コンポーネント（役割の推論、役割の意見、および最終的な結論）でリードした。最良のモデルと最悪のモデルの間の性能差（約0.4〜0.5ポイント）は、単一モデル内での応答形式による差を大幅に上回った。
• 合成の価値: 完全な構造化合成は、すべての共有基準において、Pre-Consiliumの主担当による意見よりも高いプールされたJudgeスコアを達成した。最大の改善が見られたのは問題の優先順位付け、事実の根拠付け、および推論の一貫性であり、これは合成ステージが、バラバラの視点をより整理された臨床的説明へと効果的に統合していることを示している。
• 構造の影響: 構造化された最終レポートは、8つのモデルパイプラインのうち7つにおいて、自由形式のレポートよりも高い全体平均を示した。この優位性は主に管理（2.740 対 2.436）の有意な向上によって駆動されており、これは構造化プロンプティングが、すべての臨床的次元を一様に改善するのではなく、実行可能性と計画性を高めることを示唆している。
• 審議ダイナミクス: 対話型プロトコルは97.8%の症例で合意に達した。しかし、レビューの軌跡（ラウンド数）が長くなることは、最終スコアの向上とは相関しなかった。GPT-5.6-Solは、最も少ないレビューラウンド（平均〜1.2ラウンド）で最高の品質スコアを達成しており、強力な初期性能と迅速な収束の組み合わせが、長期的な審議よりも効果的であることを示している。
• 推論コスト: 構造化パイプラインは、自由形式のパイプラインよりも大幅に多くのトークン（1症例あたり約26.5kトークンの追加）を必要とし、管理の質のわずかな向上と計算コストの間のトレードオフを浮き彫りにした。

意義と主張

本論文は、AI Consiliumベンチマークが、診断の正確性だけでは捉えきれない臨床的セカンドオピニオンのニュアンスを正常に捉えていると主張している。それは以下を実証している：

1. 多職種による合成は価値を生む: 役割固有の意見を集約し修正するプロセスは、孤立した情報を、より高品質で統合されたセカンドオピニオン（特に優先順位付けと一貫性において）へと変容させる。
2. モデルの選択が極めて重要である: 基盤となるLLMのアイデンティティは、特定の応答形式や審議プロトコルの複雑さよりも、臨床的セカンドオピニオンの品質を決定する上でより重要な要因である。
3. 構造は実行可能性を助ける: 構造化プロンプティングは、管理計画の質を具体的に向上させ、出力をより実行可能なものにするが、これには推論コストの増加が伴う。
4. 収束の効率性: 高品質なモデルは合意に迅速に達することができ、これは過度な審議ラウンドが必ずしもより良い臨床結果をもたらすわけではないことを示唆している。

著者らは、本ベンチマークが将来のモデルや合成戦略を比較するための包括的な枠組みを提供する一方で、実際の臨床医の意思決定や患者のアウトカムに与える影響を確立するためには、前向きな研究が依然として必要であると結論付けている。本研究は、診断の正確性を唯一のプロキシ（代理指標）とするのではなく、臨床的品質、手順の収束、および推論コストを補完的なアウトカムとして評価することを強調している。