Are LLMs Ready to Assist Physicians? PhysAssistBench for Interactive Doctor-Patient-EHR Assistance

本論文は、実際のMIMIC-IV症例から構築された新しいベンチマークであるPhysAssistBenchを紹介するものであり、これは、対話的な医師と患者のシナリオにおいて、大規模言語モデルが臨床知識、患者とのコミュニケーション、およびEHRツールの使用を調整する能力を評価するものであり、個々の能力における単独の改善にもかかわらず、現在のモデルはこのような統合的な医師支援においては依然として信頼性に欠けることを明らかにしている。

要約

ビッグアイデア：「スーパー・インターン」テスト

想像してみてください。ある病院で、医師たちが忙しさに追われています。彼らは、自分たちの助けとなる「スーパー・インターン（AI）」を雇いたいと考えています。このインターンには、同時に3つのことをこなす能力が求められます。

1. 患者のカルテ（電子健康記録：EHR）を瞬時に読み取ること。
2. 患者と対話し、詳細な状況を聞き出すこと。
3. 忙しくて省略語をよく使う医師の指示を聞き取ること。

この論文は、現在のAIは医学試験（教科書を暗記する学生のようなもの）には長けているものの、医師の助手という、現実世界の泥臭い仕事をこなせるかどうかはまだ分かっていない、と主張しています。そこで著者たちは、PhysAssistBenchと呼ばれる、非常に難易度の高い新しいテストを作り上げました。

問題点：「教科書」vs「現実世界」

現在のAIテストは、例えば、完璧に置かれたコーンがある空の駐車場で、車を駐車するだけの運転試験のようなものです。AIはそこで満点を取ります。

しかし、現実の世界は空の駐車場ではありません。ラッシュアワーの渋滞です。

• 医師： 「血圧をチェックしてください」と言う代わりに、「血圧は？」と言ったり、あるいは単に「血圧？」とだけ言ったりすることがあります（これは暗黙的なクエリと呼ばれます）。
• 患者： 「血圧が高いです」と言う代わりに、「頭が風船みたいに膨らんでいる感じがするし、靴下が足首に深く跡を残すんです」と言うかもしれません（これは曖昧なコミュニケーションです）。
• システム： 病院のコンピュータは、特定のデジタルな「鍵（ツール）」を使って正確に指示を出さないと、データを表示してくれません。

論文によれば、現在のAIモデルはこれら3つが混ざり合ったときに失敗します。彼らは渋滞の中で迷子になってしまうのです。

解決策：「ビデオゲーム」病院

AIを適切にテストするために、研究者たちはMIMIC-IVと呼ばれるデータベースから得られた、匿名化された実際の患者データを使用して、リアルなシミュレーション環境を構築しました。

彼らは単に質問を作成したのではなく、3人のキャラクターが登場するビデオゲーム環境を作り上げました。

1. 忙しい医師： 実際の医療事例に基づいた、短く曖昧な質問をするAI。
2. 「エージェント的」な患者： 本物の人間のように振る舞うコンピュータ・キャラクター。医療記録を持っていますが、性格も持っています。症状を言い忘れたり、スラングを使って表現したりすることもあります。彼らは、作り話ではなく、自身の実際の病歴のみに基づいて回答します。
3. 病院のコンピュータ： 正確なデジタルな「鍵（ツール）」を使って要求しない限り、データを決して渡さない厳格なシステム。

テストを受けるAIは、アシスタントの役割を演じなければなりません。医師の意図を汲み取り、患者に適切な質問をし、コンピュータで事実を確認し、そして医師に対して明確な回答を提示しなければなりません。

テスト：4ラウンドの混沌

このテストは、324通りの異なる「シナリオ」（患者のケース）で構成されています。各シナリオには4つのラウンドがあります。

• ラウンド1： 医師が特定の事実を求める（例：「最新の血液検査の結果は？」）。
• ラウンド2： 医師がさらに情報を求めるが、省略語を使う（例：「あと、薬は？」）。
• ラウンド3： 医師がこれまでの情報を踏まえた推奨事項を求める（例：「これまでの状況を踏まえて、どうすべきか？」）。
• ラウンド4： 医師がAIに新しい処方箋の作成やファイルの更新を指示する。

AIは、この全4ラウンドをすべて正解しなければ、そのシナリオをパスしたことになりません。たった一度でもミスをすれば、そのセッションは失敗となります。

結果：躓く「スーパー・インターン」

研究者たちは、GPT-5、Claude、Geminiといった有名なモデルを含む、14の極めて優秀なAIモデルをテストしました。

結果：

• 良いニュース： AIは単純なタスクには非常に優れています。医師が「血圧は？」と聞き、AIがそれを単に検索するだけであれば、80%以上の確率で正解します。
• 悪いニュース： テストが複雑になると、AIはひどく苦戦します。
  • 「省略語」の問題： 医師が曖昧な言葉（「薬を確認して」など）を使ったとき、AIはどの薬のことか、何をチェックすべきかについて混乱することがよくあります。
  • 「患者」の問題： 足りない情報を得るために「患者」と対話しなければならないとき、AIのパフォーマンスは著しく低下します。AIはコンピュータのファイルを読み取ることは得意ですが、会話を行うことは苦手です。
  • 「オール・オア・ナッシング」の問題： 最も優れたモデルであっても、全4ラウンドのシナリオを完璧にパスできたのは、わずか**8%から23%**でした。これは、実際の病院において、AIは多段階の会話の中でミスを犯す可能性が高いことを意味しています。

結論

論文は、AIはまだ実際の病院で医師の信頼できる「副操縦士（コ・パイロット）」として機能できる段階にはない、と結論づけています。

比喩：
あなたがロボットにシェフの訓練をしていると想像してください。

• 古いテスト： あなたはロボットに「玉ねぎを切れるか？」と聞きました。ロボットは合格しました。
• この新しいテスト： あなたはロボットを忙しい厨房に入れました。ヘッドシェフが「スープを直せ！」と叫びます。ロボットはスープを味わい、客が何を求めているかを聞き、パントリーにある食材を確認し、そして料理を作らなければなりません。
• 結果： ロボットはスープを焦がしたり、客に聞き取るのを忘れたりします。ロボットは玉ねぎの切り方は知っていますが、厨房を回す方法は知らないのです。

著者らは、最大の障害はAIが医学的知識を十分に持っていないことではなく、混乱することなく「聞く」「話す」「ツールを使う」という動作を同時に**調整（コーディネート）**できないことにあると述べています。彼らは、他の研究者がこれらの特定の問題を解決できるよう、このテストを一般に公開しました。

技術概要

技術要約: PHYSASSISTBENCH

問題提起

現在の医療分野における大規模言語モデル（LLM）の評価は、主に孤立した能力、すなわち医学的知識の検索、電子健康記録（EHR）システムとの相互作用、または患者とのコミュニケーションに偏っています。しかし、医療用LLMの最も現実的な短期的な導入形態は、自律的な医師としてではなく、人間の監視下で動作するアシスタントとしての役割です。この役割には、単一のインタラクション内で以下の3つの異なるモダリティを同時に調整することが求められます：

1. 医師による暗黙的な要求: 臨床医は、完全に指定された指示ではなく、文脈依存的であったり、省略されていたり、複数ターンにわたるクエリ（例：「これらを踏まえて、薬を変更しますか？」）を発行することがよくあります。
2. 曖昧な患者情報: 患者は、症状について口語的、不完全、かつ臨床的に不正確な記述を行います。
3. 精密なEHRツール利用: システムは、構造化された記録を検索または更新するために、正確なFHIRベースのツール呼び出しを実行しなければなりません。

既存のベンチマークは、この統合された設定を捉えきれていません。それらは通常、これらの役割を個別に扱っており（例：静的なQ&Aやシングルターンのツール利用）、進化するマルチターン形式の臨床シナリオにおいて、知識、コミュニケーション、およびシステム操作を調整するモデルの能力を評価していません。

メソドロジー

PHYSASSISTBENCH ベンチマーク

著者らは、医師・患者・EHRが相互作用する環境における「医師アシスタント」としてのLLMを評価するために設計されたベンチマーク、PHYSASSISTBENCHを導入しています。

• データソース: MIMIC-IVから抽出された、匿名化済みの実際の患者記録から構築されています。
• 規模: 324のマルチターンセッション（計1,296ターン）で構成され、英語と中国語の両方で評価されます。
• 構造: 各セッションは、1回の臨床遭遇を4つのターン（ターン0〜ターン3）でシミュレートします。
  • ターン0: セッションを具体的なデータに固定するため、常に情報検索（IL）となります。
  • ターン1–3: データ収集（DG）、臨床推論（CR）、または書き込み/更新（WU）タスクへと進行します。
• タスクタイプ:
  • 情報検索 (Information Lookup, IL): EHRを介して単一の事実を検索します。
  • データ収集 (Data Gathering, DG): 複数のソース（EHR + 患者インタビュー）から情報を収集します。
  • 臨床推論 (Clinical Reasoning, CR): 知見を統合して推奨事項を形成します。
  • 書き込み/更新 (Write/Update, WU): FHIRの書き込み操作（例：処方箋の発行）を実行します。
• 暗黙性のサブタイプ: 本ベンチマークは、以下の3つの言語的メカニズムを通じて、未指定のクエリを処理するモデルの能力を特別にテストします：
  • 名詞照応 (Nominal Anaphora, NA): 以前のエンティティを参照する代名詞。
  • 述語省略 (Predicate Ellipsis, PE): 動詞や引数の省略（例：「クレアチニンは？」であって「クレアチニンは何ですか？」ではない）。
  • 抽象的事象照応 (Abstract Event Anaphora, AE): 蓄積されたコンテキストへの参照（例：「これらすべてを踏まえると……」）。
• 評価指標:
  • ルーブリック・スコア: 事実の正確性、臨床的解釈、およびハルシネーション（幻覚）の欠如に基づくターンレベルのスコアリング。
  • Pass@Turn: 閾値を通過したターンの割合。
  • Pass@Session: すべてのターンが閾値を通過したセッションの割合（臨床現場におけるマルチターンの依存性を反映した、より厳格な指標）。

エージェンティック・ペイシェント・環境パイプライン

静的なMIMIC-IVの記録からスケーラブルで臨床的に根拠のあるシナリオを生成するために、著者らはマルチエージェント合成データパイプラインを開発しました：

1. 患者の事前フィルタリング: オフラインでのチェックにより、LLMの関与前に、ターゲットとなるシナリオをサポートするために十分な証拠（特定の検査値の傾向や薬剤の組み合わせなど）が含まれていることを確認します。
2. セッション・プランニング: エージェントが、特定のFHIRツールと患者インタビューの質問を含むナラティブへと静的データをマッピングし、一貫性のある4ターンの臨床アークを構築します。
3. ターンレベルの生成: マルチエージェントシステム（ユーザー、プランナー、患者、回答、チェッカーのエージェント）が対話を生成します。
   • 患者エージェント: 特定のヘルスリテラシーとアドヒアランス・プロファイルを持つ患者をシミュレートし、基礎となるEHRの証拠に厳密に基づいた応答を行います（反事実的なハルシネーションは行いません）。
   • ツールの実行: 事実に基づいた根拠を確保するため、MIMIC-IVデータに対して実際のFHIRクエリを実行します。
   • 品質ゲート: 3段階の検証（計画、観察、回答）により、ハルシネーション、構造的エラー、および安全でないコンテンツを排除します。

主な貢献

1. インタラクティブな支援の定式化: 本論文は、医師の支援を、臨床知識、患者とのコミュニケーション、およびEHRシステムの間の調整問題として定義しています。これは、孤立した役割の評価を行ってきた既存の評価法で見落とされてきた設定です。
2. スケーラブルなエージェンティック・パイプライン: 静的なEHR記録を、臨床的な事実性を損なうことなく、インタラクティブな「エージェンティック・ペイシェント（エージェントとしての患者）」へと変換する新しい手法を提供します。
3. PHYSASSISTBENCHの公開: 324セッションと1,296ターンからなる、手動レビューおよび医師による検証済みのベンチマークを公開しました。これにより、現在の主要なLLMが、まだ信頼できる医師アシスタントにはなり得ないことを示しています。

実験結果

著者らは、14の最先端LLM（クローズドソース5種、オープンウェイト9種）をPHYSASSISTBENCHで評価しました。

• 全体的なパフォーマンス: 最強のモデル（例：GLM-5, Claude-Opus-4.7, GPT-5.4-high）であっても、重大な限界を示しています。最良のモデルであるGLM-5は、平均ルーブリックスコア（mRS）で約69.4%（英語）を達成しましたが、Pass@Session（厳格な一貫性）は、0.60の閾値で21.3%、0.75の閾値ではわずか**6.5%**でした。
• 調整のボトルネック: 複数のソースを統合する必要があるタスクでは、パフォーマンスが著しく低下します。
  • 情報検索 (Information Lookup) は堅牢です（~82.6%）。
  • データ収集 (Data Gathering) と 臨床推論 (Clinical Reasoning) は一貫して弱点となっており（それぞれ47.5%および54.9%）、マルチツールの構成と推論が、単一ポイントの検索よりも困難であることを示しています。
• 暗黙的なクエリの影響: モデルは、クエリが暗黙的である場合に測定可能なペナルティを受けます。
  • 抽象的事象照応 (AE) は、最大のパフォーマンス低下（明示的なクエリと比較して平均 -5.3%）を引き起こしました。
  • より小さなモデル（例：Qwen3.5-27B）は、暗黙性に対して極めて脆弱であり（最大 -9.8% の低下）、強力なモデルはより安定していました。
• 患者コミュニケーションのギャップ: すべてのモデルは、EHRのみのターンと比較して、患者インタビューのターンで大幅に低いパフォーマンスを示しました（平均 26.4 ポイントの低下）。これは、曖昧で口語的な患者の入力を扱うことが、一般的なモデルの能力とは独立した、明確な能力のボトルネックであることを示唆しています。
• 言語バイアス: 非中国語モデルは、中国語のセッションにおいて驚くほど高いパフォーマンスを示しました（Pass@Session で最大 +11.4%）。これは、「言語条件付きの安全性プライア（safety priors）」に起因しており、英語のトレーニングデータが安全性のための免責事項によってEHRツール呼び出しを抑制しているためと考えられます。

意義と主張

本論文は、信頼できる臨床支援には、孤立した能力の向上ではなく、知識、コミュニケーション、およびシステムの間の調整が必要であると主張しています。

• 現状: 主要なLLMは、まだ信頼できる医師アシスタントではありません。彼らは、暗黙的な意図の解決、患者の曖昧さの処理、および単一のワークフロー内での証拠の統合に苦慮しています。
• 評価パラダイム: 著者らは、静的なQ&Aやシングルターンのツール利用に焦点を当てた現在のベンチマークは不十分であると主張しています。「インタラクション」の次元、特にコンテキストを維持し、省略を解決し、複数のターンにわたってツールを調整する能力こそが、臨床LLM展開における主要なボトルネックです。
• 将来の方向性: 本ベンチマークは、マルチターン推論と構造化されたツール利用をストレス・テストするためのリソースとして機能します。将来の進歩は、単なるパラメトリックな医学知識の拡大ではなく、**エージェンティックな調整（agentic coordination）**に焦点を当てなければならないことを強調しています。

著者らは、このベンチマークは研究評価専用であり、臨床への導入や自律的な意思決定を目的としたものではないことを明記しています。また、シナリオのカバー範囲（4つの特定の臨床ワークフローに集中していること）や、MIMIC-IVデータへの依存（あらゆるヘルスケアシステムに一般化できるとは限らないこと）に関する限界も認めています。