CliniCARE-Bench: Clinical Calibrated Audit of Medical Reasoning in EHR

CliniCARE-Bench 技術要約：医療における臨床的較正を用いた推論の監査

問題提起
大規模言語モデル（LLM）は、医学知識のベンチマークにおいて高い性能を示す一方で、その臨床現場への導入には、静的な質問回答を超えた能力が求められる。現実世界の臨床タスクでは、多くの場合、異種混合で長期的な電子健康記録（EHR）の遡及的な調査を伴う。これらのシナリオにおいて、エージェントは必要なエビデンスを特定し、構造化データと自由記述形式のノートを検索・照合し、結論を検証可能なエビデンスに根拠付け、さらに、記録が確定的な結論を下すには不十分である場合にそれを認識できなければならない。既存のベンチマークは、以下の3つの安全性に関わる重要な能力をテストできていないことが多い：否定的な推論（ある疾患が除外されたことを確認すること）、多年にわたる記録を通じた深い長期的合成、そして較正された棄権（エビデンスの欠如と、真の医学的な曖昧さを区別すること）。さらに、多くのベンチマークは、エージェントが単に最終的な答えの正誤だけでなく、裁定プロセスが「防御可能」であるか、すなわち、エージェントが必要な証拠を集め、統治基準を適用し、要求される手順に従ったかどうかを評価できていない。

手法
著者らは、遡及的な臨床監査のためのデプロイメント指向のベンチマークであるCliniCARE-Benchを導入する。このフレームワークは、以下のコンポーネントで構成されている：

• データ基盤： 本ベンチマークは、単一のアカデミック医療センターからの入院、ICU、および救急部門のデータをカバーするMIMIC-IV v3.1、MIMIC-IV-Note v2.2、およびMIMIC-IV-ED v2.2を活用している。
• シナリオ構築： スイートは、14の診療科と10の推論能力（例：タイムセンシティブなプロトコル監査、クロスモーダル検証、長期的合成）にわたる、臨床医によって作成された25のシナリオで構成されている。これらのシナリオは、750の患者固有のケースとしてインスタンス化されている。
• 統治されたツール環境： エージェントは、統治され、臨床医が検証可能なツールを備えた再現可能なランタイム内で動作する。エージェントは生のデータベーススキーマに直接アクセスすることはできず、特定のレコードカテゴリ（ノート、検査値、バイタルサインなど）を抽出するためのパラメータ化されたツールを使用し、サンドボックス化されたシェル内で明示的な計算を実行し、固定された統治ポリシー（例：KDIGO、CMS SEP-1）にアクセスしなければならない。すべてのツール呼び出しはログに記録され、再生可能なトレースを作成する。
• 裁定フレームワーク：
  • 判定（Verdicts）： エージェントは、Yes、No、Indeterminate: Lack of Data（判定不能：データ不足）、Indeterminate: Medically Ambiguous（判定不能：医学的に曖昧）の4つの判定のいずれかを返さなければならない。後者の2つは、エビデンスを増やせば解決できるケースと、全件レビュー後も専門家の解釈を必要とするケースを区別するものである。
  • 参照ラベル： 参照ラベルは、マルチモデル裁定アンサンブル（Claude、Codex、Gemini）を介して生成され、ブラインド・レビューによる臨床委員会（Clinical Board）によって較正される。
  • 評価指標： フレームワークは、単純な正解率を超えた複数の軸でシステムをスコアリングする：
    • 判定の正確性（Verdict Correctness）： 4クラスの完全一致。
    • 棄却行動（Abstention Behavior）： 過剰なコミットメント（判定不能なケースに対して確定的な判定を下すこと）と過剰な棄却を測定する。
    • グラウンディング（Grounding）： 引用の精度（引用されたエビデンスの忠実性）とエビデンスの網羅性（検索の完全性）。
    • ポリシー・グラウンディング（Policy Grounding）： エージェントが統治的な臨床基準を正しく特定、引用、および適用できているか。
    • プロセス遵守（Process Adherence）： MUST-DO（必須アクション）とMUST-NOT（禁止されたショートカット）の基準に基づく重み付けルブリック。
    • 欠陥のない正確性（Defect-Free Accuracy）： 判定が正しく、かつ禁止されたプロセス上のショートカットがない場合にのみ、その判定を称賛する指標。

主な貢献

1. スキルおよび専門科を横断するシナリオ・スイート： 多様な医学領域にわたり、安全性に関わる推論をストレス・テストするために設計された、25のシナリオを750のケースとして展開した。
2. 統治され、臨床医が検証可能なツール環境： レコードの異質性を維持しながらクエリ・エンジニアリングのアーティファクトを隔離し、エージェントにエビデンスを能動的に検索・照合させる、再現可能な実行サーフェス。
3. グラウンディングされた、プロセス重視の評価フレームワーク： 4段階の判定システムに加え、レベル単位のエビデンス・グラウンディング、ポリシー引用、およびプロセス・ルブリックを組み合わせ、最終的な答えの正しさだけでなく、忠実な調査手順を評価する。
4. 臨床医による較正ラベルのスケール可能なプロトコル： 徹底的な手動レビューでは到達不可能な規模で信頼性の高い参照ラベルを生成するために、臨床医が検証した仕様とマルチモデル裁定、およびブラインド・ボードによる較正を組み合わせた手法。

実験結果
著者らは、16のエージェント・システム（ベンダーモデル上の10のプロダクション・エージェントCLIと、ニュートラルなハーネス上の6つのオープンウェイト・モデル）を評価した。主な知見は以下の通りである：

• 正確性とプロセスの関係： 生の4クラス正確性は65.3%から76.1%の範囲であった。しかし、欠陥のない正確性（プロセス違反のない正しい判定）は、これより4.8〜14.8パーセントポイント低かった。この差によりリーダーボードの順位が入れ替わった。例えば、高い生精度を持つシステムであっても、プロセス上の欠陥に対してペナルティを課すと、大幅に順位を落とした。
• 棄却行動： すべてのシステムが系統的に**棄却不足（under-abstained）**であった。確定的な判定を下すべきでないケースに対して確定的な判定を下す「過剰コミットメント」の割合は、棄却しすぎる「過剰棄却」の割合を大幅に上回っていた。システムは、保留が必要なケースの21.3%から55.3%において過剰コミットを行っていた。
• グラウンディングと正確性の乖離： 判定の正確性とグラウンディングの質の間には解離が見られた。システムは、それらを正当化する特定のエビデンスを引用することなく、正しい判定に到達することがしばしばあった。クレームレベルの精度は、モデルの能力よりもハーネスのファミリーによって変動しており、これはリトリーバル（検索）の足場がグラウンディングの質を左右する主要な要因であることを示唆している。
• ポリシー・グラウンディング： システムは高い精度で実際のポリシー文書を引用していたが、適用可能な基準の一部のみを引用し、統治文書を省略することが頻繁にあった（低い再現率）。
• 信頼性： 繰り返しの試行により、システムはランダムに間違っているのではなく、「安定して間違っている（stably wrong）」ことが示された。自己整合性（self-consistency）が高くても、特に判定不能なケースにおいては、正しさが保証されるわけではなかった。

意義と主張
本論文は、CliniCARE-Benchが、共通の患者レベルの裁定フレームワーク内で、実際の長期的なEHR調査、クレームレベルのエビデンス・グラウンディング、統治ポリシーの使用、プロセス遵守、および較正された棄却を統合的に評価する、初のデプロイメント指向の臨床エージェント・ベンチマークであると主張している。

著者らは、**「生の正確性は、臨床調査の質を過大評価してしまう」**と論じている。正しい最終回答は、欠陥のある調査（例：禁止されたショートカットの使用やエビデンスの欠落）を隠蔽してしまう可能性がある。本ベンチマークは「結果とプロセスのギャップ」を露呈させ、高リスクな臨床監査においては、調査プロセスの防御可能性が最終的な判定と同じくらい重要であることを示している。統治されたツール使用、明示的な裁定基準、追跡可能なエビデンス、および較された棄却という設計原則は、金融や法律のような他の高リスク領域にも適用可能な、監査可能なエージェント環境のための一般的なレシピとして提示されている。本ベンチマークは、エージェントが単にケースを解決できるか（if）だけでなく、どのように行うか（how）、そしてそれらの決定が透明かつ再現可能であるか（whether）を測定することで、人間による監督下でのデプロイメントに資することを目的としている。