Deployment-Centered Evaluation: Predicting Query-Level Rejection Risk in a Clinical LLM System

技術要約：臨床用LLMにおけるクエリレベルの拒絶リスクのデプロイメント中心の評価

問題提起
大規模言語モデル（LLM）の臨床ワークフローへの統合は、決定的な評価のギャップをもたらしている。従来のベンチマーク中心の評価は、客観的な「正しさ」（例：医学部試験における正確性）や、過去のクエリに対する集約されたパフォーマンスを優先している。しかし、これらの静的な評価は、現実世界の有用性、具体的には、臨床医が生成された回答を実際に受け入れるか、あるいは「拒絶」するかを捉えることができない。拒絶は、スタイルの期待値、文脈、またはワークフローへの統合の不一致によって、たとえ出力が事実として正しくても発生し得る、低次な知覚的有用性を反映したノイズを含む概念である。さらに、既存のベンチマークは、構築に多大なコストがかかり、更新が困難な、高密度にアノテーションされたデータセットに依存しており、動的な現実世界のデプロイメントにおける盲点を作り出している。核心となる課題は、展開されているシステムから自然に得られる疎なフィードバックを利用して、回答が生成される前に、特定のユーザーインタラクションが拒絶につながるかどうかを予測することである。

手法
著者らは、アカデミック・メディカル・センター内の電子カルテ（EHR）システムに組み込まれた、回答前の拒絶予測モデルを中心としたデプロイメント中心の評価フレームワークを提案している。

• タスクの定式化: 目標は、ユーザーがLLMの回答を拒絶するか（$r_i = 1$）、あるいは受け入れるか（$r_i = -1$）を予測するスコア関数 $f(\cdot)$ を学習することである。入力は、ユーザーのクエリ $q_i$ と、デプロイメント固有のコンテキスト（提供者の種類 $p_i$、診療科名 $d_i$、使用されている特定のLLMモデル $m_i$、および患者レコードの長さ $l_i$）で構成される。
• データソース: 本研究では、2025年9月から2026年4月までの4.5ヶ月間のライブユーザーインタラクションを利用している。総計74,729件のインタラクションのうち、明示的なバイナリフィードバック（「グッドボタン/バッドボタン」）が含まれていたのはわずか1,196件であった。重複および欠落しているメタデータをフィルタリングした後、最終的なアノテーション済みデータセットは878件のクエリ・アノテーションペアで構成された。
• モデルアーキテクチャ: 著者らは、text-embedding-3-large を介して生成されたクエリ埋め込みと、デプロイメントコンテキストのワンホットエンコーディングを組み合わせたロジスティック回帰モデルを採用している。
  • 特徴量選択: AUROCを最大化するために、31種類の可能な特徴量の組み合わせ（埋め込み、提供者、診療科、モデル、およびコンテキスト長の部分集合を含む）に対してグリッドサーチを行った。
  • トレーニングプロトコル: 本研究では、**前向き解析（prospective analysis）**アプローチを利用している。まず最初の8週間のデータを用いて初期モデルを訓練する。その後、19週間にわたり、真のラベルを持つ新しいデータを毎週動的に再学習させることで、変化するユーザーとLLMのトレンドに適応するローリング・トレーニング・ウィンドウをシミュレートする。
• ベースライン: パフォーマンスは、クエリ埋め込みのみを使用するモデル、コンテキストの有無によるLLMジャッジ分類器（GPT-4.1を使用）、およびナイーブな「常に受け入れる／拒絶する」分類器と比較される。

主な貢献

1. 前向きな拒絶予測: 著者らは、疎な現実世界のフィードバックを用いて、将来のクエリに対するユーザーの拒絶を予測する、回答前のモデルを訓練することの実現可能性を実証した。
2. ダウンストリームの有用性: 拒絶スコアは、デプロイ可能な意思決定ツールとして位置づけられている。動作閾値を調整することで、同じモデルが2つの異なるユースケースをサポートする：
   • 棄権（Abstention）: 高精度なフィルタリング（拒絶される可能性が高い回答を事前に差し控える）により、検証の疲労を軽減する。
   • ガードレール起動（Guardrail Activation）: 高再現率のトリガー（低品質な出力がユーザーに到達するのを防ぐために、追加レビューの必要性をフラグ立てする）として機能する。
3. デプロイメント固有のコンテキストの役割: 本論文は、メタデータ（提供者の種類、診療科、モデル）を活用することが、クエリの内容のみに依存する場合よりも大幅に優れた性能を示すことを確立している。

結果

• パフォーマンス: 最良のモデル（Embedding + Provider + Department + Model を含む）は、前向きテストセットにおいて AUROC 0.719（95% CI: [0.670, 0.767]）を達成した。
• 比較: これは、クエリ埋め込みのみのベースライン（AUROC 0.618）およびLLMジャッジのベースライン（AUROC ~0.52–0.53）を上回った。
• 特徴量の重要性: 定量的分析により、診療科名と提供者の種類が、トップパフォーマンスの構成における最も頻繁な特徴量であることが明らかになった。コンテキスト特徴量を保持したまま埋め込みを除去しても、性能の低下はわずかであり、データが乏しい設定においてコンテキストが非常に情報量が多いことを示唆している。
• ダウンストリーム指標:
  • 高精度閾値（$\beta = 0.12$）において、モデルは 0.88 の適合率（precision）（偽陽性3件）を達成し、棄権に適している。
  • 高再現率閾値（$\beta = 4.0$）において、モデルは **0.99 の再現率（recall）**を達成し、ガードレール起動に適している。
• 定性的洞察: 拒絶の根拠に関する分析は、役割や診療科による大きな差異を示した。例えば、循環器科の医師は特定の臨床詳細への要求が高いために拒絶率が高かったのに対し、ナースプラクティショナーは高レベルの要約を受け入れる傾向があった。同様に、クリティカルケアの医師は、病院勤務の医師が受け入れるクエリを拒絶しており、受け入れ基準が部門のワークフローや役割固有の期待によって形成されていることが示された。

意義と主張
本論文は、静的なベンチマークを超えて、実行可能な介入へと移行するデプロイメント固有の評価の出発点を提示すると主張している。その主な意義は、評価の対象を「正しさ」から「ユーザーの受け入れ」へとシフトさせた点にある。これは、臨床現場においては、出力がユーザーの特定のコンテキストやワークフローに適合するかどうかが有用性を定義するという認識に基づいている。

著者らは、自らの知見が単一のアカデミック・メディカル・センターに由来するものであり、受動的フィードバックの希薄さ（ユーザーのわずか約1.6%しかフィードバックを提供していない）による制約があることを謙虚に述べている。彼らは、本研究の結果はデプロイメント固有のコンテキストを用いた拒絶予測の実現可能性を強調するものであるが、選択バイアスに対処し、これらの知見をより広範なデプロイメント環境に一般化するためには、今後の研究が必要であると論じている。本研究は、臨床的なAI安全性に関するすべての問題を解決することを目的としているのではなく、「誰が、どのようなコンテキストで、何の目的で質問しているか」が、質問の内容自体と同様に、システムの成功を決定付ける上で重要であることを示している。