Deployment-Centered Evaluation: Predicting Query-Level Rejection Risk in a Clinical LLM System

技术摘要：临床大语言模型中基于部署的查询级拒绝风险评估

问题陈述
将大语言模型（LLMs）集成到临床工作流中引入了一个关键的评估差距。传统的以基准测试为中心的评估优先考虑客观的“正确性”（例如，医学执照考试的准确性）以及在历史查询上的聚合性能。然而，这些静态评估无法捕捉现实世界的实用性，即临床医生是否实际上会接受或“拒绝”生成的响应。拒绝是一个带有噪声的概念，反映了较低的感知效用，即使输出在事实层面是正确的，也可能因为风格预期、上下文或工作流集成的失配而导致拒绝。此外，现有的基准测试依赖于构建成本高昂且难以更新的密集标注数据集，这在动态的现实世界部署中造成了盲点。核心挑战在于，如何在响应生成之前，利用部署系统中自然存在的稀疏反馈，预测特定的用户交互是否会导致拒绝。

方法论
作者提出了一个以部署为中心的评估框架，该框架的核心是在学术医疗中心的电子健康档案（EHR）系统中嵌入一个预响应拒绝预测模型。

• 任务形式化： 目标是学习一个评分函数 $f(\cdot)$，用于预测用户拒绝 LLM 响应（$r_i = 1$）与接受响应（$r_i = -1$）的概率。输入包括用户查询 $q_i$ 和部署特定的上下文：提供者类型 ($p_i$)、科室名称 ($d_i$)、所使用的特定 LLM 模型 ($m_i$) 以及患者记录的长度 ($l_i$)。
• 数据来源： 本研究利用了 4.5 个月的实时用户交互数据（2025 年 9 月 – 2026 年 4 月）。在 74,729 次总交互中，仅有 1,196 次包含显式的二元反馈（“点赞/点踩”）。在过滤掉重复项和缺失元数据后，最终的标注数据集包含 878 个查询-标注对。
• 模型架构： 作者采用逻辑回归模型，该模型基于通过 text-embedding-3-large 生成的查询嵌入（embeddings）结合部署特定上下文的独热编码（one-hot encodings）进行训练。
  • 特征选择： 通过在 31 种可能的特征组合（包括嵌入子集、提供者、科室、模型和上下文长度）上进行网格搜索，以最大化验证集上的 AUROC。
  • 训练协议： 研究采用了前瞻性分析方法。首先在最初 8 周的数据上训练一个初始模型。在随后的 19 周内，模型每周通过纳入带有真实标签的新数据进行动态重训练，模拟滚动训练窗口以适应不断变化的“用户-LLM”趋势。
• 基准模型： 将性能与仅使用查询嵌入的模型、使用 GPT-4.1 的 LLM 评判分类器（无论是否包含上下文）以及朴素的“始终接受/拒绝”分类器进行了对比。

核心贡献

1. 前瞻性拒绝预测： 作者证明了利用稀疏的现实世界反馈，训练一个预响应模型来预测未来查询被拒绝的可能性是可行的。
2. 下游效用： 拒绝分数被构想为一个可部署的决策工具。通过调整操作阈值，该模型支持两种不同的用例：
   • 弃权（Abstention）： 高精度过滤（预先拦截可能被拒绝的响应）以减少验证疲劳。
   • 护栏激活（Guardrail Activation）： 高召回触发（标记潜在问题以进行额外审查）以防止低质量输出到达用户。
3. 部署特定上下文的作用： 论文指出，利用元数据（提供者类型、科室、模型）的效果显著优于仅依赖查询内容。

结果

• 性能： 表现最好的模型（整合了嵌入 + 提供者 + 科室 + 模型）在前瞻性测试集上实现了 0.719 的 AUROC (95% CI: [0.670, 0.767])。
• 对比： 该结果优于仅使用查询嵌入的基准模型（AUROC 0.618）和 LLM 评判基准模型（AUROC 约 0.52–0.53）。
• 特征重要性： 定量分析显示，科室名称和提供者类型是表现最佳配置中最频繁出现的特征。在保留上下文特征的情况下移除嵌入，性能仅出现轻微下降，这表明在数据稀疏的环境下，上下文具有高度的信息量。
• 下游指标：
  • 在高精度阈值（$\beta = 0.12$）下，模型实现了 0.88 的精确度（3 个假阳性），适用于弃权场景。
  • 在高召回阈值（$\beta = 4.0$）下，模型实现了 0.99 的召回率，适用于护栏激活场景。
• 定性洞察： 对拒绝理由的分析显示，不同角色和科室之间存在显著差异。例如，心脏科医生由于对特定临床细节的需求，其拒绝率较高；而执业护士则更容易接受高层级的摘要。同样，重症监护科医生拒绝了住院科医生会接受的查询，这表明接受标准受科室工作流和角色特定预期的影响。

意义与主张
本文声称为部署特定评估提供了一个起点，使评估能够超越静态基准，转向可操作的干预措施。其主要意义在于将评估目标从“正确性”转向“用户接受度”，承认在临床环境中，效用是由输出是否符合用户的特定上下文和工作流来定义的。

作者谦虚地指出，其发现源自单一学术医疗中心，并受到被动反馈稀疏性（仅约 1.6% 的用户提供了反馈）的限制。他们认为，虽然其结果强调了利用部署特定上下文来预测拒绝的可行性，但仍需未来的研究来解决选择偏差并将其发现推广到更广泛的部署场景。这项工作并不声称解决了所有临床 AI 安全问题，但它证明了谁在提问、在何种背景下提问以及出于何种目的提问，在决定系统成功方面与问题本身同样重要。