Performance evaluation and benchmarking across 16 large language models on a comprehensive real-world emergency department triage data set

技术摘要：大型语言模型在真实世界急诊分诊数据上的性能评估与基准测试

问题陈述
急诊科（ED）分诊是一个在高压环境下决定患者优先级和资源分配的高风险过程。尽管已有提议将大型语言模型（LLMs）作为分诊的决策支持工具，但现有的评估主要依赖于模拟场景或经过人工整理的数据集（例如 MIMIC-IV、NEJM Healer）。目前缺乏证据能够证明当代 LLMs 在应用于全面、未经整理的真实世界临床数据时的性能、校准度和可复现性。此外，提示策略（prompting strategies）与模型架构对分诊准确性的影响仍不明确。

方法论
本项回顾性横断面基准测试研究是在德国一家拥有集成中央评估点（CPA）的三级教学型急诊中心进行的。

• 数据集： 研究利用了 16,107 例连续的成年门诊就诊数据（2023 年 10 月至 2024 年 2 月）。数据提取自结构化临床决策支持系统（CDSS），该系统记录了主诉（CEDIS-PCL）、生命体征（ABCDE 框架）以及专业护理人员最终做出的分诊决策。数据已进行完全匿名化处理。
• 评估模型： 研究评估了 16 种配置，包括 14 个独立的 LLMs（涵盖不同规模和推理能力的专有模型及开源模型）、一种集成策略（“模型委员会/Council of Models”）以及一种特定的逐步提示法（stepwise prompting approach）。
• 评估协议：
  • 输入： 模型接收每个病例的结构化临床变量。
  • 输出： 模型需预测急诊严重度指数（ESI）等级（1–5级）、部门分配（急诊科 vs. 急诊门诊/UCP）以及自我报告的口头置信水平（0–100%）。
  • 策略：
    • 标准提示（Standard Prompting）： 基于可用数据进行直接分类。
    • 模型委员会（Council of Models）： 汇总九个模型的预测结果，并由一个“主席”模型决定最终的 ESI 等级。
    • ESI 逐步提示（ESI Stepwise）： 一种结构化的决策树方法，引导模型按顺序执行 ESI 算法（生命救治干预需求、高风险特征、危险区生命体征、资源估算）。
  • 可复现性： 对 100 名患者的子集进行了 100 次查询（共计 10,000 次分类），使用相同的输入以测量随机变异性。
• 指标： 主要结果包括通过二次加权 Cohen's $\kappa$ ($\kappa_{qw}$) 衡量的符合度、误分类模式（过度分诊/分诊不足）、期望校准误差（ECE）以及输出可复现性。

关键结果

• 分诊准确度（ESI 分类）：
  • 各模型的表现具有高度异质性。二次加权 $\kappa$ 值从 0.18（GPT 5 Nano）到 0.75 不等。
  • 仅 ESI 逐步提示法 达到了“高度一致”（$\kappa_{qw} = 0.747$），接近报告的人类评分者间信度的下限。
  • 大多数其他模型仅表现出“中度”到“一般”的一致性（$\kappa_{qw}$ 为 0.18–0.52）。
  • 最常见的错误发生在相邻等级之间，特别是 ESI 3 和 ESI 4 之间。
• 部门分配（急诊科 vs. UCP）：
  • 所有模型在部门分配上的一致性均较低（$\kappa \leq 0.30$）。
  • 误分配现象频繁；例如，某些模型将高达 75% 原定于急诊科的患者误分配到了 UCP，反之亦然。
• 偏差与校准：
  • 过度自信： 所有 14 个单独评估的模型都表现出系统性的过度自信。过度自信指数范围为 +5.2 至 +33.7 个百分点（平均口头置信度减去实际准确度）。
  • 校准： 期望校准误差（ECE）较高（0.099–0.355）。口头置信度与正确答案之间没有显著关联（置信度准确度 $\approx$ 0），表明模型无法可靠地发出其自身不确定性的信号。
  • 方向性偏差： 16 个模型中有 13 个表现出净过度分诊（分配的严重程度高于护士），而 ESI 逐步提示法和 GPT 5 Nano 变体则表现出显著的分诊不足。
• 可复现性：
  • 对于相当一部分病例，输出是非确定性的。在可复现性实验中，23% 的患者在 100 次运行中，其最常见的 ESI 分类出现的次数少于 70 次。
  • 100 次运行后的多数投票并未显著提高准确度，这表明变异性源于真实的决策边界不确定性，而非简单的采样噪声。

核心贡献

1. 真实世界基准测试： 这是首个系统评估十余种当代 LLMs 在活跃急诊科提供的全面、未经整理的真实世界数据集上的研究，超越了虚构剧本或整理过的档案。
2. 提示策略 vs. 模型架构： 研究表明，提示策略比模型规模或架构更具影响力。一种结构化的、算法引导的逐步提示法显著优于使用非结构化提示的高推理能力模型，这表明将临床逻辑编码进提示词对于提升性能至lceil 关键。
3. 安全性与可靠性分析： 本文对 LLM 在临床环境中的输出变异性进行了实证量化，揭示了即使输入相同，很大一部分病例仍会导致不一致的分类。它还强调了未校准的口头置信得分这一关键安全漏洞。

意义与主张
作者得出结论，当前的各种大型语言模型在真实世界的急诊分诊任务中表现出异质性且普遍受限。尽管 LLMs 具有作为辅助工具的潜力，但其目前的特性——特别是缺乏校准、非确定性输出以及较差的部门分配准确性——不支持其在临床分诊环境中进行自主或安全性关键型的部署。

研究强调，改进校准、可靠性和工作流集成是临床应用的前提条件。研究建议，未来的开发应优先考虑结构化算法引导的提示以及在预期场景下的监管合规验证，而非仅仅选择更大或更复杂的模型。这些发现强调了外部校准机制的重要性，并提醒不要将自我报告的置信得分作为概率估计值呈现给临床医生。