📄 otolaryngology

Developing an open-source framework for LLM evaluation of patients using EHR clinical documentation; performance of LLMs relative to medical professionals

本研究表明，当前的大型语言模型在从耳鼻喉科电子健康记录中提取结构化临床信息时，无法达到与医学专业人员相当的评分者间信度，这表明它们最适合于需要人工验证的初步数据提取工作，而非自主临床部署。

原作者： Barrett, L., Joshi, N., North, A. S., Dimitrov, L., Maughan, E. F., Ross, T., Pankhania, R., Paramjothy, K., Minty, I., Farache-Trajano, L., Smith, S. L., Mason, K. A., Bhargava, E. K., Donnelly, C.

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Barrett, L., Joshi, N., North, A. S., Dimitrov, L., Maughan, E. F., Ross, T., Pankhania, R., Paramjothy, K., Minty, I., Farache-Trajano, L., Smith, S. L., Mason, K. A., Bhargava, E. K., Donnelly, C., Fatoum, H., Padiyar, A., Kader, Z., Chan, C. H. K., Schilder, A. G., Mehta, N.

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

如今，医院产生了海量的书面记录。每一次患者就诊、每一项检测结果以及每一个治疗决策，都会被记录在被称为电子健康记录的数字化笔记中。这些文档细节丰富，包含了医生用于描述症状、诊断病情和制定护理计划的特定语言。几十年来，将这些非结构化的叙述转化为有组织、可搜索的数据一直是一项艰巨的任务，通常需要人工阅读并手工重写信息。最近，一种被称为大语言模型的新型计算机程序出现了。这些系统经过海量文本训练，能够以令人惊讶的流利程度阅读、理解并总结人类语言。它们已经展示出能够回答医学问题并通过执业资格考试的能力，这引发了许多人的思考：它们是否也能自动阅读患者记录并提取其中的关键事实。

这个问题不仅关乎节省时间，更关乎安全与准确。如果计算机要协助医生管理患者护理，它必须在不凭空捏造或遗漏关键细节的情况下找到正确的信息。一项新的研究旨在直接测试这种能力。研究人员收集了来自耳鼻喉科诊所的近百份真实患者记录，并要求人类医生和七种不同的语言模型阅读这些记录。任务是提取特定的事实，例如患者的年龄、症状、诊断结果以及接受的治疗。为了确保所有人都在使用相同的语言，研究人员要求每一条信息都必须转化为全球医院通用的标准化代码。这使得研究人员能够精确比较机器与人类的表现。

结果揭示了人类专业知识与当前人工智能之间存在的明显差距。当研究中的十四名医生阅读相同的记录时，他们在提取的信息上达成了一致的比例为81%。这种高度的一致性表明，医生们对笔记的解读是连贯一致的。然而，当计算机模型与医生进行对比时，一致性显著下降到了约66%。换句话说，机器在从相同文本中识别相同事实方面的可靠性尚未达到人类的水平。该研究测试了不同规模的模型，从拥有数千亿连接的庞大系统到可以在本地计算机上运行的小型系统，没有一个模型达到了医疗专业人员所展现出的那种一致性水平。

性能表现因提取信息的类型而异。模型在寻找治疗方案和检测结果方面表现得相当出色，因为这些内容通常以清晰、标准的方式书写。但在处理体征和诊断方面，它们的表现则较差，因为这些内容往往需要对临床背景有更深层的理解。有趣的是，计算机倾向于发现比医生更多的信息，尤其是在风险因素方面。医生通常关注眼前的问题，而模型似乎会标记文中提到的每一个可能的风险。这表明机器不仅仅是在模仿人类的行为，而是在以不同的方式处理文本——它们有时会捕捉到人类可能忽略的细节，但也可能标记了一些在临床上并不相关的因素。

尽管存在这些差异，机器仍能证明如果使用得当，它们可以成为有用的工具。研究发现，当模型识别出某项信息时，其准确率通常很高，达到了97%。这意味着它们很少捏造不存在的事实。然而，它们大约有15%的时间会遗漏某些信息。这种模式指向了这些工具在未来的一个特定角色：它们最适合作为“第一遍扫描”，快速浏览记录以提取可能的候选信息供医生审核。最终的决策和验证仍需由人类完成。研究人员得出结论，虽然这些模型功能强大，但尚未准备好在临床环境中独立工作。它们最好被视为助手，可以帮助整理涌现的医疗数据，前提是必须始终有专家进行人工核查。

技术摘要：评估大语言模型在耳鼻喉科（ENT）电子健康档案临床信息提取中的表现

问题陈述
尽管大语言模型（LLMs）在医学知识评估（如执业医师考试）中已展现出熟练程度，但其从真实世界的电子健康档案（EHRs）中提取结构化、标准化临床信息的能力仍存在不确定性。具体而言，目前缺乏严谨的评估来确定 LLMs 在处理非结构化临床叙述时，能否达到与医学专业人员相当的评分者间信度（inter-rater reliability）。这种不确定性为 AI 在临床文档工作流中的部署造成了障碍，特别是在耳鼻喉科（ENT）这类对复杂术语和深度表型分析有高度需求的专业领域。

研究方法
本研究采用横断面设计，通过从 MTSamples 获取的 98 份匿名化 ENT 临床文档，评估了七种 LLMs 相对于十四名合格医学专业人员（本研究作者）在提取临床数据方面的表现。

数据集与标注： 数据集包含 98 份 ENT 临床文档。标注涵盖七个类别：社会人口统计学、体征、症状、诊断、治疗、风险因素和检查结果。
标准化： 为确保客观比较，所有提取的实体均被映射至 SNOMED-CT 代码（英国数据库版本 39.0.0）。标注者提供了精确的文本、上下文及限定词（例如：侧性、存在状态）。
评估模型： 测试了代表不同架构和部署模式的七种 LLMs：
- 专有云端： GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro。
- 开源云端： Llama 3.1 (405B, 70B, 8B)。
- 本地部署： Gemma 3 (12B)。
- 所有模型均采用了标准化的五步思维链（chain-of-thought）提示策略，并结合单样本学习（one-shot learning）及严格的参数控制（固定随机种子、确定性采样）。
统计分析：
- 信度： 使用 Cohen's Kappa ( $\kappa$ ) 测量评分者间一致性。
- 假设检验： 使用贝叶斯分层模型进行非劣效性检验。研究测试了医学专业人员与 LLMs（Medic-LLM）之间的一致性是否非劣于医学专业人员之间（Medic-Medic）的一致性。研究在 95% 后验概率阈值下，评估了非劣效性边界 ( $\delta$ ) 为 0.05、0.10 和 0.15 的情况。
- 准确率： 以医学专业人员的标注作为基准真相（ground truth），计算分类指标（精确率、召回率、特异性、假阳性率），并采用置换检验法（permutation approach）以解释人类之间的变异性。

关键结果

评分者间信度：
- Medic-Medic（医-医）： 实现了显著的一致性，平均 Cohen's Kappa 为 0.752 (95% CI: 0.710–0.794)。贝叶斯后验均值为 0.813。
- Medic-LLM（医-模）： 仅实现了一般的一致性，平均 Cohen's Kappa 为 0.391 (95% CI: 0.362–0.420)。贝叶斯后验均值为 0.659。
- LLM-LLM（模-模）： 模型间表现出显著的一致性 ( $\kappa = 0.795$ )，表明不同架构之间存在一致的偏差。
非劣效性： 在所有测试的边界（ $\delta = 0.05, 0.10, 0.15$ ）下，关于“LLMs 表现等同于医学专业人员”的假设均被拒绝。Medic-LLM 一致性落在 Medic-Medic 一致性 0.10 范围内的概率仅为 4.5%。
类别表现：
- 一致性随临床类别而变化。人类与 LLMs 之间差异最小的类别出现在检查结果和治疗。
- 最大的差异出现在体征和诊断，这些类别需要细致的临床解释。
- GPT-4o（本组中表现最佳的模型）实现了 97.0% 的精确率和 84.9% 的召回率，假阳性率为 7.5%。
提取量： LLMs 提取的每份文档临床实体数量始终高于人类标注者，尤其是在“风险因素”方面（LLM 平均值：7.33 vs. 人类平均值：1.01），这表明模型与临床医生在信息优先级排序上存在分歧。

意义与主张
本文声称提供了首次利用标准化评分者间信度指标，在专门临床领域内对 LLMs 与医学专业人员进行的系统性评估。其主要意义在于为 AI 在临床文档中的部署提供了基于证据的指导：

当前局限性： 当前的 LLMs 在临床信息提取方面尚未达到与医学专业人员相当的评分者间信度水平。它们尚不具备在此背景下进行自主运行的能力。
推荐工作流： 鉴于其高精确率 (97.0%) 但召回率适中且存在不可忽视的假阳性率 (7.5%)，作者建议 LLMs 最适合用于初步提取并辅以强制性的人类核查，而非自主决策。
方法论框架： 本研究建立了一个使用 SNOMED-CT 和贝叶斯分层模型来评估临床 AI 的严谨框架，为未来的研究提供了一种可重复的方法论。
领域特异性： 性能差距凸显出，虽然模型可能擅长标准化任务，但在处理体征和诊断所需的细微解读方面仍显乏力，这表明仅靠提示工程（prompt engineering）是不够的，还需要领域特定的架构创新或训练。

作者明确指出，这些发现不应直接用于指导临床实践，因为本研究依赖于公开的教育性文档（MTSamples），这些文档可能无法完全代表真实世界医疗机构中具有异质性的电子健康档案。

技术摘要：评估大语言模型在耳鼻喉科（ENT）电子健康档案临床信息提取中的表现

类似论文