Creating A Gold Standard Annotation Guideline for Electronic Health Records
本文提出了一个由 1,500 份癫痫电子健康记录衍生的金标准标注数据集及配套指南，其标注者间一致性达到了 0.769，旨在支持用于癫痫及共病检测的自然语言处理（NLP）系统的开发。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在医院静谧的嗡鸣声中，在监护仪的嘀嗒声与纸质病历的沙沙声之间，一部宏大的人类经验图书馆正在被书写。几十年来，医生们一直在电子健康记录中记载着患者的故事，用数字文件填充着关于症状、治疗方案以及与疾病共生的复杂生命史的笔记。这些记录是一座信息的宝库，然而它们所使用的语言往往是凌乱、非结构化且极具个人色彩的。虽然计算机擅长处理数字，但历史上它们在阅读这些具有人类医生般细腻程度的自由文本笔记方面一直表现挣扎。这正是自然语言处理这一领域介入之处，它充当了人类语言与机器理解之间的桥梁。其目标是教会计算机阅读医疗笔记，从段落中提取关键事实，并利用这些知识来改善数百万人的护理水平。然而，为了让计算机学会如何阅读医生的笔记，它首先需要由能够准确指出哪些信息至关重要的人类进行教学。
来自伦敦国王学院和斯旺西大学的一个研究小组通过创建一个用于教导计算机如何阅读癫痫患者医疗记录的高质量新指南，在这一努力中迈出了重要一步。癫痫是一种常见的神经系统疾病，其特征是反复发作的癫痫发作；虽然许多人可以通过药物得到良好控制，但仍有相当一部分人无法有效应对。为了理解为什么有些患者对治疗没有反应，医生需要查看疾病的完整且详细的历史，包括所服用的特定药物、发作频率以及影响患者生活的许多其他因素。这些细节散落在数以千计的电子健康记录中，通常埋藏在自由文本描述里。研究人员致力于创建一个“金标准”数据集——这是一个经过专家仔细阅读并标注的记录集合，并附带一套严格的标注规则。这一资源旨在帮助训练人工智能系统自动寻找这些关键细节，将文字的高山转化为结构化的、可利用的数据。
为了构建这一资源，该团队收集了来自伦敦盖伊兹和圣托马斯信托基金会（Guy's and St Thomas' Trust）癫痫诊所的1,500份电子健康记录。这些文件的选择并非随机，而是经过精心挑选，以代表广泛的患者群体，确保涵盖不同的年龄、不同的药物类型以及变化的癫痫发作频率。记录本身是结构化数据（如患者出生日期）与非结构化文本（医生书写观察结果、治疗计划及患者应对情况的笔记）的结合体。随后，研究人员组建了一个由八人组成的团队来阅读并标注这些文件。该团队由五名临床医生（即医学博士/医生）和三名专门从事癫痫研究的数据科学家组成。他们使用了一种专门的软件工具，可以高亮显示文本中的特定信息片段，并将其归入特定类别，例如患者患有的癫痫类型、正在服用的药物、剂量以及可能存在的任何其他健康状况。
整个过程的设计力求尽可能清晰且一致。团队制定了一套详细的指南，解释了如何解读文本。例如，如果医生写到患者“可能”正在发生癫痫发作，指南会告知标注人员如何评定这种确定程度。团队还必须决定如何处理复杂情况，例如患者在一天中不同时间服用不同剂量的药物。为了测试这些指南的效果如何，每一份文件都由两名不同的人阅读并标注：一名临床医生和一名数据科学家。这种双重检查的过程使研究人员能够衡量两名阅读者之间的达成一致的程度。如果指南足够清晰且任务简单，两名阅读者会对同一信息进行相同的标注。如果他们产生分歧，则表明指南可能需要更加明确，或者文本中的信息过于模糊。
这项工作的成果表明，该团队在很大程度上成功创建了一个可靠的系统。当研究人员对比每份文件的两名阅读者的工作时，他们发现整体上存在高度的一致性。对于最直观的事实，如患者正在服用的抗癫痫药物名称以及目前是否处于无发作状态，其标签最为一致。这些细节通常出现在笔记中清晰的列表式部分，使得医生和数据科学家都容易发现并达成共识。然而，研究人员也发现，当笔记变得更具主观性或复杂性时，一致性就会下降。例如，当文本讨论诊断的确定性或事件的具体发生时间时，两名阅读者有时会出现分歧。在某些文档块中，一致性较低，这表明某些部分的笔记比其他部分更难解释。研究人员指出，这并不是因为文档本身的不同，而很可能是因为人类阅读者在面对模糊语言或多种药物剂量时，难以在每种情况下都完美地应用规则。
尽管面临这些挑战，整体的一致性水平仍然足以用于训练计算机系统。团队得出结论，他们的指南通常具有可重复性，且由此产生的数据集是面向未来的宝贵资源。他们发现，对于信息的达成一致难度并不取决于该信息的稀有程度；即使是常见的事实，如果书写得含糊不清，也可能难以达成共识。研究表明，为了让人工智能真正掌握阅读医疗笔记的艺术，未来的指南必须更加强调处理不确定性，并教导机器如何进行关于时间和概率的推理。随着团队继续标注更多记录并完善其规则，这个不断增长的已标注数据库将成为构建更智能工具的基础。这些工具最终可以帮助医生在几秒钟内分析数千份患者历史记录，从而发现可能导致更好治疗方案的模式，造福那些在药物难治性癫痫中挣扎的人们。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。