Automating QuAL Scoring of Entrustable Professional Activity Narrative Feedback Across Residency Programs: A Locally Deployed Natural Language Processing Model
本研究表明，通过在本地部署 DeBERTa-v3 自然语言处理模型，可以准确且可扩展地实现对多个住院医师培训项目内“可信赖专业活动”（Entrustable Professional Activity）叙述性反馈的“学习质量评估”（QuAL）评分自动化，在实现与人类评分者高度一致性的同时，确保了数据隐私。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在医学培训领域，学习不再仅仅是关于记忆事实，而是关于证明你能够胜任工作。现代教学项目依赖于一种系统，即对受训医生进行持续观察，看他们执行真实任务的表现，从管理患者护理到处理危机。这些观察记录下来的不仅仅是一个数字，还有书面评语。这些笔记是整个过程的生命线。它们告诉受训者哪些做得好，哪些需要改进，以及他们的行为如何与职业标准相联系。如果没有这些具体且高质量的笔记，受训者可能得到了分数，却仍不清楚如何改进。问题在于，撰写这些笔记是一项艰苦的工作，且书写质量差异极大。有些笔记细节丰富、建议明确；而另一些则含糊其辞或完全跑题。为了解决这个问题，教育工作者开发了一种衡量这些评论质量的方法，寻找三个特定的要素：对发生情况的证明、明确的改进建议，以及与学习目标的关联。但人工检查每一条笔记既缓慢又令人精疲力竭，这使得确保每位受训者都能获得应有的反馈变得十分困难。
阿尔伯塔大学的一组研究人员开始尝试研究计算机是否可以协助分担这项繁重的工作。他们想知道，一个能够理解人类语言的专门计算机程序，是否可以阅读这些成千上万条书面笔记，并像人类专家一样对其进行评分。其目标不是取代教师，而是构建一个能够在保持数据在医院和大学围墙内安全的条件下，处理海量工作的工具。他们专注于一种特定的医学培训形式，称为“可信专业活动”（Entrustable Professional Activities），在这种模式下，住院医师根据其执行特定职责的能力接受评估。研究人员从加拿大的一家机构中收集了来自 24 个不同住院医师培训项目的 5,000 多条书面评论。这些评论源自 2019 年至 2020 年间一年的培训。在计算机接触数据之前，这些笔记已经由人类专家使用标准清单进行了仔细的阅读和评分。这种人工评分作为“金标准”，即衡量计算机表现的正确答案。
研究人员构建了一个完全在他们自己的本地服务器上运行的计算机模型，确保任何敏感的患者或受训者信息都不会离开其安全环境。他们教导这个模型去寻找笔记中的三个关键要素：证据、建议和联系。对于证据部分，模型必须判断作者对实际发生情况的描述程度，范围从完全没有描述到非常详细的叙述。对于另外两个部分，它只需判断是否存在改进建议，以及该观察是否与更广泛的学习目标相联系。为了确保测试公平且具有现实意义，他们对数据进行了拆分，使同一名受训者的笔记绝不会同时出现在训练组和测试组中。这防止了计算机仅仅通过记忆特定受训者的写作风格来假装理解规则。
当研究人员让模型在未见的测试数据上运行时，结果令人鼓舞。计算机非常擅长识别一条笔记是否包含明确的改进建议，且大部分情况下都能判断正确。它在识别证据部分方面也表现出色，在绝大多数情况下都能正确判断描述的质量。虽然模型在寻找观察结果与学习目标之间的联系方面并非完美，但其表现已足够实用。当研究人员对比模型给出的每条笔记的总分与人类专家的评分时，他们发现，在超过 86% 的案例中，计算机的评分与人类专家的评分差距仅在 1 分以内。它所犯的错误通常很小，例如将 3 分评为 2 分，而不是那种会完全误导反馈质量的大错。
这项研究表明，这种在本地运行的计算机工具可以成为医学教育者的实用伙伴。它提供了一种在无需支付大量人力成本去阅读每一条笔记的情况下，监控多个项目反馈质量的方法。由于该模型在本地计算机上运行，它尊重受训者和机构的隐私，避免了将敏感数据发送给外部公司的风险。研究人员谨慎地指出，这是一个起点，而非最终的解决方案。该模型仍需在其他医院和实时场景中进行测试，以观察它长期来看是否能真正帮助教师和受训者。但研究结果表明，构建一个能够理解医学反馈细微差别的系统是可能的，这为确保每位受训者都能获得清晰、具操作性的指导以成为一名熟练医生提供了一种可扩展的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。