Accuracy and Limitations of AI Scoring for Objective Medical Interview Checklist Items in a Year-One School of Medicine Objective Structured Clinical Examination (OSCE)

在医学院中，学习如何与患者交流与学习如何进行体格检查同样重要。为了确保学生能够应对现实世界，教育者使用一种被称为“客观结构化临床考试”（Objective Structured Clinical Examination）的测试方法。在这种情境下，学生会坐在一名扮演患者的专业训练演员面前。学生必须通过提问来收集病史，而演员则根据一份严格的清单，针对学生询问了哪些内容以及表现如何进行评分。这一过程是教授临床技能的金标准，但其劳动强度也极高。它需要演员投入大量时间进行培训，因为演员既要保持一致性，又要对学生的表现进行评判；同时，这也要求教职人员花费无数小时审查这些互动过程，以确保公平性。随着人工智能在倾听对话和理解语言方面变得越来越强大，教育者开始思考，计算机是否可以接管评分工作。人们希望机器可以听取录音，勾选出所需的题目，并以人类所需时间的极小部分完成评分，从而释放资源用于更多的教学工作。

德克萨斯大学加尔维斯顿分校的一支研究小组致力于测试这一想法，并设定了一个明确的目标：观察人工智能是否能够准确地为医疗访谈中的客观部分评分。他们将重点放在了一项涉及234名学生的医学院一年级考试上。在这场考试中，学生在采访标准化病人时被录音，且人类演员已经根据十二项特定的清单项目（例如询问疼痛的位置、症状的严重程度或患者的家族史）对他们进行了评分。研究人员将这些互动的视频录像转化为文本转录稿。随后，他们将这些转录稿输入到一个配备了人工智能的软件平台中，并利用旨在寻找这十二项清单项目的提示词对其进行编程。计算机被要求扮演评分员的角色，根据它在文本中检测到的每一项内容给予一分。团队随后将计算机生成的评分与人类演员给出的评分进行了对比，寻找差异并试图理解产生差异的原因。

结果显示，人工智能是一个称职但并非完美的助手。当研究人员将计算机的成绩与人类的成绩进行比较时，发现两者具有中度的吻合度。计算机给出的平均总分与人类给出的平均分几乎一致，计算机给出的平均分为11.51分（满分为12分），而人类给出的平均分为11.60分。在时间方面，差异非常显著。人类的评分过程（包括培训演员和审查考试）大约耗时56小时。而计算机在系统设置完成后，仅用不到三小时就分析了所有234场访谈并生成了评分。这表明，对于检查医疗访谈中事实性问题的特定任务，机器可以以惊人的速度和高度的一致性完成繁重的工作。

然而，这项研究也揭示了机器出错的具体之处。在近2,800次单独的评分决策中，出现了83次计算机与人类演员意见不一的情况。当研究人员仔细查看这些错误时，他们发现了四个主要的偏差原因。首先，计算机完全依赖于它所阅读的文本质量。如果音频录制声音过小、两人同时说话，或者背景噪音干扰了对话，转录软件可能会遗漏单词或误听单词。例如，如果学生询问疼痛是否“放射”（radiated）到身体其他部位，但计算机将其转录为“共振”（resonated），那么AI就无法识别出正确的医学术语，从而会将该问题标记为缺失。

其次，计算机在处理人类真实的说话方式方面存在困难。学生经常以独特或间接的方式组织问题，人类演员能立即理解，但如果计算机正在寻找特定的词汇，它可能会忽略这些表达。如果学生问“疼痛是否停留在同一个地方？”而不是预期的“疼痛是否放射？”，人类可能会因为理解了概念而给予分数，但遵循僵化规则的计算机可能不会。第三，计算机无法看到或听到非语言信号。在真实的访谈中，患者可能会点头或指着肚子来回答问题，人类演员会据此给予学生相应的评价。由于计算机只能读取文本转录稿，它无法看到点头或指点的动作，因此会将该问题标记为未回答。最后，还存在判断上的差异。有时人类演员会根据学生意图表达的隐含意义给予分数，而计算机则要求学生必须说出清单上写的精确词汇。

研究人员得出结论，虽然人工智能是加速对结构化、客观清单进行评分的强大工具，但它尚未准备好完全取代人类的判断。计算机擅长在转录稿中寻找特定词汇，但缺乏理解语境、语气以及学生提问背后微妙意图的能力。研究表明，这项技术的最佳用途是作为一种辅助工具。它可以处理初步的评分工作，为教育者节省数十小时的时间，但仍需由人类进行复审，以捕捉因音频质量差、表达独特或非语言沟通而产生的错误。在技术能够可靠地解读人类对话的全部细微差别（包括那些言外之意）之前，评估学生临床技能的最终决定权必须保留在人类手中。未来医学教育评估的发展方向可能是一种协作关系：由机器处理大量的重复性工作，由人类负责判断，从而确保学生获得公平且高效的评分。