AI-Benchmarked Analysis of Department-Specific ICU Exit Exam Performance: A Cross-Sectional Study
这项横断面研究表明，尽管 AI 模型 DeepSeek-V4-Pro 在 ICU 出院考试中的整体表现优于住院医师，但显著的性能差距在不同科室和问题类型之间存在差异，这凸显了双重参考 AI 基准测试框架在识别针对性学习需求方面的效用，尽管仍需进一步验证。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代医院中，重症监护室（ICU）是患者最为脆弱的场所，而负责护理他们的医生必须具备卓越的技能。为了确保住院医师医生做好应对这种高风险环境的准备，许多国家的医学院要求住院医师在毕业前必须在ICU轮转一个月。在轮转结束时，他们要参加一项书面考试，以证明他们已经掌握了所需的知识。多年来，教育工作者一直在思考，住院医师所接受的专业类型——无论是外科医生、心脏专家还是全科医生——是否会影响他们在这些测试中的表现。与此同时，一种新型工具进入了讨论范围：人工智能。这些被称为大语言模型的计算机系统已经展示出它们能够阅读医学教科书并以惊人的准确度回答复杂问题的能力。对于教育工作者而言，核心问题不再仅仅是这些机器能否通过考试，而是它们能否作为一个可靠的标尺来衡量人类的学习情况，从而帮助精准识别不同类型的医生在哪些方面需要更多帮助。
中国温州医科大学的一个研究小组决定对这一想法进行测试。他们收集了412名刚刚完成为期一个月ICU轮转的住院医师的考试成绩。这些医生来自六个不同的背景，包括内科、外科和麻醉科。研究人员想要观察医生的原所属科室是否会对他们的得分产生影响，并且他们想看看一个特定的人工智能模型——DeepSeek-V4-Pro——在面对完全相同的题目集时表现如何。该考试规模宏大，由300道题组成，涵盖了不同的题型。有些题目考察基础事实，有些题目呈现了一个简短的患者案例并要求选择一个最佳答案，而最后一组题目则要求医生分析一个复杂的病例，并从列表中选出所有正确的选项。
研究人员将这3al 300道题目中的每一道都输入到了人工智能模型中。计算机被指令扮演一名考生，仅提供答案的字母，而不进行任何额外解释。当结果出来时，计算机模型的正确率为85.7%。人类医生的平均得分则为80.8%。这意味着人工智能的表现优于整个医生群体。然而，对于每种类型的题目，情况并不尽相同。计算机在基础事实题和单选题（案例故事题）上的表现明显更好。但当涉及到考试中最复杂的部分——即要求医生从列表中选择多个正确答案的病例分析题时，人类医生的表现实际上略好于机器。医生在这些高难度题目上的得分比机器高出约2.7个百分点，这种微小但真实的优势表明，在某些类型的批判性思维任务中，人类仍然保持着轻微的领先地位。
研究人员随后深入分析了人类的得分情况，以观察医生的原所属科室是否具有重要意义。即使在考虑了不同培训年限对应不同版本考试的因素后，明显的差异依然存在。外科部门的医生平均得分低于内科和其他临床专业。麻醉科组的得分也低于内科和其他临床组。这表明，即便在所有人都完成了同一个月的培训之后，医生所处的背景仍然会影响他们在ICU结业考试中的表现。这并不意味着针对这些群体的培训失败了，但它确实强调了他们的起点或特定的学习需求可能有所不同。
为了使这些发现具有教学价值，研究人员创建了一种寻找“薄弱环节”的新方法。他们将每个科室在每种题型上的表现，分别与两项指标进行了对比：一是其他所有科室的平均表现，二是人工智能取得的分数。他们旨在寻找特定医生群体得分既低于同行又低于计算机的情况。他们发现了13种这样的情况。在其中8个案例中，这种差距在统计学上是显著的。例如，外科组在基础事实题上的表现与计算机相比存在巨大的差距，得分低了近18个百分点。同样，麻醉科组在基础事实方面也表现出相对于计算机基准值的落后。这些结果起到了信号的作用，指向教育工作者，提示他们在哪些特定领域，某些类型的医生可能需要额外的复习或不同的教学策略。
该研究谨慎地指出，这些发现是一个起点，而非最终定论。这项研究是在一家医院进行的，其研究设计意味着它无法证明是ICU轮转导致了得分差异，只能证明这些差异在轮转结束时确实存在。此外，人工智能对每道题仅进行了一次测试，而计算机模型在被问及同一问题时有时会给出不同的答案。尽管存在这些局限性，这项工作仍提供了全新的视角。它表明，人工智能可以作为医学知识的一个稳定基准，在标准问题上的表现优于平均水平的住院医师。更重要的是，它展示了一种利用该基准来识别不同医生群体间学习差距的方法。在这些信号被用于改变医学院课程设置之前，还需要通过更大规模的研究来证实，但这种方法为理解医生的学习过程提供了一个极具前景的新工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。