Reliability and Feasibility of a Multi-Source, Competency-Based Evaluation System for Surgical Sub-Internship Students: A Single-Institution Pilot Study
这项单中心试点研究表明，一种针对外科实习生（sub-interns）开展的简便、多源、基于能力的评估系统具有极高的评分者间信度和可行性，且评估者负担极低，从而支持了其在具有高风险性的住院医师选拔中应用的潜力。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在为一家繁忙的餐厅招聘一名新厨师。通常情况下，你可能只会询问主厨：“这个人看起来还可以吗？”然后根据这单一的意见做出决定。但如果主厨因为太忙而没能全程观察，或者他们只在学生表现最好的时候见过他呢？你会希望有一个更好的系统，来观察这位新员工是否真的准备好应对晚餐高峰期的挑战。
这篇论文是关于测试一种全新的“成绩单”系统，该系统面向的是正在进行最后实操演练（称为“实习医生/Sub-Internship”）的医学生，他们之后将成为真正的外科医生。其目标是观察这种全新的、结构化的评分方式是否比旧有的、非正式的评分方式效果更好。
以下是他们所做的工作和研究结果，使用了简单的类比：
问题所在：“猜谜游戏”
目前，当医学院挑选住院医师时，往往依赖于一位医生提供的单一推荐信。这就像是根据机场经理的一次简短谈话就决定雇佣一名飞行员，而没有检查飞行日志，也没有询问副驾驶。这可能会导致不公平、缺乏一致性，并且无法全面了解学生的实际表现。
解决方案：“360度评分卡”
研究人员构建了一个新的数字化成绩单。他们不再仅仅让一个人给学生打分，而是要求三个不同的群体填写：
- 老板们： 主治外科医生（就像主厨）。
- 同伴们： 其他住院医师（就像与学生并肩工作的副厨）。
- 支持人员： 护士和技术员（就像观察学生如何对待整个团队的洗碗工和侍者）。
这份成绩单并没有问“这个学生好吗？”（这太笼统了），而是针对六个关键领域提出了具体问题，例如：“他能熟练使用手术刀吗？”（技术技能）、“他掌握食谱了吗？”（临床知识）以及“他在压力下是否彬彬有礼？”（职业素养）。他们使用了简单的1到5分制，类似于给电影评分。
测试过程：为期5个月的试点
他们在一家医院进行了为期五个月的试点测试。八名学生完成了他们的轮转，工作人员填写了24份此类数字化表格。这些表格的设计非常快捷，就像在手机应用上点咖啡一样，完成大约只需要 3分钟。
研究结果：新系统有效吗？
研究人员想知道两个问题：
- 可靠性： 如果不同的人对同一个学生进行评分，他们会达成一致吗？（如果一个人给“5星”，而另一个人给“1星”，那么这个系统就失效了）。
- 可行性： 这对工作人员来说工作量是否过大？
以下是他们的发现：
- 快速且简便： 工作人员完成表格仅需约3分钟。它没有拖慢医院的节奏。
- “大局观”评分极具一致性： 当涉及到最重要的核心问题时——“这个学生准备好当外科医生了吗？”以及“他们的技术技能如何？”——不同的评估者（医生、住院医师和支持人员）几乎达成了完美的共识。这就像如果你请五位不同的美食评论家来评价一道菜，他们都给出了五星好评。
- “知识”评分表现尚可： 在评估学生医学知识水平方面，评估者之间达成了中度的共识。
- “职业素养”评分比较棘手： 有趣的是，对于“做一个好人”这类问题的评分对于所有人来说都非常高，以至于系统无法区分出明显的差异。这就像是一个所有学生在考勤上都拿“A”的班级；所有的成绩都一样，所以数学计算看起来很奇怪，但这仅仅意味着大家都很准时！该系统仍然有效，因为它设有专门的“红旗/警示”板块，用于记录严重的异常情况。
- 不存在偏见： 无论是老板还是同伴填写表格，他们给出的分数都很接近。这意味着无论谁来评分，系统都是公平的。
- 它捕捉到了问题： 该系统成功标记了表现挣扎的学生。大约17%的评估包含了一条“关注”备注，系统确保这些内容被清晰地记录下来，以便招聘委员会能准确了解到底哪里出了问题。
总结
研究人员得出结论，这种全新的、多维度的成绩单是一个可靠且稳健的工具。它提供了一个清晰、一致的视角，用以判断一名学生是否已准备好胜任工作，且不会占用过多繁忙医护人员的时间。
他们指出，这只是一个小规模测试（“试点”），涉及的学生人数较少。为了使其趋于完美，他们表示需要在更多医院和更多学生中进行尝试，以微调数据。但就目前而言，这证明了这种结构化的、基于团队的评分方式是可行且有效的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。