Measuring AI Readiness in Health Professions Education: Development and Validation of the AI Competence and Preparedness Evaluation Resource (AICPER)
本研究展示了 AICPER 的开发及其严谨的心理测量学验证,该工具是一个旨在评估卫生专业受训人员在功能、伦理和教育领域对人工智能看法的多维量表,并证明了其在护理、药学和公共卫生项目中具有极高的信度和结构效度。
原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你正试图教一群未来的医生、护士和公共卫生专家如何使用一种全新的、超级智能的机器人助手。在你可以构建完美的培训手册之前,你需要准确了解学生们对这个机器人的看法。他们是热爱它?还是担心它会犯错?他们是否认为用它来做作业属于作弊?
长期以来,用于询问这些问题的工具就像是用一把尺子去测量温度——它们并不适合这项工作。这些工具往往过于简单,只关注某一类学生,或者是在“生成式人工智能”(即能写文章、创作图像的那种 AI)爆发之前编写的。
于是,AICPER 出现了。可以将它想象成一个全新的、高科技的“AI态度温度计”,专门为美国的健康科学专业学生设计。来自罗格斯大学(Rutgers University)的一个研究小组开发了这个工具,旨在观察护理、药学和公共卫生专业的学生对人工智能的真实感受。
重大发现:不在于“在哪里”,而在于“如何看待”
研究人员在最初构建 AICPER 时,认为他们测量的是 AI 使用的三个特定场景:临床实践(在医院中)、研究(在实验室中)和教育(在课堂中)。他们预期答案会自然地归入这三个整齐的类别中。
但转折点来了:学生的思维并没有那样分类。当研究人员进行数据分析时,这些“类别”重新排列组合成了基于“感受”而非“地点”的三种全新范畴。
- 功能性益处(“酷工具”因素): 这一组衡量学生在多大程度上认为 AI 会让他们的工作变得更轻松、更快速、更聪明。这就像是在问:“这个机器人能帮我搬重箱子吗?”
- 伦理与信任(“担忧”因素): 这一组捕捉的是恐惧感。机器人会犯错吗?它会有偏见吗?我们能把患者的隐私交给它吗?这就是“这个机器人会抢走我的工作或对我撒谎吗?”这一类。
- 教育参与度(“学习”因素): 这衡量了学生对 AI 相关学习的参与程度。这就是“我想上一门关于这个主题的课”这一类。
研究发现,这种新的三部分结构比仅仅询问“你是否喜欢在医院使用 AI”更能深入理解学生。一个学生可能认为 AI 是节省时间的绝佳工具(高功能性益处),但同时又对它的伦理风险感到恐惧(低伦理与信任)。旧的工具会错过这种细微差别,但 AICPER 能够捕捉到它。
他们是如何测试它的(“压力测试”)
为了确保这个新温度计确实有效,研究人员并没有仅仅靠猜测。他们通过涉及 193 名学生和 7 位专家评审的严格压力测试来验证它。
- 专家: 七位拥有高级学位的聪明人士检查了每一个问题,以确保其合理性。他们一致认为这些问题具有相关性,使该工具获得了 0.86 的“内容效度”得分(这是一个非常好的分数)。
- 学生: 193 名来自护理、药学和公共卫生专业的学生参与了调查。
- 数学: 研究人员使用了高强度的统计学方法(如“探索性因子分析”和“验证性因子分析”)来观察这些问题是否能够紧密结合。结果如何?该工具表现得非常出色。其内部一致性得分为 0.86,这意味着这些问题可靠地测量了同一种潜在的感受。
数据说明了什么
这项研究不仅仅是说“它有效”,它还给出了具体的数字来支持这一点:
- 最终的工具包含 18 个问题(他们剔除了两个不符合要求的题目)。
- 这三个因子(功能性益处、伦理、参与度)既相互独立又相互关联,其相关系数在 0.42 到 0.61 之间。
- 该工具对护理、药学和公共卫生专业的学生同样适用。研究人员通过对比各组数据进行了检查,发现不同专业在回答问题时的差异极小(-0.001),这意味着护士和药剂师使用的是同一种“语言”进行回答。
它“不是”什么(“排除清单”)
了解这篇论文“没有”声称的内容非常重要。
- 它不是万能灵药: 论文明确指出,对于某些部分,这只是一个“初步”步骤。他们使用了同一组学生来进行结构发现和结构确认。虽然他们使用了先进的数学方法(通过 2,000 次重复的自助抽样法/bootstrap resampling)来证明结果的稳定性,但也承认,在另一组学生身上进行测试是下一步必须完成的工作。
- 它还不完美: 研究人员注意到,一些“反向计分”的问题(即需要通过理解“否”来表达“是”的问题)产生了一些额外的噪声。大约 24.8% 的变异是由问题的表述方式引起的,而非仅仅是学生的观点。他们建议未来的版本应通过重新措辞使其更加清晰。
- 它目前还不适用于所有人: 该研究仅包含了护理、药学和公共卫生专业的学生。它并未包含医学生(未来的医生),因此我们目前尚不能确定它是否也适用于他们。
总结
AICPER 是一个经过严格测试的、包含 18 个条目的工具,它成功测量了健康科学专业学生对 AI 的态度。它证明了学生的态度不仅关乎使用 AI 的“地点”,更关乎三个核心感受:效用、信任和参与度。
研究人员建议,学校领导可以利用这个工具来找出学生究竟卡在了哪里。如果一个班级的学生很认可其益处但对伦理感到恐惧,他们就可以针对性地开展课程来消除这种恐惧。如果学生在伦理方面表现良好但不想学习技术,那么可以尝试不同的教学方法。
虽然论文在称其为“最终解决方案”方面有所保留(因为仍需更多测试),但它为在复杂的健康教育领域中导航 AI 就绪度提供了一份首个坚实的、经过验证的地图。它将模糊的猜测转化为了清晰的三维图景。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。