Systematic evidence mapping shows artificial intelligence dependence claims outnumber corresponding assessments in health professions education
这项系统性的证据图谱显示,在医学教育领域,关于人工智能依赖性的主张显著多于能够验证此类依赖性的相应评估,导致人工智能依赖的发生频率、因果效应以及对患者造成的影响仍未得到确立。
原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
在未来医生、护士和药剂师学习技艺的教室和培训中心里,一种承诺变革教育的新工具已经到来。这种工具是人工智能,一种能够检索海量信息、提供基于案例的实践并对复杂决策提供即时反馈的技术。对于学习者而言,这种辅助可以使困难的任务变得更简单、更快速。然而,一个超越了单纯便利性的根本问题出现了:如果一名学生依赖这个数字助手来解决问题,他们是否真的学会了如何独立解决该问题?担忧的核心不在于工具本身失效,而在于学习者可能会因为过于习惯这种支持,从而导致自身的独立能力逐渐退化。这就是“依赖”问题的核心。它在追问:学生在使用人工智能时所展示的技能和推理能力,究竟是他们自身的,还是仅仅是由于这种伙伴关系的结果,而这种关系在机器关闭的那一刻便会崩塌。理解这一区别对于患者安全至播至关重要,因为医疗专业人员必须能够在技术不可用,或者更糟糕的情况下——当技术提供错误建议时,仍能验证信息并做出明智的判断。
为了调查这一问题,四川大学的一个研究小组对现有的科学文献进行了系统性搜索,以了解关于这一问题的实际证据究竟存在多少。他们不仅仅是在询问人工智能是否有助于学生学习,而是专门寻找那些声称人工智能可能导致依赖的研究,并检查这些研究是否真正测量了这种依赖性。研究人员关注了依赖可能表现出的六种特定方式:对机器的过度依赖、将脑力劳动外包给机器、即使在机器出错时也过度信任机器、移交决策权、推理能力的削弱以及实践能力的退化。他们从四个主要的科学数据库中收集了近 14,000 条记录,并在经过严格的筛选过程以剔除重复和无关的论文后,将范围缩小到 150 篇涉及健康专业教育中人类参与者的高质量报告。这些报告构成了他们分析的核心。
随后,研究人员进行了一项细致的匹配练习。他们查看了这 150 篇报告中的每一篇,看作者是否对其中一种依赖现象做出了明确的陈述。例如,如果一份报告声称学生正在变得过度依赖人工智能,研究人员就会检查该报告是否包含了一个旨在测量过度依赖的具体测试。他们发现,陈述与测试之间存在着显著的差距。在 150 篇报告中,有 82 篇至少做出了关于依赖性的明确陈述。然而,只有 13 篇报告包含了符合严格设计标准、足以实际测试该特定现象的评估方法。更为关键的是,只有 9 篇报告成功地将陈述与针对同一现象的妥当评估联系起来。这意味着,在绝大多数讨论人工智能依赖风险的研究中,作者并未提供证明该风险确实正在发生的具体证据。
在观察特定类型的依赖时,情况尤为明显。研究人员发现,有 75 篇报告提出了关于“过度依赖”的陈述,但其中只有 5 篇使用了能够测试它的设计。关于“推理能力削弱”的陈述出现在 57 篇报告中,但仅有 2 篇包含了适当的测试。对于“技能退化”,有 18 篇报告声称其正在发生,但没有一篇报告将此类陈述与能够实际测量技能在移除人工智能后是否下降的研究设计相匹配。少数试图测量这些效应的研究往往缺乏一个关键要素:即明确确认在最终测试期间人工智能是不可用的。如果不能确定学生是在独立工作,就无法判断其表现是独立的还是仍受工具的影响。一些研究确实观察了延迟后的表现,但在大多数情况下,研究人员无法核实学生是否仍在利用人工智能,或者测试条件是否真正隔离了学习者与机器。
研究结果表明,虽然科学界正在积极讨论人工智能依赖的潜在危险,但证据基础尚未准备好去证实这些危险发生的频率或其真实影响。研究人员指出,一些研究显示学生在有人工智能存在时整体表现更好,但这种表现的提升往往掩盖了另一种现实:当人工智能给出错误建议时,学生识别错误的能力显著下降。这凸显了学习者使用工具的成功并不等同于他们的独立能力。研究还发现,极少有研究探讨这些教育动态如何影响真实的患者,仅有极少数报告涉及实际的患者数据或结局。作者得出结论,目前的科研体系无法估算人工智能依赖的频率、其因果效应以及对患者护理的影响。
这并不意味着人工智能在健康教育中没有地位,也不代表依赖是不可避免的。它仅仅意味着目前的科学文献尚未提供回答该问题所需的特定、高质量的证据。研究人员强调,不同类型的依赖需要不同类型的证明。例如,要证明一名学生在没有帮助的情况下失去了推理能力,需要进行一项测试,让学生在一段时间使用工具后独立工作,并有一个清晰的基准进行对比。在研究设计具备这些特定要求之前,关于人工智能依赖的讨论在很大程度上仍停留在理论层面。未来的路径在于建立能够清晰区分“学习者表现”与“学习者加工具表现”的研究,从而确保在数字支持撤离后,人类专业人员依然能够完全胜任。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。