Validation asymmetry in generative AI–generated clinical educational content: a scoping review
这项针对161项研究的范围综述揭示了生成式人工智能生成的临床教育内容在验证方面存在显著的不对称性，即研究过度优先评估表征忠实度，而很大程度上忽略了对人口统计学偏见、缓解策略以及报告可复现性的评估。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象这样一个教室：老师是一个人工智能，它能够在几秒钟内编写医学案例研究、绘制解剖图谱，并模拟与患者的对话。这项被称为生成式人工智能的技术正迅速进入医学院以及针对护士、医生和其他医疗专业人员的培训项目。它承诺创造出无穷无尽的、流畅且合理的、并能针对特定学生量身定制的学习材料。但随着这些工具变得越来越普遍，一个关键问题出现了：仅仅因为人工智能能够产生一个动人的故事或一张逼真的图像，是否意味着其生成的内容在教学中是安全且公平的？核心问题不在于机器能否说话或绘图，而在于它生成的信息是否准确、是否公平地对待各类人群，以及用于创建这些内容的流程是否足够透明以值得信任。
最近一项对 2020 年至 2026 年间发表的研究进行的全面综述，正是为了回答这个问题。研究人员审查了 161 项研究，这些研究探讨了如何利用生成式人工智能来创建医疗专业领域的教育内容。他们并不关心学生是否喜欢人工智能，也不关心其运行速度有多快。相反，他们专注于三个特定的验证领域：医学事实是否正确、所呈现的人物和群体是否得到了公平的代表（即是否存在有害的刻板印象），以及用于修复错误的策略是否真正奏效。研究团队发现，在如何检查这些不同方面的做法上存在着显著的不平衡。虽然几乎每项研究都会检查医学事实是否正确，但很少有研究检查内容对不同人群是否公平，甚至更少有研究测试他们提出的修复方案是否真的解决了问题。
研究人员发现，在他们审查的 161 项研究中，有 156 项（即接近 97%）侧重于检查“表征保真度”（representational fidelity）。简单来说，这意味着他们正在验证人工智能的输出是否具有医学准确性、是否包含真实事实，以及是否避免了捏造信息或“幻觉”细节。这是一项至关重要的检查，因为学习从虚假诊断中获取知识的医学生可能会面临危险。然而，当研究人员寻找检查人口统计学偏差（例如，人工智能是否始终以刻板印象的方式描绘特定种族、性别或年龄，或者是否完全忽略了某些群体）的研究时，他们只发现了 21 项研究。这仅占总数的 13%。在这些少数关注偏差的研究中，有 18 项发现人工智能确实在复制刻板印象或产生不平衡的呈现。例如，一些生成的图像显示护士或医生仅属于单一的性别或种族；一些临床案例将特定疾病与特定族群联系起来，而这种联系并不符合现实。
这种关注度的缺失被作者称为“验证不对称”（validation asymmetry）。这表明该领域目前非常擅长询问“事实是否正确？”，但尚未开始询问“这是否对每个人都公平？”。该综述还强调，被测试的内容大多是文本，只有较少数量的研究涉及图像或对话。令人惊讶的是，在那些测试对话式人工智能（例如与学生交谈的虚拟患者）的研究中，没有一项明确检查过这些人口统计学偏差。这并不意味着这些对话中不存在偏差，而仅仅意味着目前还没有人去寻找它。研究人员还指出，虽然许多研究提出了修复这些错误的方法——例如更改给人工智能的指令或让专家进行人工审核——但只有极小部分研究实际上测试了这些修复方法是否有效。在少数测试了修复方法的案例中，结果褒贬不一，许多策略只能部分解决问题，而非彻底消除问题。
另一个重要的发现涉及透明度。为了使一项研究具有参考价值，其他科学家需要确切了解人工智能是如何被使用的，以便他们能够重复实验。然而，在 161 项研究中的 122 项中，作者并未报告生成内容时使用的具体设置或参数。如果没有这些细节，就无法知道如果今天重复这项研究，结果是否会相同，尤其是考虑到这些人工智能系统经常进行更新和迭代。综述还发现，大多数研究都没有报告研究资金来源或研究人员是否存在任何利益冲突，而这些都是建立研究可信度所需的标准细节。
本综述的结论并非认为生成式人工智能是有缺陷的，而是认为我们检查其工作的方式是不完整的。作者认为，为了让生成式人工智能生成的内容能够安全地用于教育，必须将其作为一种多维资源进行验证。这意味着，在医学院使用人工智能编写的案例研究之前，他们不仅需要核实诊断是否正确，还需要验证故事中所描述的患者是否代表了现实中多样化的人群，并且要确保任何旨在确保公平性的措施都经过了实际验证。仅关注事实准确性是不够的。随着这些工具成为医疗培训的标准组成部分，它们的验证标准必须扩展到包括公平性和透明度在内的领域，以确保未来的医疗教育建立在不仅聪明而且公正可靠的内容之上。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。