Metric-dependent evaluation of a retrieval-augmented large language model workflow for oral squamous cell carcinoma treatment planning: a retrospective study
这项回顾性研究表明，四种具备检索增强生成（RAG）能力的语言大模型在口腔鳞状细胞癌治疗方案规划方面的排名，会因所使用的评估指标不同而产生显著差异，从而凸显了依赖单一综合评分来确定临床模型性能的局限性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，一位医生正坐下来为一名口腔癌患者制定治疗方案。这并非一项只需寻找唯一正确答案的简单任务。决策取决于肿瘤的确切位置、扩散程度、患者的整体健康状况以及他们的个人偏好。即使医生遵循着最佳的医学指南，他们也可能为同一位患者选择不同但同样有效的路径。一位医生可能会先建议手术，而另一位则可能建议放疗。两种方案在医学上都是合理的。这种复杂性使得测试计算机程序是否能帮助医生做出此类决策变得非常困难。如果一个计算机程序提出的方案看起来与几年前一位人类医生写下的方案不同，那么这个程序是错误的吗？还是它只是提供了一个不同的、同样好的解决方案？
这个问题处于最近一项关于人工智能在医学领域应用研究的核心。研究人员想要观察大语言模型——即通过理解和生成人类语言来训练的、掌握海量文本信息的计算机程序——是否能够帮助规划口腔鳞状细胞癌（一种常见的口腔癌类型）的治疗方案。这些模型通常会与一种称为检索增强生成（Ragen-Augmented Generation）的系统配合使用。可以把这想象成给计算机一本医学书籍和指南库供其在撰写答案前进行查阅，而不是让它仅仅依赖于其训练时所记忆的内容。目标是观察这些人工智能系统能否产生与经验丰富的人类医生所创建的方案质量相当的治疗方案。
研究人员从中国的一家医院收集了100个真实的口腔癌病例。这些病例涵盖了从29岁到89岁的患者，平均年龄接近60岁。大多数患者为男性。对于每一个病例，团队将患者的医学细节输入到四个不同版本的AI系统中。每个系统都配备了相同的医学指南和研究论文库。随后，AI为每位患者生成了一份治疗方案。研究人员将这些AI生成的方案与过去人类医生为这些患者制定的实际治疗方案进行了对比。
为了进行这种比较，团队使用了几种不同的方法。他们让一个AI系统充当评委并为方案评分；他们使用计算机程序来衡量AI的措辞与人类医生的措辞之间的相似度；他们还利用一种数学意义上的度量方式，观察AI的想法与医生的想法在含义上的匹配程度；最后，他们请五位经验丰富的头颈部癌症专家在不知道方案来源的情况下（盲审）对方案进行了评审，并从安全性、逻辑性和实用性方面进行了评分。
结果令人惊讶，并揭示了关于如何测试医疗AI的一个关键教训。当研究人员查看评分时，发现取决于使用哪种衡量方法，表现“最好”的AI也会随之改变。一个名为Qwen的AI系统在被另一个AI评判时得分最高；另一个系统Doubao在衡量含义对齐程度时，与人类方案最为相似；第三个系统Claude在措辞上与人类方案最为接近。然而，当人类医生评审这些方案时，他们给出了完全不同的排名，更倾向于另外两个系统。
这一发现表明，不存在一种单一且完美的衡量标准来判定哪个AI是最好的。如果仅通过计算一个程序与人类方案共享了多少词汇来评估，它看起来可能表现出色，但这并不意味着它做出了正确的医学决策。相反，一个程序即便使用的词汇完全不同，仍可能提供一份安全且有效的治疗方案。研究发现，这些计算机程序能够生成看似合理的治疗方案，但研究人员无法证明其中任何一个系统具有优越性，也无法证明它们已经准备好在医院中独立投入使用。
研究人员谨慎地指出，本研究并未证明某些结论。由于他们仅查看了过往记录，因此无法判断AI是否能在实时环境下改善患者预后或防止错误。他们也无法区分AI的“资料库”与AI自身智能所产生的影响，因此无法确定增加的医学书籍是否起到了作用。此外，该研究并未测试AI是否能够处理真实诊疗过程中那种动态的、医患互动的复杂情况。
最终，这项研究表明，评估医疗AI远比简单地给它一个测试分数要复杂得多。衡量方式的不同会改变谁看起来是“赢家”。为了让这些工具在未来变得安全且有用，它们需要接受更严格的测试，需要人类医生与其协同工作，以确保这些方案不仅在文本上与过去的记录相似，而且在本质上对患者是安全且有益的。在此之前，最重要的发现是我们必须非常谨慎地去判定，究竟哪一个计算机程序已经准备好参与拯救生命。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。