Polish-English medical knowledge transfer: A new benchmark and results
本文介绍了一个新的波兰语-英语医学基准测试，该基准测试源自超过 24,000 道执业医师及专科医生考试题目，旨在评估最先进的大型语言模型相对于人类的表现，结果显示，尽管顶尖模型已接近人类水平，但在跨语言翻译和特定领域理解方面仍面临重大挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
人工智能已经学会了以往往能与人类对话相媲美的流利度进行阅读和写作。这些被称为大型语言模型的系统，通过在来自互联网、书籍和文章的海量文本上进行训练，使其能够回答问题、总结故事并解决问题。然而，它们的知识分布并不均匀。由于用于教导它们的绝大部分数据来自英语来源，这些模型理解英语的能力往往远高于其他语言。当这项技术应用于医学等专业领域时，这便产生了一个显著的差距，因为指南、疾病和治疗方法在不同国家可能各不相同。如果一名波兰医生依赖于主要基于美国或英国医学数据训练的 AI，其提供的建议可能并不符合当地的实际情况，从而可能导致诊断或治疗中的错误。
波兰的研究人员着手测量这些“人工大脑”在被要求像波兰医生一样思考时表现究竟如何。他们创建了一个新的测试场，该测试场基于医学生和专家在波兰执业必须通过的实际考试。这些考试非常严格，涵盖了从基础解剖学到复杂外科手术的所有内容，并且是用波兰语编写的。研究团队收集了来自这些真实世界测试的 22,000 多个问题，其中包括一些已被专业翻译成英语的问题。通过将这些问题输入各种 AI 模型，他们可以观察这些机器是否能通过与人类学生相同的障碍，以及问题的语言是否会改变结果。
结果揭示了这些模型现状的一个清晰图景。最先进的人工智能系统，特别是被称为 GPT-4o 的模型，表现得非常出色，在通用医学执照考试中回答了近 90% 的问题。这一得分足以让该模型与典型的医学生一起通过考试。然而，当问题变得更加困难或专业化时，情况发生了变化。当研究人员将模型应用于牙科专业学生考试以及针对医学专家的进阶测试时，得分显著下降。即使是表现最好的 AI 在牙科考试上也显得吃力，而在专家考试中，它在所测试的 30% 以上的医学领域中未能超越平均水平的人类医生。在某些特定领域，如听力学以及耳鼻喉科，AI 的表现甚至比当年参加考试的所有人类都要差。
这项研究的一个关键部分是比较模型处理波兰语与英语相同问题的表现。研究人员发现，对于大多数模型而言，语言起到了巨大的影响。当问题用英语提问时，AI 比用波兰语提问时更有可能答对。这表明，这些模型并非在以一种普遍的方式理解医学概念；相反，它们是在依赖从英语文本中学习到的模式。随着模型变得更大、更强大，这种语言间的差距开始缩小，但并未完全消失。虽然有一个专门为波兰语设计的模型在处理波兰语问题时比处理英语问题表现更好，但它仍然无法与那些在被问及英语时展现出原始力量的最大型通用模型相媲美。
研究还强调，通过多项选择题测试并不等同于成为一名称职的医生。研究中所使用的考试是书面考试，学生需从一组选项中选择正确答案。然而，真实的医疗实践涉及与患者交流、倾听他们的故事、检查他们的身体，并在没有唯一正确答案的情况下做出决策。研究人员强调，尽管这些 AI 工具令人印象深刻，但它们尚无法取代医院中所需的人际互动和复杂的判断力。这些模型可以作为有用的助手，帮助整理信息或起草报告，但它们尚未准备好取代执业医师。
最终，这项工作是对未来医疗技术的警示与引导。它表明，虽然人工智能在回答医学问题方面正在变得越来越好，但它还不够可靠，还不能被盲目信任，尤其是在语言或特定医学专业发生变化的情况下。研究结果表明，在这些工具投入临床使用之前，必须在它们将要使用的特定语言和背景下进行严格测试。英语与波兰语表现之间的差距证明，不能简单地假设一个基于一套数据训练的模型可以在另一套数据环境下完美运行。随着技术的不断演进，目标是创造出不仅聪明，而且对世界各地患者都公平且准确的系统，无论他们使用哪种语言。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。