MedErrBench: A Fine-Grained Multilingual Benchmark for Medical Error Detection and Correction with Clinical Expert Annotations
本文介绍了 MedErrBench，这是首个针对英语、阿拉伯语和中文的医疗错误检测、定位及纠正的多语言基准测试，该基准利用临床医生标注的数据来评估语言模型，并揭示了非英语环境下显著的性能差距。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你是一名医生，但你治疗的不是病人，而是文字。你的工作是阅读一份病人的医疗记录，找出其中的错误（比如错误的诊断或糟糕的药物建议），指出错误具体在哪里，然后将故事重新改写正确。
这篇论文介绍了一个全新的、用于人工智能（AI）练习这项技能的“健身房”，叫做 MedErrBench。以下是他们所做工作的拆解，使用了简单的类比：
1. 问题所在：AI 在医院里“产生幻觉”
目前，AI 模型（比如那些帮你写邮件或和你聊天的模型）正在被应用于医疗领域。但就像一个只背下了教科书却不了解现实世界的学生一样，这些 AI 有时会犯下危险的错误。它们可能会建议错误的药物，或者误读实验室检测结果。
问题在于，我们之前没有一个好的方法来测试它们。
- “考试”缺失： 在此之前，只有一个旧的、仅限英语的测试（就像是一次单一的练习测验）。
- “问题”太简单： 它们没有涵盖现实医疗中混乱且复杂的情况。
- “语言”受限： 大多数测试仅限于英语，但世界上的语言多种多样。
2. 解决方案：一场全新的、多语言的“医学趣味问答”游戏
作者们构建了 MedErrBench，一个庞大的、全新的测试场。你可以把它想象成一场三语医学趣味问答游戏（英语、中文和阿拉伯语），专门设计用来捕捉 AI 的错误。
- 教练： 他们并没有仅仅让计算机来生成问题。他们聘请了真正的医生（临床专家）来担任教练。这些医生审查了每一个问题，以确保医学事实的准确性和错误的真实性。
- 类别： 他们创建了一个包含 10 种错误类型的“菜单”。想象一下一个检查清单，包括：
- 诊断： “你认为是感冒，但实际上是肺炎。”
- 药物治疗： “你开了一种患者过敏的药物。”
- 解剖学： “你说肝脏位于身体左侧。”
- 流行病学： “你声称某种疾病比实际情况更常见。”
- “错误注入”： 为了测试 AI，团队提取了正确的医学故事，并秘密地替换掉一个错误的事实（比如改变药物名称或检测结果）。然后，他们询问 AI：“这里有错误吗？错误在哪里？请修复它。”
3. 测试：让 AI 模型处于热座之上
他们选取了一系列不同的 AI 模型并让他们参加这次测试。他们将模型分为三组：
- 通用型选手： 规模巨大、著名的 AI 模型（如 GPT-4），它们博学多才，但涉猎广泛。
- 专业型选手： 针对特定语言构建的模型（如中文或阿拉伯语模型）。
- 医学专家型选手： 专门针对医学教科书和论文进行训练的模型。
结果（计分卡）：
- “医学专家”模型并未胜出： 令人生疑的是，那些仅在医学数据上训练的模型并不总是表现最好。它们擅长掌握事实，但在识别特定故事中某个事实是否“错误”方面表现较差。
- “通用型”选手表现尚可，但在语言方面遇到困难： 这些聪明的大型模型在英语方面表现良好，但在中文和尤其是阿拉伯语方面的表现显著下降。
- “专业型”选手在各自的领域表现出色： 专门为中文或阿拉伯语构建的模型在这些语言中的表现远优于通用模型。
- “难题”： 当测试变得更难（需要连接多个线索）时，大多数模型都显得力不从心。
4. 核心启示
论文得出结论：你不能仅仅把一个英文医学测试翻译成阿拉伯语或中文，就期望它能奏效。
- 类比： 这就像是拿一份在靠右行驶国家编写的驾照考试，翻译到靠左行驶的国家，却期望驾驶员能够通过。规则和“路感”是不同的。
- 教训： 为了让 AI 在全球医疗领域保持安全，我们需要为每种语言构建原生的测试工具，并由当地医生进行指导，而不仅仅是进行翻译。
总结
作者构建了一个经医生认可的多语言“找错”测试，用以观察 AI 在发现医学错误方面的能力。他们发现，虽然 AI 正在进步，但在处理非英语语言和复杂的医学推理方面仍然存在困难。他们公开了这个测试，以便其他研究人员可以使用它，为全世界构建更安全、更智能的医疗 AI。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。