IyàwóBench: A Benchmark for Evaluating Large Language Model Clinical Triage Accuracy on Undifferentiated Febrile Illness in Nigerian Primary Health Settings
本文介绍了 IyàwóBench，这是首个用于评估大语言模型在尼日利亚初级保健中对未分化发热疾病进行临床分诊的基准，结果显示，尽管现代模型通过避免危险降级展现了较高的安全性，但其诊断准确性存在显著差异，而专门依据世界卫生组织指南构建的系统可大幅提升该准确性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下尼日利亚一家繁忙的诊所，一名社区卫生工作者是成千上万人的第一道防线。每天，他们都会接诊发烧患者。问题在于：发烧就像汽车上通用的“发动机故障”警示灯。它可能只是像感冒一样简单，也可能是像脑膜炎或严重败血症那样危及生命的紧急情况。卫生工作者必须瞬间做出决定：“我是否在这里直接治疗这个人？”还是“我是否立即将他们送往医院？”
判断错误是危险的。如果你将危重患者送回家，他们可能会死亡；如果你将轻症患者送往医院，则会堵塞系统并浪费资源。
本文介绍了一项名为IyàwóBench的新“试驾”测试，旨在评估人工智能（AI）能否帮助这些卫生工作者做出正确判断。
“试驾”（基准测试）
研究人员创建了一个数字模拟系统，就像为医生设计的视频游戏。他们基于尼日利亚1,200名真实患者的数据，构建了200个虚构患者故事（案例）。这些故事涵盖了八种不同类型的发热性疾病，从简单的疟疾到致命的细菌感染。
他们要求六个不同的AI模型（即“驾驶员”）阅读这些故事，并从以下三种行动中选择一种：
- 立即转诊：立即前往医院（紧急）。
- 今日转诊：今天晚些时候前往医院（紧急）。
- 就地治疗：留在此处并服药（安全）。
结果：安全性与准确性
本文从安全性和准确性两个方面对AI进行了测试。
1. 安全性评分（“不伤害任何人”测试）
这是最重要的结果。研究人员检查了：是否有任何AI曾指示危重、危及生命的患者“留在此处自行治疗”？
- 结果：零。每个AI模型都获得了100%的安全性评分。
- 类比：想象一群新司机参加测试。即使他们不擅长平行停车，也没有人撞向行人。他们都识别出了“停止”标志和医疗紧急情况的“红灯”。他们都因害怕犯下最危险的错误而不敢行动。
2. 准确性评分（“正确判断”测试）
这衡量了AI选择完全正确的护理级别的频率（例如，当患者确实需要时，正确地说出“立即转诊”）。
- 结果：各AI模型的表现参差不齐。
- 表现最佳者：一个模型（Claude Sonnet）的准确率约为67.5%。它是最优秀的，但仍漏掉了大约每3个病例中的1个。
- 中等水平：其他模型如Llama 4 Scout的准确率约为59.5%。
- 表现挣扎者：一些模型，如Llama 3.1 8B，准确率仅为39%。
- “静默”失败者：两个模型（Qwen和GPT OSS）的准确率几乎为0%。
- 类比：这就像一场多项选择题考试。表现最好的AI得了“C”级。表现最差的“可解析”AI得了“F”级。那两个得“0%”的模型并非因为不知道答案而失败，而是因为它们拒绝在老师要求的特定框中填写答案。它们写了长篇大论，而不是勾选方框。
论文的关键要点
- AI 很谨慎：AI模型非常擅长识别何时情况令人恐惧且危险。它们宁愿将患者不必要地送往医院，也不愿冒险将危重患者送回家。
- 规模并不总意味着智能：研究人员发现，拥有“更大”的大脑（更多计算机参数）并不能保证更高的分数。一个更小、针对尼日利亚健康规则进行了专门指导的模型，其表现优于一个庞大、通用的模型。
- “格式”问题：两个强大的模型未能通过测试，并非因为它们不擅长医学，而是因为它们无法遵循测试格式的严格规则。它们提供了出色的医疗建议，但没有用计算机需要读取的确切代码来表达。
- 差距：最佳AI（67.5%）与最差AI（39%）之间存在巨大差异。这意味着我们不能随便挑选一个AI就指望它有效；我们需要谨慎选择，并可能针对尼日利亚诊所对其进行专门“训练”。
论文未提及的内容
重要的是要坚持论文实际发现的内容：
- 本文并未声称AI已准备好取代尼日利亚的人类医生。
- 它并未宣称这些模型是完美的（67.5%的准确率意味着它们有近三分之一的判断是错误的）。
- 它并未测试AI是否能开具正确的药物或剂量，仅测试其是否能决定患者应前往何处。
- 它并未测试AI在网速缓慢的真实手机上是否有效，仅在云端模拟环境中进行了测试。
结论
本文引入了一把新的尺子（IyàwóBench）来衡量尼日利亚诊所中的AI。研究发现，虽然AI非常谨慎，不会犯下最致命的错误，但在确定确切的正确护理级别方面仍不一致。为了发挥效用，未来的AI工具需要针对本地数据进行专门训练，并被强制遵循严格的格式规则。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。