BanglaDiaHallu: Hallucinations of large language models and the effect of guideline-grounded retrieval-augmented generation in Bangla diabetes question answering
这项研究表明，尽管大语言模型在孟加拉语糖尿病问答中表现出显著的幻觉率，但通过检索增强生成技术，利用孟加拉国《糖尿病诊疗国家指南》对本地可部署模型进行知识锚定，能实质性地提高医疗准确性与安全性，尽管由于没有任何配置是完全无误的，临床监督仍然至关重要。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
在现代世界中，人们越来越多地转向人工智能寻求健康方面的解答，希望获得快速、可靠的指导。这些被称为大语言模型的计算机程序经过海量文本训练，能够流利地使用多种语言进行交流，其中也包括由数亿人使用的孟加拉语。然而，这些系统有一个众所周知的缺陷：它们在陈述事实时可能表现得极其自信，但所说内容却完全是错误的。在医疗领域，一个错误的词汇就可能导致危险的选择，这种捏造事实的倾向被称为“幻觉”。在像孟加拉语这样的语言中，这尤其令人担忧，因为这些计算机程序的训练数据通常比英语更薄弱且不够可靠。对于孟加达希的数百万糖尿病患者来说，用母语获取准确、安全的建议不仅是一种便利，更是一种迫切的需求，尤其是在当地医院经常处于超负荷状态且远程问诊逐渐成为常态的情况下。
一组研究人员着手测量这些计算机程序在被问及有关孟加拉语糖尿病问题时，究竟会在多大程度上捏造医学事实，并观察将它们与权威来源连接起来是否能阻止这些错误。他们收集了四十个患者可能会问的常见问题，涵盖了从饮食、药物到怀孕期间或宗教斋戒期间管理疾病等主题。随后，他们要求四个不同的开源计算机模型回答这些问题。这些模型的规模和设计各不相同，有些是通用型工具，而另一些则是专门针对孟加拉语进行微调的。研究人员还构建了一个特殊系统，强制其中一个模型在说话前先查阅《孟加拉国糖尿病诊疗国家指南》，这种方法被称为检索增强生成。随后，两名医生阅读了每一个答案，并根据准确性、安全性、清晰度对它们进行评分，并将任何包含虚假或缺乏依据的医学主张的回答标记为“幻觉”。
结果揭示了不同模型之间惊人的差异。最先进的通用模型在回答中仅有 2.5% 捏造了事实，而一个专门为孟加拉语设计但并非针对医学设计的模型表现也几乎同样出色。然而，其中一个较小且专业化程度较低的通用模型，其回答中的幻觉率竟然高达惊人的 77.5%。它虚构了在孟加拉国并不存在的食物，建议对药物进行危险的更改，并提供了可能伤害患者的建议。这表明，仅仅拥有会说这种语言的模型是不够的；模型的底层智能与它所使用的语言同样重要。
研究人员随后测试了将最弱的模型与官方国家指南相结合是否能解决其问题。他们让该模型获取了正确的医学规则，并指示它只能根据该文本进行回答。改进效果是巨大的。幻觉率从 77.5% 大幅下降到了 11.3%。答案变得更加准确、完整且安全，该模型的表现上升到在大多数标准上匹配甚至超过了经过孟加拉语适配的模型，尽管在安全性、可读性和可靠性方面仍低于表现最好的模型。该系统成功地将一个危险且不可靠的工具转变为一个对患者而言更安全的助手。
然而，研究也发现，解决方案并非完美无缺。即使有了官方指南，该模型在约九分之一的回答中仍然会犯错。这些残留的错误之所以特别令人担忧，是因为它们并非显而易见的胡言乱语。相反，它们是流畅、结构良好的句子，却包含了具体、自信且具有潜在危害性的建议，例如告诉患者停止注射胰岛素或使用某种不存在的医疗设备。该模型有时甚至会引用官方指南来支持这些虚假主张，使得这些错误更难被察觉。这表明，虽然将计算机连接到权威来源会有极大帮助，但并不能完全消除风险。研究人员得出结论：为了让这些工具对患者安全，它们必须建立在强大的基础模型之上，以官方指南为依据，并且在使用其提供医疗建议之前，必须始终经过人类医生的检查。这项工作为为数百万孟加拉语使用者创造既便捷又值得信赖的健康助手提供了一条清晰的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。