MedRAGChecker: Claim-Level Verification for Biomedical Retrieval-Augmented Generation
MedRAGChecker 是一个用于生物医学检索增强生成的声明级验证框架，它将长篇回答分解为原子声明，并利用自然语言推理和知识图谱一致性对其进行验证，从而针对忠实度、证据缺口以及安全关键型错误提供详细的诊断。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代医学领域，人工智能已成为筛选海量研究文献并回答复杂问题的强大工具。被称为检索增强生成（RAG）的系统就像一位图书管理员，不仅能找到最相关的书籍，还能根据所读内容撰写摘要。然而，这些摘要有时会包含一种危险的混合物：有些完全有证据支持，有些支持力度较弱，而另一些则纯属错误。在医学背景下，关于药物副作用或治疗安全性的哪怕一个错误句子，都可能产生严重的后果。科学家的挑战不仅在于判断最终答案是否总体良好，还在于必须检查其中的每一个句子，以确保其立足于坚实的基础之上。
匹兹堡大学的研究人员开发了一种名为 MedRAGChecker 的新系统来解决这一问题。该工具不再将整个医学回答作为一个整体进行评判，而是将其分解为最小的构建单元，研究人员称之为“原子命题”（atomic claims）。可以将一个长篇回答想象成由独立砖块构成的墙；该系统会逐一检查每一块砖，看它是真实的还是虚假的。对于每一个命题，系统都会进行两项独立的检查。首先，它会阅读计算机生成答案时所引用的原始医学文本，以查看该文本是否明确支持该陈述。其次，它会咨询一张庞大的数字医学知识图谱——这种结构化架构将药物、疾病和症状连接在一起，以观察该命题是否符合更广泛的医学规则。
研究人员发现，仅仅在检查过程中加入这张数字知识图谱是不够的；事实上，它有时甚至会让情况变得更糟。他们发现，如果数字图谱不包含特定主题的信息，系统有时会将正确的陈述错误地标记为谎言。这是因为图谱并不完整，系统便假设如果一个事实不在图谱中，它一定是错误的。为了解决这个问题，团队引入了一个智能过滤器。该过滤器允许数字图谱仅在以下情况执行覆盖：即当图谱非常确定某个陈述是错误的，且文本非常确定该陈述是正确的时候。这种特定情况正是最危险的错误发生之处，例如声称某种常见的止痛药对患有特定病毒的儿童是安全的，而医学常识却知晓并非如此。通过使用这种选择性过滤器，系统避免了在数字图谱保持沉默的主题上犯错，同时仍能捕捉到图谱拥有明确证据的关键错误。
在针对四组不同医学问题的测试中，这套新系统证明了其高度的有效性。它不仅达到了现有通用工具的准确度，更进一步，能够识别出其他工具漏掉的特定安全性关键错误。研究表明，所使用的数字图谱的质量至关重要。其中一个版本侧重于药物重定位，仅覆盖了测试问题中约 63% 的主题。使用该版本时，这个不完整的图谱导致系统在近 34% 的情况下错误地指责正确答案为错误。第二个更广泛版本的图谱覆盖了 94% 的主题，并将这些错误指责降低到了约 25%。通过将文本检查与更广泛的图谱相结合，并应用智能过滤器，该系统在处理疑难病例时与人类专家的意见一致率达到了 69.8%，相比仅使用文本检查有了显著提升。
这项工作表明，为了让人工智能在医学等高风险领域保持安全，我们不能依赖单一的验证方法。我们需要将理解文本的能力与对医学事实的结构化理解相结合，但必须谨慎行事。研究人员发现，医学知识库的完整性与用于检查答案的算法同样重要。他们的方法提供了一种方式，既能捕捉到人工智能发明事实的“幻觉”现象，又不会仅仅因为某个事实缺失于数据库中就将其判定为错误。这种方法为确保计算机生成的医学建议值得信赖提供了一种更清晰、更可靠的方式，从而保护患者免受隐藏在冗长复杂答案中的微妙且有害的错误侵害。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。