Evidence-Grounded Large Language Model Reasoning for Patient Safety Using Knowledge Graphs and Retrieval-Augmented Generation: Development and Evaluation Study
本研究开发并评估了一个将大语言模型与患者安全知识图谱及检索增强生成相结合的循证框架，证明了结构化知识能显著增强临床安全应用的语义概念提取与推理性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
医院产生着持续且海量的信息流。每天，医生和护士都在编写笔记、开具检查单、记录药物以及记录生命体征。这些关键数据中有很大一部分以非结构化文本的形式存在，隐藏在难以被计算机读取和关联的叙述性段落中。多年来，研究人员一直试图构建能够筛选这些记录的人工智能，以发现患者安全问题，例如危险的药物相互作用或病情恶化的迹象。人们希望机器可以充当第二双眼睛，捕捉到忙碌的人类可能会遗漏的错误。然而，仅仅教会计算机阅读文本是不够的。如果机器在没有明确理由的情况下猜测问题，或者虚构了一个并不存在的联系，它可能会造成比帮助更多的伤害。挑战不仅在于寻找信息，还在于证明其结论有真实的医学证据支持，并且其推理过程可以追溯到医生可以信任的来源。
在一项新的研究中，研究人员试图通过结合三种不同的工具来构建一个解决这一问题的系统：一个大型语言模型、一个结构化的医学知识图谱，以及一种从外部来源获取新鲜证据的方法。他们想看看是否可以创建一个推理引擎，使其不仅仅是猜测，而是利用坚实的实事基础来解释其思考过程。团队提取了数千名重症监护室成年患者的数据，包括他们的医疗笔记和检测结果，并将这些数据输入到他们的系统中。目标是观察机器是否能够识别安全概念，将它们逻辑地联系在一起，并利用相关的医学文献来支持其发现，同时保持对每一件信息的来源都有清晰的记录。
研究人员分层构建了他们的系统。首先，他们处理了来自患者记录的杂乱、非结构化的笔记，并对其进行了清理，将各种不同的表达方式转化为单一的标准术语。然后，他们将这些术语组织成一个被称为“知识图谱”的结构化地图。可以将这个地图想象成一棵详细的医学概念“家族树”，它明确展示了某种特定药物如何与特定的副作用相连，或者实验室结果如何与患者的病情相关联。这个地图充当了一个僵硬的骨架，确保计算机在尝试进行任何书写之前，能够理解不同医学事实之间的关系。接下来，系统配备了一个检索工具。该工具不再仅仅依赖于计算机在训练过程中已有的知识，而是向庞大的医学期刊和安全报告库进行检索。当系统遇到一个病例时，它会调取最相关的文章和指南，作为支持性的证据。最后，一个经过海量文本训练的大型语言模型（一种人工智能类型）利用所有这些信息——结构化地图、患者数据和检索到的文章——生成关于潜在安全问题的合理解释。
为了测试这种方法是否真的有效，研究人员进行了一系列实验，通过每次移除系统的一个组成部分，来观察每个部分的重要性。他们发现该系统在识别安全概念方面非常有效，达到了很高的准确度。然而，最重要的发现出现在他们移除结构化地图时。如果没有知识图谱，系统的性能显著下降。准确度降低了，且区分真实安全信号与虚假警报的能力也随之减弱。这证明了这种僵硬的、结构化的医学关系图谱是最关键的组件，它提供了一个必要的基石，而其他工具无法单独取代。
检索工具的作用则更为微妙。当研究人员移除获取外部医学文章的部分时，系统的性能略有下降，但不足以在统计学上确定这种下降是真实的。这表明，虽然拥有新鲜的外部证据是有帮助的，并能使系统的推理更加有据可依，但它并不是该系统在此次特定测试中成功的首要驱动力。研究还观察了系统对医学领域的适应能力。他们使用了一种微调技术来优化大型语言模型，使其在患者安全领域更加专业。当他们移除这种微调后，系统的性能几乎没有变化，这表明在这种设置下，结构化知识和证据检索承担了主要工作，而非对语言模型本身所做的特定调整。
人类专家审查了系统的输出，以评估其在现实场景中的合理性。他们发现，系统检索的文件确实与所提出的问题相关。更重要的是，系统生成的解释被判定为具有临床实用性和合理性。专家们认为，该系统并非仅仅抛出一个随机的猜测，而是提供了一条医生可以遵循的推理路径，并得到了系统收集到的特定文章和数据点的支持。对用户界面的初步检查显示，临床医生可以毫无困难地浏览结果，尽管他们建议可以简化显示方式，以优先突出最重要的信息。
研究结论指出，将结构化的医学知识图谱与语言模型及外部证据检索相结合，创造了一个强大的患者安全工具。结果表明，结构化地图是最至关重要的部分，它提供了允许系统进行正确推理的逻辑骨干。引入外部证据的能力增加了一层透明度，使得系统可以展示其推导过程并引用其来源。虽然该系统尚未准备好取代人类医生或做出自主决策，但它展示了构建值得信赖、可解释且基于真实医学事实的人工智能的清晰路径。研究人员强调，在该系统投入日常医院护理之前，必须在许多不同的医院进行测试，并在实时工作流中进行评估，以确保其能在多样化的患者群体中安全运行。目前，这项研究证明了构建一个不仅能阅读医疗笔记，而且能以准确且负责任的方式理解这些笔记的机器是可能的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。