💻 computer science

Retrieval, not hallucinations, will be the limiting factor for LLM-based clinical AI tools

本文认为，对于基于大语言模型的临床人工智能工具而言，其主要局限性不在于幻觉，而在于无法准确检索必要的患者层面数据，并敦促将重点转向提高召回率和检索评估。

原作者： Kirk Roberts, Steven Bedrick, Kurt Miller, William R. Hersh, Hongfang Liu

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Kirk Roberts, Steven Bedrick, Kurt Miller, William R. Hersh, Hongfang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图破解一个谜团，但你的助手不是侦探，而是一个超级聪明的机器人。这个机器人读过几乎所有被写下的书籍，并且能像人类一样交谈。在医学领域，这些机器人被称为大语言模型（LLMs）。它们正被教导通过阅读病历来帮助医生，总结病情并建议治疗方案。但问题在于：机器人无法一次性读取整个医院的数据库，因为那实在太庞大了。所以，在回答问题之前，它必须派出“搜寻队”去寻找患者病史中相关的特定页面。这个过程被称为检索（Retrieval）。

把这个机器人想象成一位才华横溢的大厨，而患者的病史就是一间巨大且混乱的储藏室。大厨（AI）非常擅长烹饪，但如果搜寻队（检索系统）忘了带回鸡蛋，无论大厨多么有才华，也做不出煎蛋卷。长期以来，人们一直担心大厨可能会凭空捏造不存在的食材——比如声称自己用了“独角兽蛋”，而实际上并没有。这被称为幻觉（Hallucination）。但本文指出，虽然凭空捏造很糟糕，但真正的、无声的危险是，由于搜寻队没能找到正确的食材，导致大厨漏掉了关键信息。如果机器人因为搜寻队没能在巨大的储藏室里找到那张便条，而没能告诉医生患者对青霉素过敏，其后果可能比一个荒诞的编造事实要严重得多。

论文的核心观点：储藏室里的隐形杀手

本文认为，医疗 AI 最大的瓶颈并不是机器人在编造谎言（幻）——而是机器人最初未能找到正确信息（召回错误）。作者们是一群来自大学和诊所的专家，他们希望将讨论的重心从“AI 是否在撒谎？”转向“AI 是否遗漏了关键信息？”

两种类型的错误

为了阐明观点，作者将 AI 的错误与两种经典的错误类型进行了对比：

“虚假警报”（精确度错误/Precision Error）： 这是指 AI 说某件事是真的，但实际上是错的。在医学界，这就是著名的幻觉。例如，AI 可能会说：“患者患有一种罕见的热带疾病”，但实际上患者并没有这种病。这很可怕，但通常很容易识别。如果 AI 说了一些离谱的话，医生可以通过查看原始记录并说：“等等，记录里根本没有这一条。” 这就像大厨声称使用了某种秘密香料，但储藏室里其实并没有；你只需要检查一下储藏室，就能发现它缺失了。
“沉默的遗漏”（召回错误/Recall Error）： 这是指 AI 漏掉了记录中确实存在的某些重要信息。也许患者有过敏反应，或者昨天有一个关键的化验结果，但 AI 却完全没有提及。这就是“隐形杀手”。为什么？因为如果 AI 什么都不说，医生可能会认为该信息并不存在。这就像大厨忘了提到鸡蛋缺席了，导致医生以为煎蛋卷没问题，结果后来才发现患者对隐藏的成分产生了反应。

论文指出，虽然我们有很好的方法来捕捉“虚假警报”（通过检查原始记录），但对于“沉默的遗漏”，我们几乎没有任何手段来捕捉。如果搜寻队没能找到特定的便条，AI 就永远看不见它，医生也就永远不会知道它被遗漏了。这是一个无声的失败。

为什么搜寻队是薄弱环节

作者解释说，虽然“大厨”（LLM）每天都在变得更聪明、更快速，但“搜寻队”（检索系统）的进步速度却远不及后者。

大厨的成长： AI 模型正在迅速进化，在理解语言和语境方面变得越来越好。
搜寻队的停滞： 用于在数百万条医疗笔记中进行搜索的工具仍然依赖于较旧、较慢的方法。尽管我们使用了各种高科技来辅助它们，但它们寻找文档的核心方式并没有发生太大变化。

论文指出，由于搜索工具相对滞后，它们正在成为薄弱环节。随着患者记录变得越来越长、越来越复杂（得益于连接不同医院的技术进步），搜寻队的工作也变得更加艰巨。如果他们在海量文件中漏掉了一个关键便条，整个 AI 系统就会失效，而且在事态恶化之前，没人会察觉到这一点。

评估陷阱

论文中最有趣的环节之一是测试这些系统有多难。

测试大厨： 测试大厨是否捏造了食材相对容易。你可以让他们写一份食谱，然后检查食材是否存在。
测试搜寻队： 测试搜寻队是否漏掉了东西是非常困难的。要判断他们是否漏掉了某条笔记，你必须亲自阅读患者病史中的每一条笔记，以确认那里原本有什么。由于患者记录可能长达数千页，没有人有时间为每一次 AI 测试都这样做。

作者指出，目前的测试方法往往只检查 AI 是否找到了一些好的信息，而不是是否找到了所有好的信息。这意味着我们可能认为一个 AI 运行完美，而实际上它正遗漏着关键细节。

作者的立场（以及未言之意）

论文非常谨慎，并未表示幻觉问题已得到解决或我们应该停止担忧幻觉。他们承认幻觉是一个“令人不安的问题”。然而，他们认为我们目前过于痴迷于幻觉，却忽略了那个更大、更难察觉的问题——信息的遗漏。

他们并不声称已经有了完美的解决方案。事实上，他们表示目前还没有解决召回错误的完美方法。要 100% 确定 AI 没有遗漏任何信息，唯一的办法是让人类阅读整份病历，但这违背了使用 AI 来节省时间的初衷。论文建议，我们需要新的测试方法，或许是将人工检查与智能自动化工具相结合，以确保我们不会让“沉默的遗漏”溜走。

总结

核心结论是一个警告：不要仅仅防范 AI 对你撒谎；还要防范 AI 忘记告诉你真相。

随着医疗 AI 变得越来越普遍，作者认为最大的障碍将不再是让机器人变得更聪明，而是确保机器人的搜寻队足够彻底，能够找到拼图中的每一块。如果我们不解决检索问题，即使是世界上最先进的 AI，也可能错过救命的关键细节，而我们甚至可能永远不知道这件事发生过。

技术摘要：检索而非幻觉，是限制基于大语言模型（LLM）的临床人工智能的关键因素

问题陈述
当前围绕基于大语言模型（LLM）的临床人工智能（AI）错误的讨论，主要集中在精确度错误（precision errors），即“幻觉”（第一类错误），即模型生成了无法由患者数据证实的断言。然而，本文认为召回率错误（recall errors）（第二类错误）——即系统未能检索或包含电子健康档案（EHR）中存在的关键患者信息——代表了一个更显著且未得到充分重视的局限性。

在临床 AI 工作流（如环境记录或面向问题的摘要生成）中，由于上下文长度的限制，LLM 通常依赖检索增强生成（RAG）来访问病史。本文识别的核心问题是：虽然可以通过将断言与源文档链接来缓解精确度错误，但对于召回率错误，目前尚不存在同等的、可扩展的缓解策略。如果检索系统未能获取相关的记录，或者 LLM 未能利用已获取的信息，生成的输出就会缺乏关键数据。由于在大型、复杂的 EHR 数据集中，关于“应该”检索到什么的“地面真值（ground truth）”往往是未知的，这些遗漏难以被检测，可能导致“无声”的临床伤害。

方法论与分析框架
本文是一篇观点文章，综合了现有的关于 LLM、信息检索（IR）和临床 AI 的文献。作者采用了以下分析方法：

错误分类法： 作者将临床 AI 错误映射到统计框架中的第一类（假阳性/精确度）和第二类（假阴性/召回率）错误。
- 精确度错误： 定义为输出中不受患者数据支持的断言（例如：幻觉、臆造）。
- 召回率错误： 定义为重要且有数据支持的信息的遗漏（例如：遗漏了关键诊断、药物或最近的化验结果）。
架构分析： 本文分析了通用的 RAG 架构（查询 $\rightarrow$ 检索引擎 $\rightarrow$ 提示词 $\rightarrow$ LLM $\rightarrow$ 输出）以识别故障来源。文章指出，召回率失败可能源于两个环节：检索引擎未能返回相关文档，或者 LLM 未能将检索到的文档纳入最终生成过程。
评估基准综述： 作者回顾了评估指标。他们对比了文本生成基准（使用 ROUGE/BLEU 或“关键点/nugget”评估）与信息检索基准（TREC 式汇聚/pooling）。他们强调，检索评估本质上是困难的，因为“汇聚”方法（聚合多个系统的顶端结果）无法保证找到所有相关文档，从而导致无法在大型数据集上计算精确的召回率性能。

核心贡献

重心转移： 主要贡献在于呼吁将研究和临床重点从研究充分的“幻觉”问题转向研究不足的“检索召回率”问题。作者指出，在对临床医生的定性访谈中，尽管召的回率错误被认为是重大风险，但在被明确提示之前，它们最初常被忽视。
识别“隐形杀手”： 本文将召回率错误描述为“隐形杀手”，因为不同于可以通过源引用标记出的幻觉，信息的缺失在输出中不留痕迹，使其对最终用户而言是不可见的，且难以审计。
技术差距分析： 作者认为，核心信息检索能力的提升速度慢于 LLM 能力的进步。虽然 LLM 正在飞速发展，但核心检索引擎通常依赖于成熟的方法（如 BM25、稠密向量检索），这些方法相对滞后。因此，随着 LLM 变得更加强大，临床 AI 的瓶颈将日益转向检索组件寻找正确数据的能力。
评估批判： 本文批判了当前的评估范式，指出标准的指标（如 BLEU/ROUGE）甚至“关键点（nugget）”评估在处理开放式临床任务时，难以有效衡量召回率。文章进一步认为，“LLM 作为评判者（LLM-as-a-judge）”不能作为检索评估的金标准，因为检索和评估在本质上是同一个问题。

结果与发现
作为一篇观点文章，本文并未呈现新的实验结果或定量数据。相反，其“发现”源于对当前趋势的综合分析：

缓解不对称性： 精确度错误已有成熟的缓解策略（源链接），而召回率错误则缺乏与之相当且高效的解决方案，因为有效的解决方案往往会违背 AI 节省时间的初衷。
检索滞后： 检索能力的提升可能会落后于 LLM 的进步，这意味着随着 EHR 数据量的增长，召回率错误将成为主要的限制因素。
评估可行性： 由于人工劳动量巨大且缺乏可推广的公共数据集，目前对于每个机构在每次部署临床 AI 时都进行严格的、TREC 式的召回率评估是不可行的。

意义与主张
本文主张，未来基于 LLM 的临床 AI 工具的可靠性和安全性，其限制因素将不是模型的幻觉倾向，而是其无法检索到正确的患者级数据。

作者断言，虽然针对减少幻觉的研究应继续进行，但必须通过加强对召回率评估和缓解的研究来予以强化。他们总结道，如果不解决在患者数据检索中测量和确保高召回率的根本难题，临床 AI 工具可能会因无法察觉的遗漏而导致患者受到伤害。本文倡导采用结合人类评估与自动化方法的混合评估方式，以更好地识别并最小化临床部署中的召回率错误。