Large language models improve physician accuracy but lead to false reliance
尽管检索增强型大语言模型系统 CORA 显著提高了医生的诊断准确性，但研究揭示了一个关键的安全风险，即与来源相关的引用不成比例地增加了对正确和错误建议的依赖，从而削弱了医生抵御错误建议的能力。
原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一名正在试图破解棘手案件的侦探。你有一位才华横溢、反应极快的助手，他能在短短一秒钟内阅读数百万本书籍并提供解决方案。这位助手是一个人工智能，具体来说是一种“大语言模型”（LLM）。这些人工智能就像百科全书一样，通过阅读整个互联网来学习如何交谈，但有时它们会对自己并不真正了解的事情表现得过于自信，编造出听起来完美无缺但实际上却是错误的事实。为了解决这个问题，科学家们发明了一个被称为“检索增强生成”（RAG）的小技巧。把 RAG 想象成给你的 AI 助手一张图书馆借书卡，并规定一条规则：“只有当你能指出书中证明你答案的具体页面时，你才能回答问题。”这样一来，AI 就不会仅仅靠猜测，而是会展示它的“作业”。
但这里有一个大问题，科学家们仍在争论：展示作业是否真的能帮助人类侦探？还是说，它只是让人们过度信任了助手，甚至在助手出错时也盲目相信？这就是一个研究课题，它测试了这样一个想法：向医生提供一个会引用来源的 AI，究竟是会让医生变得更专业，还是会让他们因为错误的答案看起来有据可查，从而陷入危险的错误之中。
CORA 与“伪证据”陷阱的故事
在这项研究中，研究团队构建了一个特殊的 AI 助手，名为 CORA（面向引用的检索助手）。把 CORA 想象成一名超级聪明的研究实习生，每当医生询问有关皮肤状况的问题时，它不会直接吐出一个答案，而是会去一个包含医学教科书、指南和病例报告的数字图书馆，找到相关的页面，然后说：“这是我的答案，以及证明该答案的三页内容。”
研究人员想要观察这在现实世界中是如何运作的。他们收集了来自 21 个不同国家 的 46 名医生，并给了他们一系列皮肤病谜题。首先，医生们必须独立解决这些谜题。然后，他们会被展示 CORA 的答案以及“证据”（引用），并被问及他们是想坚持原有的答案，还是改变主意。
好消息：医生变得更聪明了
结果显示，CORA 是一个得力的助手。当医生独自工作时，他们的正确率是 70.8%。但当他们使用 CORA 时，准确率跃升至 82.6%。AI 帮助他们纠正了错误，尤其是在处理棘手病例或罕见疾病时。这就像拥有了一双能够完美掌握规则手册的“第二双眼睛”。
坏消息：“引用陷阱”
然而，研究发现了一个狡猾的问题。CORA 展示的“证据”并不总是真正的证据。有时，CORA 会给出一个错误的答案，但仍然展示一个看起来支持该答案的引用，尽管它其实并不能证明什么。
这里就是问题的关键所在：
- 当 CORA 正确时： 如果医生看到一个似乎支持答案的引用，他们非常倾向于改变主意并同意 AI。他们的成功率（即采纳正确建议的比例）从没有“支持感”时的 34% 上升到了有“支持感”时的 76.9%。
- 当 CORA 错误时： 这是危险的部分。如果 CORA 给出了一个错误的答案，但展示了一个看起来很有说服力的引用，医生就会停止抵制。通常情况下，当 AI 犯错时，医生在面对错误答案时坚持自己正确答案的概率为 92%。但当展示了“具有支持性”的引用时，这种抵制心理下降到了仅为 34.8%。
教训：信任，但要验证证据
研究发现了一种“接地性失校”（grounding-miscalibration）。这是一个高级术语，意思是指医生被证据的“表象”所迷惑了。当 AI 展示引用时，医生便假设答案一定是正确的，即使该引用并没有真正证明那个特定的观点。这就像一个学生在交卷时附上了一页教科书。如果那一页讨论的是正确的主题，但并没有真正回答问题，老师可能仍会认为：“哦，他确实做了研究，”并给他分数。但在医学领域，这种“分数”可能会导致致命的错误。
研究人员发现，虽然 AI 提高了医生的整体准确性，但也创造了一种新的风险：如果 AI 让一个错误的答案看起来证据充分，医生就更容易放弃自己的正确直觉。这项研究表明，对于这些 AI 工具而言，要确保其安全性，我们不能仅仅看 AI 本身是对是错，我们还必须确保它展示的“证据”确实能证明答案，而不仅仅是与主题相关。否则，这个原本旨在帮助医生验证真相的工具，最终可能会变成诱导他们相信谎言的陷阱。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。