Can a Large Language Model Serve as the Missing Second Reviewer? Prominence Bias, Retrieval Effects, and a Confidence-Fabrication Gap in an Empirical Evaluation of Two Published Meta-Analyses

想象一下，医学研究的世界就像一场巨大的、高风险的寻宝游戏。科学家们不断地在旧报告、临床试验和数据的大山中挖掘，试图寻找那些能告诉我们哪些治疗方法真正有效、哪些可能存在危险的“黄金”。这个过程被称为系统评价（systematic review）。你可以把它想象成一位超级组织有序的图书管理员，试图读完关于特定主题的所有书籍，从而写出一份终极总结。

但问题在于：读完每一本书是非常累人的，而且人类也会犯错。如果一个人独自完成这项工作，他可能会错过关键线索、读错数字，或者不小心选错了书。这就是为什么科学界的“金标准”规则是需要两名独立的评审员。这就像是拥有第二双眼睛来复核工作，以确保没有错误溜掉。

现在，想象图书馆里进入了一个新工具：一个超级聪明、无所不知的机器人图书管理员，叫做大语言模型（LLM）。这些 AI 机器人可以在几秒钟内阅读数百万页的内容。人们开始询问：“这个机器人可以成为我们的第二名评审员吗？它能节省我们的时间并发现我们人类错过的错误吗？”这就是一项新研究试图回答的问题。研究人员并没有仅仅让机器人去“猜”；他们通过一项严格的、现实世界的测试，来观察它是否真的能取代人类伙伴，或者它只是一个看起来自信满满的冒牌货。

机器人图书管理员的试运行

在这项研究中，研究员保罗·丰特洛（Paul Fontelo）决定测试当前一代的 AI（具体来说是一个名为 Claude 的模型），看看它是否能充当那个缺失的第二名评审员。他不仅是让 AI 进行聊天；他设置了两个不同的“任务”，使用两个真实的、已发表的医学研究作为测试案例。

任务 1：“第二双眼睛”检查（设计 B）
在这种情景下，AI 被给予了一份包含九项特定医学研究的清单，这些研究是人类团队之前已经决定纳入关于糖尿病药物（二甲双胍）和癌症的评价中的。AI 的任务很简单：阅读这九项研究的数据，并检查最终汇总表中的数字是否正确。

结果喜忧参半：

• 好消息： AI 发现了四个真实的错误，而原本的人类团队（该团队拥有两名评审员及一名仲裁者！）竟然完全忽略了这些错误。例如，AI 发现某项研究对两个不同的结局报告了完全相同的生存数据，这在逻辑上是不通的；它还捕捉到了一个拼写错误，即一项研究将患者人数列为 19 人而非 18 人。
• 坏消息： AI 也凭空捏造了一个并不存在的问题。在一次运行中，它自信地声称某项研究存在数学错误，但当研究员检查原始论文时，发现数字其实非常完美。AI 伪造了一个错误。
• 陷阱： 当 AI 在撒谎时，它的语气和说真话时一样自信。它无法被信任去表达“我 100% 确定这是一个错误”，因为有时它对一个虚假的错误也表现得 100% 确定。

任务 2：“大海捞针”挑战（设计 A）
在这个更难的任务中，AI 没有被给予清单。它只是被给了一个医学问题（例如“一次性处理所有阻塞的动脉是否比只处理最严重的那个效果更好？”），并被要求独立寻找相关的研究。

• 没有搜索引擎时： 当 AI 尝试仅凭其内部记忆（就像一个没有课本只能凭记忆考试的学生）来寻找研究时，它表现得很糟糕。它只找到了 55.6% 的正确研究。更糟的是，它表现出了“显著性偏差”。它只找到了那些著名的、大型的、广为人知的研究，而完全忽略了那些规模较小、较安静的研究。它就像一个侦探，只在头条新闻里寻找嫌疑人，却忽略了安静的邻居。
• 有了搜索引擎时： 当研究人员让 AI 使用网络搜索工具来寻找研究时，它的表现大幅提升，找到了 87.5% 的正确研究。这是一个巨大的进步！
• 新问题： 即便有了搜索工具，AI 仍然会感到困惑。它有时会找到一项看起来属于该领域、但实际上来自另一篇论文的研究。它无法区分一项研究是属于特定评价的一部分，还是仅仅与该主题相关。此外，它仍然无法独立进行数学计算（合并数据）；它只是复制现有的总结，或者在面对混乱数据时直接放弃。

结论：是一个得力的助手，而非替代品

那么，最终得分是多少？研究结论认为，AI 可以作为一个补充性工具，但它并不是人类的优越替代品。

把 AI 想象成一个非常快、非常热心的实习生。

• 它的长处在于： 它可以扫描数据，并发现疲惫的人类眼睛可能会错过的拼写错误或异常数字。如果给它一个搜索工具，它可以找到比单打独斗的人类更多的研究。
• 它的短处在于： 它会自信地编造事实（幻觉错误），它会被著名的研究所迷惑而忽略小型研究，并且在处理复杂的数学运算或验证某项研究是否精确属于特定评价时会遇到困难。

最重要的启示是：你不能信任 AI 的自信度。 仅仅因为 AI 面带微笑（语气坚定）地说“我发现了一个错误！”，并不意味着那是真的。它可能是一个真实的错误，也可能是一个完全的捏造。

论文认为，我们不应该使用 AI 来取代第二名人类评审员。相反，我们应该将其作为一种补充性检查。如果人类团队已经完成了工作，AI 可以进行第二次扫描以捕捉那些隐蔽的错误。但 AI 标记出的每一项内容都必须经过人类的复核。如果我们让 AI 在没有人类复核的情况下独自完成工作，我们并没有解决错误问题，我们只是把人类的错误换成了机器人的错误。

简而言之，机器人图书管理员是一个强大的工具，它可以帮助我们找到更多的书并发现更多的拼写错误，但它仍然需要一位人类图书管理员来确保它没有发明一本不存在的书。