Zero-To-Few Shot Large Language Model Performance in Systematic Review and Meta-Analysis Automation: A Validation Study Across All Major Steps Of Five Published Systematic Reviews

在医学研究领域，回答问题最可靠的方法是收集所有曾针对该主题发表过的研究，阅读全部内容，并将它们的发现整合为一幅清晰的图景。这个过程被称为系统评价（systematic review）。它是决定哪些治疗方法有效以及哪些无效的金标准，构成了现代临床指南的支柱。然而，创建这些评价是一项极其艰巨的任务。它需要研究团队花费数月甚至数年的时间，在数百万篇文章中进行搜索，通过阅读摘要来决定哪些文章具有重要意义，从全文中提取特定的数字，并检查研究的质量以确保其可靠性。这个过程由于过于耗费人力，可能导致数十万美元的成本，并延迟救命信息传递给医生和患者。

最近，一种被称为大语言模型的新型计算机程序应运而生。这些系统是在海量人类文本上训练而成的，能够以一种通常模仿人类智能的方式来阅读、理解和生成语言。研究人员开始思考，这些工具是否可以接管创建系统评价中的繁重工作，将长达数月的艰辛过程缩短为短短几小时。人们希望这些机器可以处理重复性的、数据密集型的部分，从而让专家能够专注于需要深度判断的复杂决策。但要实现这一点，机器必须足够准确，才能被托付于关乎患者生命的事务。

蒙特利尔大学和麦吉尔大学的一组研究人员通过一种非常务实的方法来测试这一想法。他们并没有试图构建一个能够从头到尾自动运行整个评价过程的复杂全自动化机器人。相反，他们要求一个特定且先进的大语言模型，仅使用简单的指令和来自五篇先前发表的医学评论的数据，逐一执行系统评价的主要步骤。其目标是观察一名没有任何人工智能专业训练的标准用户，能否让计算机完成与人类团队同样水平的工作。研究人员重点关注了五个不同的阶段：创建用于查找文章的检索词、通过筛选标题和摘要来挑选相关研究、从全文中提取特定数据点、评估研究的质量及潜在偏倚，以及最后将数据结合起来得出最终结果。

结果揭示了一个既有惊人优势又存在明显局限性的故事。当涉及到从医学文章的文本中提取特定数字和事实时，该计算机模型表现得非常出色。事实上，它的表现甚至超过了撰写这些评论的原作者。当研究人员将计算机提取的数据与专家评审员创建的一个全新的、高度严谨的标准进行对比时，机器的正确率达到了93%。它也更快，只需几分钟就能完成人类需要数小时才能完成的工作。同样，当被要求评判研究质量并识别潜在缺陷或偏倚时，计算机的表现再次优于人类，准确率达到83%。研究人员指出，当计算机在判断质量时出错时，它往往表现得过于谨慎，会将一项可能安全的研究标记为有风险，这通常是一种比漏掉真实问题更安全的错误。

然而，机器在处理基于不完整信息的判断类早期阶段时遇到了显著困难。当计算机被要求生成检索字符串（即用于在医学数据库中查找文章的特定词组列表）时，它找到了人类所找到的相关文章中的约85%。这是一个不错的结果，但也意味着它遗漏了相当一部分文献。当计算机尝试筛选全文以决定是否将其纳入最终评论时，情况变得更加糟糕。在这个步骤中，该模型漏掉了超过一半的人类评审员正确识别的重要文章。虽然计算机很擅长知道哪些内容不该包含进来，但在保留正确内容方面却表现不佳。这表明，虽然机器可以作为阅读和组织数据的强大工具，但它尚未准备好在决定哪些研究具有相关性的初始关键阶段取代人类。

最后一步涉及结合数据以计算评论的总体结果。在此环节，计算机生成的数字与人类的结果非常接近，尽管并不总是完全一致。这些差异很小，可能是由于机器对模糊数据的解读方式或对微小计算细节的处理方式不同。研究人员发现，计算机可以在几秒钟内生成这些结果，而人类完成这项任务则需要更长的时间。然而，研究强调，要让计算机完美地完成这项工作，需要关于如何处理缺失数据以及使用哪些统计方法的非常具体且详细的指令。如果没有这种细致的引导，结果可能会略微偏离真相。

该研究得出结论：实现医学研究自动化的路径并非一次性的飞跃，而是一个针对不同任务需要不同工具的系列步骤。对于涉及阅读和提取事实的任务，例如从表格中提取数据或判断研究质量，这些计算机模型已经优于人类，并且可以立即投入使用以加速工作。但对于更具主观性的任务，例如决定搜索哪些文章或保留哪些全文，机器目前的可靠程度还不足以独立工作。研究人员建议，对于非专业人士而言，最有效的方法是混合模式：让计算机处理数据提取和质量检查等繁重工作，同时保持人类专家在循环之中，负责引导搜索并做出最终的筛选决策。这种伙伴关系可以在不牺牲患者所依赖的准确性的前提下，显著降低产生医学证据所需的时间和成本。