Can AI support rapid evidence synthesis for policy? An evaluation of Elicit: The AI Research Assistant
本研究评估了人工智能工具 Elicit 在政策证据合成中的应用，发现虽然它能有效加速初步的主题范围界定，但目前仍缺乏在没有大量人工监督的情况下进行复杂快速综述所需的精确度和可靠性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在公共卫生和政府政策领域，关于资助哪些治疗方法或项目的决策，都依赖于证据的基础。在编写新规则之前，专家必须收集该主题现有的所有研究，仔细阅读并总结其研究结果，即哪些有效以及哪些无效。这一过程被称为证据合成（evidence synthesis），对于做出公平且有效的选择至关重要，但它也极其耗时。传统上，研究团队需要花费数月时间搜寻数千篇科学文章，检查每一篇是否符合特定的问题，并提取数据以构建清晰的图景。随着政策制定者的需求变得更加紧迫和复杂，人们越来越希望在不损失准确性的前提下加快这项工作。这正是人工智能介入的场景，它承诺作为一个强大的助手，能够以人类无法企及的速度进行阅读和分类信息。
来自英国大学的一个研究小组决定对这些新型人工智能工具之一进行测试。他们想看看名为 Elicit 的软件程序是否真的能帮助政策研究人员更快、更好地完成工作。研究人员通过两种不同的方式来评估该工具。首先，他们询问人工智能是否可以作为一个有用的向导，以快速了解一个广泛话题的概况——这是在进行全面综述之前进行的被称为“范围界定”（scoping）的一个步骤。其次，他们测试了人工智能是否可以取代人类研究人员，在针对复杂主题进行完整的快速证据综述中发挥作用。他们选择的主题是一个困难的课题：找出哪些项目能成功鼓励面临社会和经济弱势的老年人进行体育活动。选择这个主题是因为它涉及许多变动的因素，包括不同类型的人群、各种类型的活动以及具体的成功衡量标准，这对于任何自动化系统来说都是一项严苛的测试。
研究人员开始要求人工智能进行一次文献快速扫描，以帮助他们了解基层医疗中体育活动工具的现状。在这个角色中，该软件证明了其相当有用。它在短短六分钟内就生成了一份可用证据的摘要，提供了该主题的宏观视图，专家们认为这对塑造他们的思路很有帮助。输出结果并不完美，它缺乏关于信息是如何被发现的详细解释，但它可以作为一个良好的起点。它让团队了解了有哪些现有的资料以及可能存在哪些空白，有效地在他们开始绘制完整版图的艰苦工作之前，提供了一份快速的初步地图。
然而，当研究人员要求人工智能执行完整的、严谨的快速综述任务时，结果却远没有那么令人鼓舞。他们将关于弱势老年人群体体育活动的同一个复杂问题输入系统，并观察它如何处理这项工作。整个过程持续了三个多小时，期间人类研究人员不得不花费大量时间来完善问题并纠正人工智能的假设。当最终报告产出时，它列出了四十项人工智能声称相关的研究。然而，当人类专家根据综述的严格规则对这些研究进行检查时，发现其中三十六项实际上并不属于该范畴。人工智能包含了那些观察结果错误、关注人群错误或考察的干预措施不符合标准的的研究。事实上，人工智能遗漏了三十四项人类团队成功找到并纳入其自身综述的研究。
核心问题似乎在于人工智能难以理解科学论文中所使用的语言细微差别。它可以轻松识别像“老年”或“体育活动”这样的词汇，但却无法理解更深层的含义，即一项研究是否真的在为正确的人群测试正确的内容。例如，它无法区分旨在改善整体健康状况的项目与专门旨在增加体育活动的项目的区别，即使两者的措辞非常相似。由于这些错误，人工智能生成的最终摘要充满了无法回答原始问题的资料。它讨论了不相关的结果，并基于不符合综述条件的证据得出了结论。相比之下，由人类主导的综述能够过滤掉噪音，仅专注于真正重要的研究，从而得出更加准确且可靠的结论。
研究人员还观察了该软件如何处理它所找到的数据。虽然人工智能能够提取一些基本细节，如研究开展的国家或参与者人数，但在提取特定结果（例如干预措施改善了多少人的健康状况）方面表现得并不一致。在某些情况下，它完全遗漏了数据；在另一些情况下，它所发现的内容则含糊不清。此外，该软件不具备判断研究质量的能力，这意味着它将设计拙劣、质量低下的实验与设计精良、执行严密的实验视为同等对待。这种缺乏质量控制的情况是一个重大风险，因为这可能导致政策制定者依赖有缺陷的证据。
最终，这项研究表明，虽然人工智能可以作为获取某一主题高层次概况的价值工具，但在进行完整的证据综述这一关键任务时（尤其是面对复杂问题时），它尚未准备好取代人类研究人员。人工智能可以加速研究的早期阶段，但在后期阶段它仍然会犯太多错误，以至于无法独立承担信任。研究人员得出结论，目前最好的方法是将该软件作为一名与人类专家协同工作的助手，而人类专家必须检查机器做出的每一项决策。使用人工智能所节省的时间目前尚不明确，因为纠正其错误所需的人力投入可能会抵消最初带来的速度提升。随着这些工具的不断演进，人们希望它们能更好地理解人类语言和研究中的微妙细节，但就目前而言，人类的思想对于确保指导公共政策的证据准确且可靠依然是必不可少的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。