Label-free, low-cost AI ranking for systematic review screening

每年，医生和研究人员都依赖系统综述来从浩如烟海的医学研究中理出头绪。这些综述是临床指南的基石，告诉从业者哪些治疗方法有效，哪些无效。然而，制作一份综述是一个艰巨且缓慢的过程，从开始到结束可能需要一年以上的时间。最令人精疲力竭的部分不是分析，而是筛选：一个专家团队必须阅读数以千计的标题和摘要，逐一决定每项研究是否具有足够的关联性，值得进行全文阅读。这项任务需要高度的专注，并消耗大量的人力时间，往往导致挽救生命的资讯无法及时传递给需要的人。

多年来，科学家们一直尝试利用计算机来辅助这种分类工作，希望通过优先展示最有希望的研究，从而让人们能够尽早停止阅读。但这些工具通常需要人类先对数百个样本进行标注，它们才能学会如何工作，而且它们很难准确知道何时可以安全地停止阅读。最近，功能强大的新型人工智能模型出现了，它们无需针对特定医学主题进行任何预训练即可理解文本。研究人员面临的问题是，这些新工具是否可以作为一个廉价、快速且准确的过滤器，在人类接触这些庞大的研究列表之前，就将其进行整理。

在最近的一项研究中，印第安纳大学医学院的一个团队将一种名为 Jev 的新型人工智能应用于这一挑战。他们并没有要求人工智能去阅读研究并做出最终决定；相反，他们要求它仅仅进行排序。其目标是观察人工智能是否可以将来自 128 篇不同医学综述的近 17 万条记录进行排列，使得最相关的研究出现在列表的最顶端，且在此过程中，人工智能从未见过这些特定综述中的任何一个由人类标注的示例。研究人员将这个新工具与旧的免费软件以及一些现有的最先进、昂贵的生成式人工智能模型进行了对比。

结果显示，这种新型人工智能在工作中表现得非常出色。当研究人员让人工智能对记录进行排序时，它将相关研究放在了比最佳免费软件更高的位置。事实上，在他们测试的所有综述中，它的表现都优于免费工具。与最强大的生成式人工智能模型相比，这个新工具的表现也非常接近，仅略逊于表现最好的模型，但其成本仅为后者的极小部分。虽然最先进的模型处理一千条记录大约需要 14.65 美元，但这个新工具处理同样任务仅需 2 美分。它不仅更便宜，而且比那些价格显著更高的中端模型更快、更准确。

研究人员随后探索了如何将这种排序与人工工作相结合以节省时间。他们发现，如果人类按照人工智能建议的顺序开始阅读，他们会比随机阅读或使用旧的排序方法更快地找到相关的研究。通过使用人工智能的排序作为起点，并随着进度加入人类的反馈，团队计算出，他们可以在保留几乎所有重要研究的同时，节省大量的阅读时间。然而，这项研究也揭示了一个关键的局限性：虽然人工智能可以完美地对列表进行排序，但它无法可靠地告诉团队何时应该停止阅读。

由于人工智能的分数并非完全校准以预测一项研究具有相关性的确切概率，因此设定一个固定的截断点来停止阅读是有风险的。在少数情况下，使用简单的分数阈值会导致团队错过本应纳入的重要研究。研究人员发现，唯一的安全停止方式是继续阅读，直到统计检查确认他们可能已经找到了所有相关的研究。这意味着，人工智能是一个优秀的工具，可以用于组织工作并引导人类首先看向哪里，但它还无法取代人类判断在何时判定搜索真正完成所需的决策。

最终，这项工作证明了低成本、无需标签的人工智能可以显著提高医学研究筛选的效率。它提供了一种方法，可以从第一条记录开始就获得高质量的阅读顺序，使团队免于在找到真正重要的少数研究之前阅读数千项无关的研究。虽然它还没有解决“何时停止”的整个问题，但它提供了一个强大且廉价的起点，使随后的研究工作更加专注且高效。对于循证医学领域而言，这代表着向着使临床指南的制定变得更快、负担更轻迈出了重要一步，确保最好的医学知识能更快地惠及患者。