Stopping Is a Conditional Decision: Corpus Qualification, Bayesian Sequential Stopping, and the Limits of Early Termination in Scholarly Literature Screening
本文提出了一个将语料库合格性判定与贝叶斯序列停止分离的两阶段框架，旨在证明即使是经过良好校准的模型和改进的排序也无法保证在学术文献筛选中实现安全的早期终止，基准验证中的高过早停止率和低召回率证明了这一点。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在学术研究领域，寻找正确的信息往往就像是在一个庞大且不断增长的草堆中寻找一根特定的针。进行系统综述的学者必须从数千篇科学论文中筛选出少数几篇真正与他们的问题相关的论文。这个过程缓慢、昂贵且令人精疲力竭。几十年来，研究人员一直希望计算机可以学习承担这些繁重的工作，不仅是更快地对论文进行分类，还要知道何时应该停止。这个想法很简单：如果计算机能告诉你它已经找到了所有重要的“针”，你就可以停止搜索并节省数月的工作时间。这一愿景推动了旨在筛选文献的人工智能工具的发展，其目标是让专家在机器足够自信时能够抽身离开。
然而，来自印度 SR 大学研究人员的一项新研究表明，这一承诺远比看起来要复杂得多。由 Mohammad Pasha 和 Mohammed Ali Shaik 领导的团队调查了基于计算机告诉他们的信息来提前停止搜索是否真的安全。他们建立了一个严格的测试系统，以观察现有方法是否能够可靠地预测搜索何时完成。他们的发现挑战了围绕自动化停止规则的乐观情绪。他们发现，即使一个计算机模型看起来非常精准且充满信心，它也经常过早停止，从而遗漏了关键证据。研究结论认为，我们不能仅仅依靠机器的置信度信号来宣布搜索结束；初始搜索的质量和数据的特定条件比停止算法本身重要得多。
研究人员通过将搜索过程分为两个不同的阶段来处理这个问题。首先，他们关注计算机被分配进行评审的论文集的质量。他们认为，无论停止规则多么聪明，它都无法找到最初根本没有检索到的论文。如果初始搜索遗漏了关键期刊或使用了错误的关键词，那么这个集合就是有缺陷的，基于该集合所做的任何停止决策都是建立在脆弱基础之上的。为了解决这个问题，他们创建了一个“资格审查”步骤。在允许计算机决定何时停止之前，它必须首先通过一项检查，以确保论文集与研究问题保持一致、覆盖了必要的领域，并且不包含过多的无关噪音。这一步骤充当了守门人的角色，确保在做出终止决策之前，搜索结果确实适合进行分析。
一旦论文集通过了这项初步的质量检查，第二阶段便开始了：决定何时停止筛选它们。研究人员使用了一种统计模型，该模型可以估算可能仍隐藏在堆栈中的相关论文数量。该模型的工作原理是通过查看已经评审的论文，并计算剩余重要论文的概率。它权衡了阅读下一篇论文的成本与错过重要研究的风险。团队通过模拟和来自以往综述的真实数据对该系统进行了广泛测试。他们想看看该模型能否找到一个“甜点区”，即既能足够早地停止以节省时间，又能足够晚地停止以捕捉几乎所有的相关证据。他们还测试了更好的排序方法——即将最可能相关的论文放在前面——是否能帮助模型做出更安全的决策。
结果令人清醒。在最受控的测试中，研究人员发现该系统很难同时实现安全性与效率。当模型被设定为非常安全并确保找到了几乎所有相关论文时，它最终会筛选几乎整个集合，从而节省的时间极少。当他们调整设置以节省更多时间时，模型则会过早停止，遗漏大量重要的研究。在一次使用十个真实世界综述数据集（研究人员确切知道哪些论文是相关的）的大型测试中，该系统在超过 90% 的案例中过早停止。即使模型在数学上经过了“校准”，能够准确反映剩余论文的数量，这种准确性也并未转化为安全的停止决策。模型可能对数字的判断是正确的，但在采取行动方面却是错误的。
研究还探讨了问题在于论文的排序方式，还是在于计算机对内容的理解。他们尝试了不同的论文排名方法，包括将相似概念组合在一起的高级技术。虽然这些方法有助于在搜索初期更快地找到相关论文，但并未解决停止问题。计算机仍然难以知道何时该退出。甚至当研究人员尝试衡量论文是否变得具有“冗余性”——即新论文是否只是重复了已发现的想法——时，系统也无法利用这一信号来安全地停止。研究人员发现，一个论文集可能看起来彼此非常相似，但仍可能包含人类需要去寻找的关键且独特的信息。
最终，论文指出，停止搜索的决策并非一个可以通过单一算法解决的简单计算。这是一个有条件的决策，高度依赖于初始搜索的质量和综述的具体目标。研究人员表明，你无法通过使用一个聪明的停止规则来修复一个糟糕的搜索，你也无法仅仅因为计算机表现得很有信心就保证能安全停止。研究建议，目前最可靠的方法是将计算机视为一种帮助组织和确定优先级的工具，而不是一个可以宣布任务完成的权威机构。如果停止的证据不够充分，最安全且在科学上最站得住脚的路径是继续筛选，直到耗尽整个集合。这一发现为该领域提供了一个至关重要的现实提醒：在科学发现的复杂世界中，并不存在通往确定性的捷径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。