SciFilter: A Metadata-Driven Approach to Registry-Aligned Screening of Scholarly Publication Sources at Scale
本文介绍了 SciFilter，这是一个开源、元数据驱动的系统，通过将书目数据与 JUFO 和挪威注册库等国家级注册库进行对齐，实现了对学术出版来源的可扩展自动化筛选，并相对于人工策展的基准实现了高准确率（精确率 0.95，召回率 0.96）和高可靠性（Fleiss' Kappa 0.94）。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代学术界广阔而拥挤的版图中，每年都有数百万篇研究论文发表，一个安静但关键的问题依然存在：我们如何知道哪些期刊和会议是值得信赖的？几十年来，学术界一直依赖各种方法来去芜存菁。有些人观察论文被他人引用的频率，而另一些人则依赖出版商的声誉。然而，这些方法都存在缺陷。引用计数可能会被操纵或受到特定领域习惯的影响，而广泛的搜索引擎往往会将低质量或掠夺性的来源与合法的研究混杂在一起。为了解决这个问题，芬兰和挪威等国家建立了由专家领导的注册库。在这些系统中，特定领域的专家小组会对期刊和会议进行人工审查，根据严格的编辑标准而非仅仅基于流行度，将其划分为不同的质量等级。这确保了期刊的地位能够反映其同行评审和编辑流程的实际质量。然而，这些专家系统面临着一个实际的瓶颈：它们是为人工查询而设计的。检查单个期刊需要几分钟，但对于大型研究项目或机构审计来说，检查成千上万个来源将是一项需要耗费一生的手工任务。
这就是名为 SciFilter 的新工具发挥作用的地方，它提供了一种在不丢失专家判断细微差别的情况下，将人类专业知识扩展到大数据规模的方法。来自塔林大学和伊莱萨大学的研究人员致力于构建一个能够自动将出版来源列表与芬兰和挪威官方注册库进行匹配的系统。他们并没有创造一种新的指标或一种新的质量评判方式；相反，他们搭建了一座桥梁，将原始数据（如期刊名称和识别码）连接到由人类专家策划的现有信任列表中。其目标是观察计算机是否能以极高的准确性复制人类策划者的决策，从而让机构能够快速且一致地筛选大量的出版物列表。
为了测试他们的创造物，团队组建了一个包含 500 个不同学术来源的受控集，涵盖了从知名期刊到晦涩的会议论文集，甚至包括一些已知存在问题的来源。他们将这组来源均匀地分为两部分：一部分是在官方注册库中正式认可的，另一部分则不是。随后，两名人类专家独立地对照官方注册库检查了这 500 个来源中的每一个，将其作为事实的“金标准”。他们记录了每个来源是否被收录，以及如果被收录，其所持有的质量等级。一旦建立了这一人类基准，研究人员便将同样的 500 个来源输入 SciFilter。该系统摄取数据，清理混乱的格式，并运行一个严格的、循序渐进的匹配过程。它首先使用唯一的识别码寻找精确匹配，然后尝试匹配期刊的精确名称，最后使用一种敏感的文本匹配技术来处理标题的轻微差异。
结果显示，该自动化系统的表现具有显著的可靠性。当研究人员将机器的输出与人类专家的判断进行比较时，两者的吻合度几乎完美。在 96% 的案例中，系统正确识别了来源是否被收录。在分配特定等级的任务中，它同样成功，其结果与人类专家的决策匹配率达到了 95%。该系统犯下的少数错误并非随机或灾难性的；这些错误几乎总是发生在相似等级之间的边界处。例如，系统偶尔可能会将顶级期刊误认为稍低一级的期刊，或者将高质量来源与仅略低于纳入标准的来源混淆。它很少犯那种会将顶级期刊降至底层或将低质量来源提升至顶层的重大错误。这种模式表明，该系统很好地理解了质量排名的整体结构，其困惑仅出现在界限自然模糊的边缘地带。
研究还表明，该工具并非人类判断的替代品，而是强大的初步筛选工具。研究人员强调，SciFilter 并不评估单个文章或研究人员的质量；它只是检查某个出版场所是否出现在官方名单上及其所持有的等级。由于该系统依赖于注册库提供的数据，其准确性取决于输入数据的质量以及注册库的时效性。如果一家期刊最近更改了名称，或者注册库尚未更新其记录，系统可能会遗漏它。然而，在绝大多数情况下，该工具成功地将繁琐的数千个来源交叉比对工作自动化，使研究人员和管理人员能够专注于研究评估中更复杂的方面。通过将手动、缓慢的过程转变为快速、可重复的过程，SciFilter 提供了一种将负责任研究评估原则应用于定义现代科学的海量数据集的切实可行的方法，确保我们用于评估知识的工具与知识本身一样稳健。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。