Ranked (In)direct Citation Searching in Systematic Reviews: A methodological case study

本方法学案例研究引入了一种用于排名（非）直接引文检索（RICS）的框架和开源工具，以在系统评价中将其与无排名直接引文检索（UDCS）进行系统比较，结果表明 RICS 在识别额外相关文献的同时，提供了相当或更高的查准率。

要点

想象你是一名侦探，正在试图破解一个复杂的案件（即系统评价）。你的第一步是利用特定关键词，在庞大的书籍和文章库（数据库）中搜索，以寻找可能有助于破案的线索（研究）。你找到了一份看似有希望的“种子”线索清单。

然而，你知道仅靠关键词搜索可能会遗漏一些隐藏的珍宝。因此，你决定采用第二种策略：引文搜索。这就像是在问：“谁写了这本书？”（向后追溯）以及“谁阅读并引用了这本书？”（向前追溯）。

本文介绍了一种更聪明的侦探工作方法，比较了两种方法：旧的标准方法和新的排名方法。

两种侦探方法

1. 旧方法：“未排名的直接引文搜索”（UDCS）
这相当于询问你的种子线索：“谁引用了你，谁阅读了你？”

• 你会得到一份直接引用你种子线索的所有人的清单。
• 这是一份直截了当、不加筛选的清单。你获得了所有具有直接关联的人，但无法分辨哪些是最重要的。
• 问题所在： 它可能有点杂乱。你可能会得到许多不相关的书籍，仅仅因为它们碰巧在同一书架上。

2. 新方法：“排名（间接）引文搜索”（RICS）
这是本文的主要创新点。想象一下询问你的种子线索：“谁写了你？谁阅读了你？还有，你们俩还共同阅读了谁？你们俩还共同撰写了关于谁的著作？”

• 直接链接： 就像旧方法一样（被引/引用）。
• 间接链接（秘密武器）： 它还能发现“共被引”（与你的种子被同一批人阅读的书籍）和“共引”（引用了与你的种子相同来源的书籍）。
• 排名： 由于该方法发现了数千个潜在联系（而不仅仅是直接联系），作者创建了一个名为共引网络的工具。该工具充当智能过滤器。它根据每本书与你的种子线索有多少种不同的连接方式，对每一本书进行评分。
• 截断点： 随后，它会说：“好吧，我们只需要查看连接最紧密的前 100 本书，以保持工作量可控。”这确保了新方法不会让侦探被过多的文书工作压垮。

实验：付诸测试

研究人员构建了一个免费、开源的工具（共引网络）来自动化这一过程。他们想看看“智能过滤器”（RICS）是否比“不加筛选的清单”（UDCS）更好。

他们通过两种方式进行了测试：

1. 向后看（回顾性）： 他们选取了三个已经解决的过往案件，对这两种方法进行了运行，以观察它们原本会找到什么。
2. 向前看（前瞻性案例研究）： 他们对“早发性痴呆症”进行了一项全新的调查，并同时使用这两种方法，以观察哪一种能发现更好的线索。

他们的发现

• 与“优质内容”的更多重叠： 在过往的案件中，“智能过滤器”（RICS）找到的书单，看起来与侦探们在主库搜索中已经发现的高质量书籍更为相似。这表明 RICS 在寻找符合特定案件的相关材料方面表现更佳。
• “需要阅读”的评分： 在新的痴呆症案例中，他们必须通读标题和摘要以找出优胜者。
  • 使用旧方法（UDCS），他们必须阅读约57篇文章才能找到1个优胜者。
  • 使用新方法（RICS），他们必须阅读约48篇文章才能找到1个优胜者。
  • 解读： 新方法效率略高；你浪费在阅读不相关论文上的时间更少。
• 意外发现： 有趣的是，旧方法（UDCS）发现了一个最终优胜者，而新方法（RICS）遗漏了它。为什么？因为那个特定的优胜者与种子线索的“连接”不够紧密，未能进入新方法的前 100 名榜单。如果他们降低截断点以包含它，他们就必须阅读超过 10,000 篇文章，这是不可能的。

结论

本文声称，这种新的排名（间接）引文搜索（RICS） 方法是一个有前途的工具。它似乎能发现与特定案件更相关的线索，并且需要阅读稍少的文章即可找到“优胜者”。

然而，作者谨慎地表示：“我们目前还不确定这是否是完美的方法。”

• 在他们的测试中，旧方法发现了一个新方法遗漏的独特优胜者。
• 他们尚未证明 RICS 总是 更好。

目标： 本文的主要目的并非今天宣布谁是赢家。而是构建工具（共引网络）和工作流程，以便世界各地的侦探团队能够共同使用它们。通过共享数据，他们希望进行一场大规模的全球比较，最终回答这个问题：“智能过滤器是否优于不加筛选的清单？”

简而言之： 他们打造了一种更聪明的放大镜，用于寻找研究线索。早期测试表现良好，但在将其确立为新标准之前，还需要更多侦探来使用它。

技术摘要

技术摘要：系统评价中的排名（非）直接引文检索

问题陈述
系统评价（SR）作者经常将引文检索（CS）作为对主要数据库检索的补充技术，以确保全面获取证据。当前的标准工作流程是未排名的直接引文检索（UDCS），它识别直接引用或引用“种子文献”（在主要检索中找到的符合条件的记录）的文献。虽然 UDCS 的文献量尚可管理，但可能会遗漏相关文献。研究人员提出了排名（非）直接引文检索（RICS），该方法将搜索范围扩大到包括共被引和共引文献（间接引文），并应用相关性排序和截断程序。然而，RICS 工作流程尚未标准化，手动执行繁琐，且其在补充检索背景下与 UDCS 相比的有效性和效率尚不明确。现有的自动间接引文检索工具稀缺或缺乏支持，且尚无大规模比较研究将 RICS 作为与 UDCS 并行的补充方法进行评估。

方法学
作者开发了一个方法学框架和软件工具Co*Citation Network，以促进 UDCS 和 RICS 的并行执行与比较。

• 工具开发：CoCitation Network 是基于 OpenAlex 引文索引构建的开源应用程序。其前端与现有的用于 UDCS 的Local Citation Network*集成。为了处理大量间接引文（共被引/共引），后端利用 OpenAlex 快照的本地处理，而非直接调用 API。它实施了一种基于 Belter 方法的相关性排序算法，通过计算候选论文与种子文献之间的引文关系（被引、引用、共被引、共引）的总和进行排序。
• 排名截断策略：为确保 RICS 在系统评价的筛选负荷下保持可行，系统自动确定相关性排名截断点。该截断点设定为返回的 RICS 结果数量大致等于但略多于 UDCS 结果的数量。这种经验性方法旨在平衡相关间接引文的获取与实际筛选限制。
• 研究设计：本研究采用混合方法：
  1. 回顾性分析：利用三个已完成系统评价（Neuhaus 等人、Baroutsou 等人、Reid 等人）的纳入记录作为种子文献，对这三个系统评价并行开展 UDCS 和 RICS 检索。结果与原始主要数据库检索结果进行去重。
  2. 前瞻性案例研究：开展了一项关于年轻发病型痴呆非药物干预的新系统评价。使用种子文献（11 篇纳入记录 + 6 份相关方案/综述）生成并行的 UDCS 和 RICS 结果。这些结果由两名评审员进行独立标题/摘要和全文筛选。

主要贡献

• Co*Citation Network 应用程序：推出了首个基于 OpenAlex 索引、能够自动化并行 UDCS 和 RICS 检索的开源工具。它提供了一个灵活的、基于经验确定的相关性排名截断点。
• 标准化工作流程：建立了用于比较补充性 UDCS 和 RICS 的可复制工作流程，包括与主要检索结果的去重以及资格筛选。
• 研究基础设施：创建了一个框架，用于组建国际研究联盟（"RICS 人群研究”），从多个系统评价团队收集数据，以统计评估 RICS 与 UDCS 的有效性。

结果

• 回顾性分析：在所有三个回顾性系统评价中，与 UDCS 相比，RICS 结果与主要数据库检索结果的重叠率更高（例如，在 Neuhaus 研究中为 40.9% 对 22.6%）。因此，去重后，在三个案例中的两个案例里，RICS 需要筛选的唯一记录数量更少。
• 前瞻性案例研究：
  • 数量：UDCS 产生 917 条结果；RICS（自动排名截断点为 10）产生 1,151 条结果。
  • 重叠率：RICS 与主要检索的重叠率（12.9%）高于 UDCS（7.5%）。
  • 筛选效率：在标题/摘要阶段，RICS 表现出略高的精确度（2.1%）和更低的需阅读数（NNR）为 48，而 UDCS 的精确度为 1.8%，NNR 为 57。
  • 纳入：通过补充检索识别出两篇额外的合格文章。一篇由 UDCS 和 RICS 共同发现；另一篇仅由 UDCS 发现。值得注意的是，该仅由 UDCS 发现的文章在 RICS 中的排名为 6，低于自动设定的截断点 10。若降低截断点以包含该文章，将产生超过 10,000 条结果，使工作流程不可行。

意义与主张
本文声称提供了首个用于补充性 UDCS 和 RICS 前瞻性国际比较的框架。结果表明，RICS 结果可能比 UDCS 结果更相关（即与种子文献和主要检索结果更相似），从而可能提供更高的精确度。然而，作者明确指出，当前的案例研究缺乏统计效力，无法确定性地判定 RICS 是否优于 UDCS。研究指出了一种潜在的权衡：虽然 RICS 可能提供更高的精确度，但严格的排名截断点（出于可行性考虑所必需）可能会遗漏 UDCS 捕获的相关文献。作者得出结论，所提出的工作流程和开源工具使得组建研究联盟成为可能，从而生成确凿证据，以确定 RICS 是否应被采纳为系统评价中的标准补充检索技术。