Limiting to English language records: A comparison of five methods on Ovid MEDLINE and Embase versus removal during screening

该研究比较了 Ovid MEDLINE 和 Embase 数据库中五种英语语言限制方法与筛选阶段排除非英语记录的效果，发现尽管限制方法能高效检索英语文献，但均存在因元数据错误而误删或漏检的风险，建议通过引文追踪来缓解此类问题。

要点

这篇论文探讨了一个在医学和科学研究中非常实际的问题：当我们做“系统综述”（也就是把全世界关于某个话题的研究都找出来汇总分析）时，如果只找英文文章，会不会漏掉重要的东西？以及，我们在搜索阶段直接过滤掉非英文文章，和先把所有文章都找出来、在人工筛选阶段再剔除非英文文章，这两种方法有什么区别？

为了让你更容易理解，我们可以把这项研究想象成在一个巨大的跨国图书馆里寻找特定的食谱。

1. 背景：为什么要限制语言？

想象一下，你正在写一本关于“如何治愈感冒”的百科全书。图书馆里有几百万本书，但你的团队只会说英语，而且时间紧迫、预算有限。

• 做法 A（搜索时过滤）： 你在图书馆的检索机器上直接输入“只给我英文书”。机器会立刻把非英文的书全部挡在门外，你只看到英文书。
• 做法 B（筛选时过滤）： 你把所有书（不管什么语言）都搬出来，堆在桌子上。然后你的团队开始一本本看，看到非英文的书就扔回书架，只留下英文的。

核心问题： 这两种做法结果一样吗？会不会因为机器太笨，把一些其实是英文的书误当成非英文书给扔了？或者把一些其实是非英文的书误当成英文书留下来了？

2. 研究做了什么？

两位作者（Helen 和 Kirsty）就像图书馆的“侦探”。他们找了 7 个已经做过的真实研究项目，把这些项目里最终被采纳的“好文章”（Includes）和被因为“不是英文”而扔掉的“坏文章”（NEL Excludes）都找了出来。

然后，他们在这两个巨大的数据库（Ovid MEDLINE 和 Embase，相当于两个超级大的数字图书馆）里，测试了5 种不同的“只找英文”的搜索技巧，看看这些技巧能不能精准地找回那些“好文章”，同时能不能精准地扔掉那些“坏文章”。

3. 主要发现：机器其实挺准，但偶尔会“脸盲”

发现一：5 种搜索技巧，效果几乎一模一样

作者测试了 5 种不同的搜索指令（有的只搜“英文”，有的搜“英文 + 没标语言的”，有的用复杂的逻辑排除法）。

• 比喻： 就像你用了 5 种不同的金属探测器在沙滩上找金币。结果发现，这 5 个探测器找到的金币数量几乎完全一样。
• 数据： 在 MEDLINE 数据库里，99.8% 的“好文章”都被成功找到了；在 Embase 里是 99.7%。这意味着，在搜索阶段直接限制语言，绝大多数情况下是安全的，不会漏掉重要的英文研究。

发现二：机器也会“脸盲”（误杀）

虽然准确率很高，但还是有5 篇本该被留下的英文文章，被搜索指令错误地扔掉了。

• 比喻： 这就像保安在门口检查护照。有一本护照上写着“英语”，但保安看到旁边还贴着一张“西班牙语”的贴纸（因为这本杂志是双语的，或者元数据标错了），保安就以为它是西语书，把它拦在了门外。
• 原因： 这些文章通常发表在双语或多语种的期刊上。数据库里的标签（元数据）只标了“西班牙语”或“波兰语”，没标“英语”，导致搜索指令误判。
• 结论： 直接过滤虽然方便，但确实存在极小概率（约 0.2%-0.3%）把真正的英文好文章误杀的风险。

发现三：人工筛选也会“看走眼”（误放）

反过来，那些在人工筛选阶段被扔掉的“非英文文章”里，也有17 篇（MEDLINE 8 篇，Embase 9 篇）其实是英文文章，或者是有英文摘要的文章。

• 比喻： 这就像你的团队在桌子上翻书时，看到一本封面是法文的，就顺手把它扔了。结果后来发现，这本书里面全是英文写的，只是封面印了法文，或者它是一本双语书。
• 原因： 人工筛选时，工作人员可能只看了标题或摘要的语言，或者数据库的标签本身就有错（比如把一本英文期刊标成了波兰语）。

4. 这意味着什么？（给普通人的启示）

这篇论文给做研究的人（以及关心研究质量的大众）提了几个醒：

1. 没有完美的过滤器： 无论是用机器在搜索时直接过滤，还是人工在后期筛选，都有出错的可能。机器会“脸盲”（因为标签错误），人也会“看走眼”（因为标签错误或疏忽）。
2. 双语/多语期刊是“重灾区”： 最容易出错的，就是那些同时出版多种语言的文章。数据库的标签往往只标了一种，导致机器或人误判。
3. 如何降低风险？
   • 不要只依赖一种方法： 如果你只搜英文，可能会漏掉那 0.3% 的误杀文章。
   • 使用“引文追踪”（Citation Searching）： 就像侦探查案一样，看看被采纳的文章引用了谁，或者谁引用了它。这样即使搜索漏掉了，也能通过“顺藤摸瓜”把漏网之鱼找回来。
   • 如果资源允许，不要急着过滤： 如果时间充裕，最好先把所有语言的文章都找出来，在筛选阶段再仔细检查。如果必须过滤，要意识到那微小的风险，并做好准备去补救。

总结

这就好比在机场安检：

• 搜索时过滤就像在登机口直接设卡，只让说英语的人过。效率极高，但偶尔会误伤一个拿着英语护照但被系统标错的人。
• 筛选时过滤就像把所有乘客都拉进大厅，一个个检查。虽然更稳妥，但人力成本高，而且检查员也可能看错护照。

这篇论文告诉我们： 为了追求效率和准确性，我们通常可以在搜索时直接限制语言（因为 99.8% 是准的），但必须留个心眼，知道那 0.2% 的“误杀”是真实存在的，并且要用“引文追踪”等额外手段来确保万无一失。同时，数据库的标签系统（元数据）还需要更聪明、更准确才行。

技术摘要

这是一份关于该研究论文的详细技术摘要，涵盖了研究问题、方法论、关键贡献、主要结果及研究意义。

论文标题

限制为英语记录：Ovid MEDLINE 和 Embase 上五种方法的比较与筛选期间移除非英语记录的对比

1. 研究背景与问题 (Problem)

在证据综合（如系统评价）中，排除非英语（NEL, Non-English Language）文献常被称为“语言偏倚”。虽然限制语言可以提高效率并节省资源，但可能导致遗漏相关证据，从而扭曲研究结论。

• 核心矛盾：研究团队面临两种限制语言的选择：
  1. 在检索策略中应用语言限制（在数据库搜索阶段直接过滤）。
  2. 在筛选阶段移除非英语记录（先检索所有语言，再在人工筛选时排除）。
• 现有问题：
  • 在 Ovid MEDLINE 和 Embase 数据库上，有多种应用英语（EL）限制的方法（如内置限制、字段代码搜索等），但这些方法的具体表现及其与“筛选阶段移除”相比的准确性尚未得到充分比较。
  • 数据库的语言元数据（Language Metadata）可能存在错误或缺失，导致在检索阶段直接应用语言限制时，可能误删实际上有英文版本的记录，或者未能有效排除非英文记录。

2. 方法论 (Methodology)

本研究是一项探索性研究，旨在比较 Ovid MEDLINE 和 Embase 上五种不同的英语限制方法，并将其与筛选期间移除非英语记录的效果进行对比。

• 数据来源：
  • 选取了 7 项已完成的证据综合研究（涵盖药物干预、心理健康、神经干预和公共卫生等领域）。
  • 提取了这些研究中的两类记录：
    • 纳入记录 (Includes)：在全文筛选阶段被纳入的 1,509 条 MEDLINE 记录和 1,584 条 Embase 记录。
    • 非英语排除记录 (NEL Excludes)：在筛选期间因语言原因被排除的记录。
• 测试的五种英语限制方法：
  1. 方法 1：仅限制为“英语”（使用内置限制）。
  2. 方法 2：限制为“英语”或“未指定语言”（No language specified）。
  3. 方法 3：限制为“英语”、“未指定语言”或“未定义语言”（如 MEDLINE 的 undetermined, multilingual；Embase 的 polyglot）。
  4. 方法 4：not (NEL not EL) 逻辑。即排除那些标记为非英语但不包含英语元数据的记录（旨在保留无语言标签的记录）。
  5. 方法 5：not (NEL not EL/undefined) 逻辑。与方法 4 类似，但额外排除了标记为“未定义语言”的情况，以防止误删多语言记录。
• 测试过程：
  • 将上述 7 项研究的“纳入”和“排除”记录导入检索策略。
  • 分别应用五种方法，计算每种方法检索到的“纳入记录”比例（即是否误删了应纳入的英文记录）和移除的“非英语排除记录”比例（即是否成功排除了非英文记录，或是否错误地保留了非英文记录）。
  • 对误删或误保留的记录进行人工核查，分析其语言元数据的准确性（正确、错误或部分正确）。

3. 关键贡献 (Key Contributions)

• 方法学比较：首次系统性地比较了 Ovid 平台上五种不同的英语限制策略在 MEDLINE 和 Embase 上的实际表现。
• 元数据准确性分析：深入揭示了数据库语言元数据的缺陷。研究发现，即使是看似简单的语言限制，也会因为元数据错误（如双语期刊仅标记了非英语语言）而导致误操作。
• 策略对比：量化了“检索阶段限制”与“筛选阶段移除”在敏感性和特异性上的差异，为信息专家（Information Specialists）制定检索策略提供了实证依据。
• 具体建议：针对 Ovid 平台，提出了更敏感的限制策略（如包含“未指定语言”和“未定义语言”），并指出了不同方法在处理多语言期刊时的细微差别。

4. 主要结果 (Results)

• 五种方法的性能一致性：

  • 在测试的数据集中，五种方法的表现完全一致。
  • MEDLINE：99.8% 的“纳入记录”被检索到（即 0.2% 被误删）；98.2% 的“非英语排除记录”被成功移除（即 1.8% 被错误保留）。
  • Embase：99.7% 的“纳入记录”被检索到（0.3% 被误删）；94.6% 的“非英语排除记录”被成功移除（5.4% 被错误保留）。

• 误删的“纳入记录” (False Negatives)：

  • 共有 5 条实际上有英文版本的记录被所有方法误删（MEDLINE 2 条，Embase 3 条）。
  • 原因：这些记录的语言元数据部分错误。它们通常发表在双语或多语言期刊上，但元数据仅标记了非英语语言（如西班牙语、波兰语），未标记英语，导致系统将其判定为非英语记录。

• 错误保留的“非英语排除记录” (False Positives)：

  • MEDLINE：9 条被错误保留的记录中，8 条实际上有英文版本（元数据部分正确），1 条因元数据错误被保留（实际无英文）。
  • Embase：24 条被错误保留的记录中，9 条有英文版本，15 条因元数据错误（未标记英语）而被错误保留。
  • 模式：错误保留多发生在双语期刊（文章本身是非英语，但有英文摘要）或元数据缺失的情况下。

• 元数据差异：

  • MEDLINE 和 Embase 对同一篇文章的语言元数据可能不同（例如，MEDLINE 标记为“苏格兰盖尔语”，Embase 标记为“爱尔兰盖尔语”），这增加了单一数据库检索的风险。

5. 研究意义与结论 (Significance & Conclusion)

• 风险量化：虽然误删英文记录的比例很低（<0.3%），但这表明在检索策略中直接应用语言限制存在系统性风险，特别是对于双语或多语言期刊。
• 元数据缺陷：数据库的语言元数据并不总是准确反映文章的实际语言内容，尤其是对于多语言出版物。
• 实践建议：
  1. 检索策略：如果必须在检索阶段限制语言，建议采用更敏感的方法（如方法 3：包含“未指定语言”和“未定义语言”），以减少误删风险。
  2. 筛选策略：在资源允许的情况下，在筛选阶段移除非英语记录（即先检索所有语言）通常更敏感，因为它能捕获那些元数据错误的英文记录。
  3. 缓解措施：为了弥补语言限制带来的潜在遗漏，强烈建议结合正向和反向引文检索（Citation Searching）。
  4. 透明度：无论选择哪种方法，都应在研究报告中透明地说明语言限制的应用方式及其局限性。
• 最终结论：虽然限制语言可以提高效率，但信息专家和审查团队必须意识到元数据错误可能导致关键英文文献被遗漏。对于资源受限的综述，使用语言限制是可行的，但需配合引文搜索等策略来降低偏倚风险。

---

总结：该研究通过实证数据证明，尽管 Ovid MEDLINE 和 Embase 上的英语限制方法在大多数情况下表现良好，但由于元数据错误，仍存在误删英文文献的风险。研究强调了在检索策略中谨慎选择限制方法，并建议在筛选阶段或结合引文搜索来进一步降低语言偏倚。