Development and Validation of OlivePICO: A Browser-Based Pre-Screening Tool for Reducing Title and Abstract Screening Burden in Systematic Reviews

技术摘要：OlivePICO 的开发与验证

问题陈述
由于生物医学文献的指数级增长，循证医学中的系统评价正面临着日益沉重的负担。当代的综述通常需要人工筛选数以万计的标题和摘要，以确定一组可管理的全文研究数量。虽然 Covidence 和 Rayyan 等协作平台可以促进筛选工作流，但其先进的 AI 辅助优先级排序功能通常需要付费订阅，这为独立研究人员、早期职业团队以及中低收入国家的机构制造了准入门槛。因此，许多团队必须手动筛选海量的记录（可能超过 50,000 条），这一过程缓慢、耗费资源且成本高昂。目前需要一种免费、易于获取的预筛选机制，能够在将记录导入协作平台之前减少其数量，且无需安装、服务器托管或编程专业知识。

方法论：OlivePICO 的架构与工作流
作者开发了 OlivePICO，这是一个基于客户端、基于浏览器的预筛选工具，旨在完全通过 JavaScript 在用户的浏览器中运行。没有任何书目数据会被传输到外部服务器，也不需要账号注册。该工具接受来自任何主要数据库的多种格式书目导出文件（CSV, RIS, .nbib, PubMed .txt, BibTeX, .xlsx）。

技术工作流分为四个连续阶段：

1. 查重（Deduplication）： 该工具采用两层方法。首先，通过归一化的 DOI 匹配移除精确重复项。对于缺乏 DOI 或 DOI 匹配失败的记录，它利用截断标题匹配算法（比较去除标点符号并转为小写后的前 80 个字符）结合出版年份进行处理。
2. 摘要路由（Abstract Routing）： 缺乏摘要的记录会被标记并路由至专门的人工复核队列，而不是被排除，从而确保对潜在符合条件的记录进行人工监督。
3. 撤稿隔离（Retraction Segregation）： 在标题或摘要中包含明确撤稿信号（如“RETRACTED ARTICLE”、“Retraction note”）的记录会被自动分流至单独的“RETRACTED”（已撤稿）队列。该队列独立于标准的 INCLUDE/UNCERTAIN/EXCLUDE 流，并在输出结果和 PRISMA 流程图中单独报告。该工具特意排除了通用术语“withdrawn”（撤回），以避免与参与者退出相关的假阳性。
4. PICO 领域匹配与排除过滤：
   • 预过滤排除（Pre-filter Exclusion）： 记录根据可配置的排除过滤器（研究设计、主题、人群）进行评估。匹配到任何排除词条将导致立即排除。
   • PICO 匹配： 其余记录根据配置的 PICO 领域（人群 Population、干预 Intervention、对照 Comparator、结局 Outcome）的关键词列表进行评估。支持通配符。
   • 分类逻辑： 如果匹配了所有激活的 PICO 领域，则将记录分类为 INCLUDE（纳入）；如果匹配了至少两个（但不全）激活的领域，则分类为 UNCERTAIN（不确定）；如果匹配少于两个领域，则分类为 EXCLUDE（排除）。默认情况下，对照（Comparator）领域不计入评分，但可以激活。
   • 人机协同（Human-in-the-Loop）： 每条记录的评审界面会高亮显示标题和摘要中的匹配词汇，允许用户在导出前通过键盘快捷键覆盖自动化决策。
   • 预设（Presets）： 配置可以保存为本地浏览器预设（JSON），以便于复现和共享，并附带关于浏览器特定存储限制的明确警告。

验证策略
该工具通过三部分设计进行了验证：

1. 初步验证： 以一项已完成的关于减药（deprescribing）的系统评价（n=16 项确认纳入的研究）作为基准真相（ground truth）。测量了敏感度，并通过手动审查被 OlivePICO 排除的 150 条随机样本记录来估算假阴性率（FNR）。
2. 前瞻性应用（SR1 & SR2）： 将 OlivePICO 应用于两项关于老年人跌倒风险的独立系统评价。
3. 对比分析： 在这两项前瞻性研究中，将 OlivePICO 的表现与一个定制的 Python 筛选流水线进行了面对面对比。分析重点在于“排他性”记录（即被其中一个工具捕获但未被另一个捕获的记录），以确定方案的相关性和精确度。

关键结果

• 初步验证（减药综述）：

  • 敏感度： 经过两次迭代优化（添加了“poly-de-prescribing”变体并完善了针对“protocol”一词的排除逻辑）后，OlivePICO 达到了 100% 的敏感度（16/16 项确认纳入的研究）。
  • 假阴性率： 对 150 条排除记录的手动审查发现了一个假阴性（一项关于“高龄”的研究，因其关键词列表中缺少该人群术语）。经验证的 FNR 为 0.7% (95% CI: 0.0–3.7%)，远低于预设的 5% 可接受阈值。
  • 容量缩减： 在初步验证中，OlivePICO 将去重后的唯一记录池减少了 74.4%（从 25,980 条减少至 6,658 条）。

• 前瞻性应用（跌倒相关综述）：

  • SR1（跌倒预测因子）： OlivePICO 向前传递了 17,115 条记录（减少了 49.4% 的唯一记录）。
  • SR2（数字工具）： OlivePICO 向前传递了 8,528 条记录（减少了 31.8% 的唯一记录）。
  • 与 Python 流水线的对比：
    • 在 SR1 中，OlivePICO 独特地捕获了 1,003 条方案相关记录（精确度 62.1%），而 Python 流水线仅独特捕获了 31 条相关记录（精确度 0.4%）。
    • 在 SR2 中，OlivePICO 独特地捕获了 3,706 条相关记录（精确度 61.9%），相比之下，Python 流水线仅捕获了 38 条（精确度 9.6%）。
    • Python 流水线的独特贡献主要是由涉及主题的术语驱动的假阳性，这些术语未能满足特定的受试人群标准，而 OlivePICO 的结构化 PICO 匹配有效防止了此类噪声。

意义与主张
论文声称 OlivePICO 提供了一种免费、易获取且可复现的替代方案，用于取代付费的 AI 辅助筛选工具。其核心意义在于证明，与非结构化的关键词过滤（如定制的 Python 流水线所示）相比，结构化的 PICO 领域匹配能产生质量更高的信号记录池。

作者强调的关键贡献包括：

• 易获取性： 该工具无需安装、订阅或上传数据，使其适用于资源有限的研究人员。
• 透明度与控制力： 与“黑箱”机器学习模型不同，OlivePICO 的基于规则的方法允许对关键词列表和排除项进行完全透明、可审计且可迭代的优化。
• 工作流集成： 它旨在作为现有协作平台（如 Rayyan, Covidence）的补充，通过减少初始记录量，在显著降低人工工作量的同时，保持综述的敏感度。
• 鲁棒性： 该工具能够成功处理各种导出格式，包括来自 IEEE Xplore 的非标准 RIS 结构，并包含了针对撤稿文献的特定保护措施。

作者得出结论：以 PICO 为锚点的预筛选可以在提高方案相关性的同时，大幅减少转发给人工筛选者的记录量，提供了一种可迁移的系统评价质量保证框架。