📄 健康信息学

Validation of a two-stage automated screening pipeline for medical systematic reviews: a stratified concordance study with three independent human reviewers, using PABAK and Gwet's AC1

本研究验证了一个两阶段自动化筛选流程在自动排除系统评价中的记录方面能够实现与人工评审者完全一致的能力，同时也表明由于人类之间较低的评分者间一致性以及机器在剩余不确定案例中表现不佳，该系统无法可靠地识别纳入决策。

原作者： Pirani, E., Costazza, D., Berti, P. P.

发布于 2026-10-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Pirani, E., Costazza, D., Berti, P. P.

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

问题陈述
由于生物医学文献的指数级增长，系统评价（SR）在标题-摘要筛选阶段面临着日益严重的瓶

方法论
本研究通过一项前瞻性一致性研究，在医疗系统评价（高血小板反应性、阿司匹林抵抗和颈动脉斑块）的背景下，验证了一个两阶段自动化筛选管线与三名独立人类评审员之间的一致性。

数据集： 从多个数据库（PubMed, Scoss, Europe PMC, OpenAlex, arXiv）检索到的 904 条记录。
管线架构：
- 第一阶段（基于规则）： 使用基于 PICO 衍生关键词启发式算法（非机器学习/大语言模型）的 Python 脚本，将记录分类为：纳入（INCLUDE）、排除（EXCLUDE）或不确定（UNCERTAIN）。
- 第二阶段（LLM 裁定）： 由第一阶段标记为“不确定”的记录由 DeepSeek V4 Pro（零样本，温度 = 0）通过固定提示词进行处理，将其转化为“纳入”或“排除”。
验证设计：
- 抽样： 抽取了 185 条记录的层化样本：分别来自三个第一阶段分层（INCLUDE、EXCLUDE、UNCERTAIN）各 50 条，以及来自第二阶段 LLM 输出的 35 条。
- 评审员： 三位医生在对自动化标签不知情的情况下，独立判断样本：
  1. E.P.（管线设计者，熟悉语料库）。
  2. D.C.（项目外部人员）。
  3. P.P.B.（项目外部人员）。
- 指标： 研究利用敏感度（sensitivity）、特异度（specificity）、PABAK 和 Gwet's AC1（ $q=3$ ）来衡量一致性。同时报告了针对 ML/GenAI 在 SR 评估中的编辑指导所计算的节省工作量比例（WSS）和需阅读数量（NNR）。多数标签（2/3）作为补充面板计算，但并未取代作为主要参考的成对表。

核心贡献
本文声称是首个同时结合以下五个特定方法论维度的研究：

本研究通过引入两名外部评审员，并分离分析主要排除决策与次要细分类决策，明确解决了“设计者即验证者”的局限性。

结果

主要目标（第一阶段自动排除）： 管线在排除记录的决策上与人类评审员表现出近乎完美的一致性。
- 第一阶段-EXCLUDE 分层： 管线排除了 904 条记录中的 670 条（74.1%）。
- 一致性： 针对 E.P.（48/48）和 D.C.（50/50）的 PABAK 和 AC1 为 1.000。针对 P.P.B.，一致性为 PABAK = 0.940 / AC1 = 0.959（48/50 EXCLUDE, 2 UNCERTAIN）。
- 人类一致性： 人类之间的协议在两名外部读者之间最高（PABAK = 0.854），而在涉及 E.P. 时较低，这表明可能存在熟悉度效应，尽管这并非测量变量。
次要目标（精细分类/INCLUDE）： 管线在识别“纳入”记录方面表现较差。
- 整体敏感度： 针对 E.P. 为 0.800，针对 D.C. 为 0.500，针对 Berti 为 0.833。
- 假阴性： 管线漏掉了人类识别出的 INCLUDE 记录，尤其是在第二阶段。对于人类达成多数意见认为属于“INCLUDE”的 4 条记录，机器将其标记为 UNCERTAIN 或 EXCLUDE（恢复率为 0/4）。
- 第二阶段表现： 对 94 条不确定记录的 LLM 裁定结果为 11 条 INCLUDE 和 83 条 EXCLUDE，但相对于人类标签的敏感度仍然较低。
工作量指标： 74.1% 的 WSS 反映了被第一阶段过滤器移除的记录比例，该比例已通过抽样的 EXCLUDE 分层得到验证。

意义与主张
本文对其范围和意义进行了审慎的界定：

已验证能力： 研究验证了第一阶段自动排除决策作为一种可靠方法，可以从系统评价的工作流中移除大约 74% 的记录（即“显然无关”的论文）。三位独立医生确认了这一排除环节。
未验证能力： 研究明确指出，针对 INCLUDE 记录的精细分类尚未得到验证。人类自身在判定哪些剩余记录属于“INCLUDE”时也表现出较低的一致性（三方交集仅为 1 条记录），且机器未能找回人类一致认定的那些纳入记录。
方法论启示： 结果表明，虽然自动化可以有效地处理大部分排除任务，但识别相关研究的剩余任务仍属于人类、具备领域经验的任务。研究警告称，这些结果具有特定的 PICO 和管线针对性，并不自动推广至其他主题。
指标建议： 作者强调，由于流行率的不稳定性，在进行 SR 筛选验证时，应使用 PABAK 和 Gwet's AC1 而非 Cohen's kappa。

总之，本文确立了在这一特定医疗背景下，基于规则的过滤器可以安全地分担大部分筛选工作量，但它并不声称 LLM 目前能够取代人类在识别关键相关研究方面的判断力。

类似论文