💻 computer science

Auxiliary uncertainty signals for LLM-assisted systematic review screening: a benchmark across eight Cohen drug-class reviews

本文证明了通过集成一个提供结构化不确定性信号的辅助 BERT+GCN 分类器，可以显著提高大语言模型辅助系统评价筛选的效率和召回率，确定了一种仅将“可能（MAYBE）”案例路由至大语言模型的帕累托最优策略，并揭示了当前的指令微调模型缺乏对其自身决策进行自我分诊的能力。

原作者： Arya Rahgozar, Pouria Mortezaagha

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Arya Rahgozar, Pouria Mortezaagha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在医学研究领域，理解一种疗法最可靠的方法是系统评价（systematic review）。这是一项规模宏大且严谨的工作，专家们收集所有已发表的关于特定主题的研究，阅读它们，并决定哪些研究足够优秀，可以计入最终答案。这一过程中第一步也是最艰苦的一步是筛选。研究人员必须查看成千上万个标题和摘要（论文的简短总结），并决定哪些需要全文阅读，哪些应当舍弃。这项任务消耗了数百小时的专家时间，往往感觉就像是在大海捞针。最近，科学家们开始利用大语言模型——即那些能够写论文和回答问题的强大计算机程序——来辅助这项筛选工作。这些模型阅读速度很快，可以建议保留哪些论文，但它们有一个显著的缺陷：它们不知道自己何时处于不确定状态。当一个计算机程序说“保留这篇论文”时，它可能非常确定，也可能是在猜测，而人类评审员无法分辨其中的区别。这种不确定性造成了一个瓶颈，因为评审员无法轻易知道计算机的哪些建议值得人类进行二次查看。

渥太华大学和渥太华医院研究所的一个研究小组试图通过给计算机提供“第二意见”来解决这个问题。他们构建了一个专门的系统，作为主要筛选程序的安全网。这个系统结合了一个文本阅读引擎和一个理解论文之间相互联系的网络，它会在主程序之前阅读每一篇论文。随后，它会分配一个简单的标签：保留、舍弃或“也许”。“也许”标签是最重要的部分；它标志着系统感到困惑，或者该论文处于相关性的边缘。研究人员测试了将这种“也许”信号传递给主程序程序的不同方式。他们想看看，如果告诉主程序：“嘿，这篇很棘手，这是来自我们安全网的备注，”是否能在不浪费时间或金钱的情况下帮助它做出更好的决策。他们在八组不同的医学数据上进行了实验，涉及数千篇论文，以观察哪种方法效果最好。

结果显示，仅仅将“也许”警告传递给主计算机是最有效的策略。当研究人员告诉计算机仅对被标记为“也许”的论文给予额外关注时，该系统在寻找正确论文方面的准确度变得更高，且成本与不做任何特殊处理几乎持平。事实上，这种针对性的方法实现了性能与成本的最佳平衡。它实现了最高的正确论文发现率，且仅增加了极微小的计算资源消耗。相比之下，研究人员发现，如果向计算机告知安全网的信息（即使是对那些容易处理的论文），虽然能略微提高准确度，但运行成本却显著增加。然而，最令人惊讶的发现是关于计算机如何处理其自身的不确定性。研究人员尝试了一种方法：让计算机阅读一篇论文，说出“我不确定”，然后立即结合安全网的笔记再次阅读该论文，以观察它是否会改变主意。这种方法完全失败了。即使计算机承认自己不确定，并且得到了额外的帮助，它也从未改变最初的决定。它固守于最初的猜测，即使那个猜测很可能是错误的。这表明，这些计算机程序无法有效地实时重新评估自身的不确定性；当它们感到困惑时，需要人类介入，而不是试图自行解决问题。

研究还表明，他们构建的复杂安全网可以被简化。该系统使用两种不同的测试来决定一篇论文是否为“也许”，但研究人员发现其中一种测试在他们使用的数据中从未被触发。如果整个安全网仅依赖于一个简单的检查——即系统对其答案的信心程度——其功能表现得同样出色。这意味着其他研究人员可以构建类似的工具，而无需使用最初设计的复杂多部分机制。此外，这种安全网带来的益处并不取决于主计算机程序的强大程度。无论他们使用的是更新、更先进版本的软件还是旧版本，安全网都能提供同样的准确度提升。这说明安全网是一个可靠且独立的助手，它与主程序协同工作，而不仅仅是为较弱的模型填补空白。

对于从事这些医学综述工作的团队来说，未来的路径是清晰的。他们不应依赖筛选计算机去识别自身的困惑并请求帮助。相反，他们应该使用一个更简单的独立系统来标记困难论文，并将这些特定的标记反馈给主计算机。这种方法既能获得拥有“第二意见”的好处，又不会因为对每篇论文都进行两次检查而产生高昂的成本。研究人员已将其所有的代码、数据和工具向公众开放，允许其他科学家复制这些工作并将这些方法应用于他们自己的综述中。通过准确了解计算机何时需要帮助以及何时不需要帮助，医学研究人员可以加速寻找救命证据的过程，确保在不给负责最终工作的专家增加负担的情况下，能够审查到正确的研究。

技术摘要：用于 LLM 辅助系统评价筛选的辅助不确定性信号

1. 问题陈述

系统评价是医疗保健领域证据合成的金标准，然而标题-摘要筛选阶段仍是一个主要瓶颈，通常需要专家投入数百小时的时间。虽然大语言模型（LLMs）在自动化筛选方面展现出了潜力，但它们面临一个关键局限：其决策缺乏校准后的不确定性。一个输出“包含（INCLUDE）”并带有模棱两可语言（例如“这可能相关”）的 LLM，在后续操作中与确定性决策是无法区分的。这种结构化不确定性的缺失，既阻碍了评审员将模糊记录高效路由至人工验证，也使 LLM 失去了在评估模糊时请求额外证据的机制。

2. 方法论

2.1 实验设计

本研究评估了基于 Cohen (2006) 基准集合中八个药物类别数据集的五种提示词交付条件。评估过程利用 3 个随机种子和 5 折分层交叉验证，最终产生 600 次折叠级实验运行。

2.2 辅助不确定性信号 (BERT+GCN)

针对每一折训练一个混合 BERT+GCN（图卷积网络）模型，以生成结构化不确定性信号。该流水线通过以下方式表示论文：

内容： 使用 PubMedBERT 对标题和摘要进行嵌入。
关系上下文： 在 $k$ -最近邻相似性图（包含可选的引用边）上学习 GCN 嵌入，使用关系图卷积（RGCNConv）。

该模型将论文分为三种状态：包含 (INCLUDE)、排除 (EXCLUDE) 或 可能 (MAYBE)。可能 (MAYBE) 状态由两个互补的光谱测试触发：

代数根式测试 (Algebraic Radical Test)： 如果包含与排除的逻辑值（logits）之间的差距低于阈值（ $|P(\text{Include}) - P(\text{Exclude})| < \epsilon$ ，其中 $\epsilon=0.15$ ），则标记为不确定。
类别悖论测试 (Categorical Paradox Test)： 如果 BERT（内容）与 GCN（关系）嵌入之间的余弦相似度较低（ $\cos(b, g) < \delta$ ，其中 $\delta=0.0$ ），即表明文本内容与引用邻域之间存在分歧，则标记为不确定。

2.5 提示词交付条件

研究调查了如何将光谱上下文注入 LLM 提示词：

基准 (Baseline)： 仅包含标题和摘要。
全光谱 (Full Spectral)： 包含标题、摘要以及完整的光谱上下文（标签、置信度差距、模型置信度和悖论类型），针对每一篇论文。
仅决策 (Decision Only)： 包含标题、摘要和光谱标签（INCLUDE/EXCLUDE/MAYBE），但不提供数值分数。
仅可能 (MAYBE Only)： 仅当 BERT+GCN 将论文标记为 MAYBE 时，才附加完整的光谱上下文；对于其他所有论文，使用基准提示词。
两轮处理 (Two-Pass)： 首先发送基准提示词。如果 LLM 的响应包含模棱两可的语言或低置信度，则进行第二轮处理，发送完整的光谱上下文以“重新考虑”其决策。

2.6 模型与指标

LLMs： 主要筛选器为 gpt-5.4-mini（快照时间：2026 年 1 月–4 月）；跨模型试点使用 gpt-4.1-mini。
指标： 召回率 (Recall)、AUC-ROC（使用 LLM 置信度分数）、F1 值、95% 召回率下的节省采样工作量 (WSS@95) 以及 Token 成本。
分析： 一项预注册的跨模型试点测试了信号的可移植性。一项针对单篇论文的消融研究（20,796 个观测值）分析了双重悖论测试的贡献。

3. 关键结果

3.1 全上下文带来的效率提升

交付全光谱上下文相比基准表现出统计学意义上的显著改进：

F1 分数： 提升了 0.011 ( $p=0.008$ )。
WSS@95： 提升了 0.050 ( $p=0.039$ )，意味着在保持 95% 召回率的同时，减少了 5% 的筛选负担。
成本： 这带来了 1.28 倍的 Token 成本溢价。
召回率： 召回率在所有条件下均得到保持 ( $p \ge 0.12$ )，表明不存在安全性权衡。

3.2 帕累托最优策略：仅可能 (MAYBE-Only)

仅可能 (MAYBE-only) 路由策略被确定为最具成本效益的配置：

性能： 在所有条件下实现了最高的平均召回率 (0.92) 和 AUC-ROC (0.54)。
成本： 仅产生 1.05 倍的基准成本（仅为全上下文交付开销的六分之一）。
统计说明： 虽然全上下文交付在 F1 和 WSS@95 上显示出显著增益，但“仅可能”在这些特定指标上与基准或全上下文并无显著差异，但在成本–质量前沿面上占据主导地位。

3.3 LLM 自我分诊的失败 (Two-Pass)

旨在让 LLM 自我分诊不确定记录的 两轮处理 (Two-Pass) 设计得出了决定性的负面结果：

升级： 由于检测到模棱两可的语言，22.2% ± 8.8% 的记录触发了第二轮处理。
翻转率： 被升级的论文中，在第二轮处理时改变决策的比例为 0.0%。
启示： 当前经过指令微调的 LLM 无法有效地进行自我分诊；即使面对新的不确定性信号，它们也会锚定在初始决策上。

3.4 跨模型可移植性

一项比较 gpt-4.1-mini 和 gpt-5.4-mini 在三个数据集上的试点研究显示，两者从全光谱上下文获得的召回率提升均为一致的 +0.8%。这表明 BERT+GCN 信号作为一个稳定的、模型无关的辅助分类器发挥作用，而不是仅对较弱模型有益的依赖于能力的“拐杖”。

3.5 分类器消融发现

对光谱引擎的消融研究显示，类别悖论测试（余弦相似度）在默认阈值 ( $\delta=0.0$ ) 下并未在 8 个数据集的语料库中触发任何论文，因为所有的 BERT/GCN 余弦相似度均为正值。因此，对于该特定基准，双测试简化为单一的 逻辑值间隙准则 (Logit-Gap criterion) ( $|P(\text{Include}) - P(\text{Exclude})| < 0.15$ )。

4. 贡献与意义

本文声称其贡献与意义如下：

为成本敏感型筛选提供实践指导： 研究确定了 “仅可能”路由 (MAYBE-only routing) 是推荐的配置。它以接近基准的 API 成本捕捉到了光谱收益（高召回率和 AUC-ROC），避免了全上下文交付 28% 的溢价。
量化光谱上下文的收益： 提供证据表明，来自辅助分类器的结构化不确定性可以显著提高筛选效率（F1 和 WSS@95），且不会损害召回率。
对自我分诊的明确否定结果： 研究提供了“决定性的经验证据”，证明经过指令微调的 LLM 无法进行自我分诊。两轮处理设计中 0% 的翻转率排除了那些依赖于 LLM 识别自身不确定性并进行针对性重新评估的流水线设计。
稳定的辅助信号： 跨模型试点支持了将 BERT+GCN 输出视为一种稳定的外部信号的解释，该信号可以跨 LLM 代际转移，而非仅作为弱模型的缺陷修复。
可复现的实现： 作者贡献了一个完全可复现的 600 次运行基准、一个确定性分析脚本，以及一个可以在一小时内从缓存响应中重放的公开可用流水线。

5. 局限性与范围

作者明确指出了若干范围限制：

领域： 结果基于生物医学药物类别评论；在社会科学或环境科学领域的泛化性尚未经过测试。
模型覆盖： 主矩阵使用 gpt-5.4-mini；结果可能因更大的前沿模型（如 GPT-4o）或开源替代方案而异，特别是在数值推理能力方面。
阈值： 光谱阈值是固定的，未针对每个数据集进行微调；自适应阈值（例如基于百分比的余弦阈值）仍是未来的研究方向。
人机协作： 本研究是针对真实标签进行评估，而非针对压力下的真人评审员决策。
确定性输出： 使用了温度 0 (Temperature 0)，因此无法分析运行间的方差。

总之，本文认为虽然 LLM 是有效的筛选器，但它们从针对性的、具有成本效益的集成（特别是“仅可能”路由）中获益最多，而非依赖于自身的自我评估或全盘的上下文注入。