💬 NLP

Scientific Knowledge Discovery in the Age of Large Language Models

本章综述了 34 项同行评审研究，这些研究探讨了生成式大语言模型如何通过自动化文献检索以及根据入选标准筛选候选研究，来应对学术文献快速增长所带来的挑战，从而提升科学知识发现的能力。

原作者： Eleni Adamidi, Serafeim Chatzopoulos, Thanasis Vergoulis

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Eleni Adamidi, Serafeim Chatzopoulos, Thanasis Vergoulis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，科学的世界就像一座巨大且不断扩张的图书馆。每天都有成千上万本新书（研究论文）被编写并添加到书架上。在过去，一位图书管理员（研究人员）可以走在走廊里，找到他们需要的书，并检查这些书是否足够优秀以供使用。但现在，图书馆增长得太快了，图书管理员快要溺水了。他们无法读完每一本书，也可能会错过最重要的书，或者不小心重复购买了同一本书。这就是“科学知识发现”的问题。为了提供帮助，科学家们正在尝试一种新型工具：大语言模型（LLMs）。不要把它们仅仅看作是只会匹配像“狗”或“猫”这样关键词的简单搜索引擎，而要将它们视为超级聪明的“阅读机器人”，能够理解问题的含义，在眨眼之间浏览数百万页的内容，并告诉你：“嘿，这本书正是你正在寻找的，”或者“不，这一本不符合规则。”

这篇论文就像是一份关于这些“阅读机器人”实际工作表现如何的侦探报告。作者 Eleni Adamidi、Serafeim Chatzopoulos 和 Thanasis Vergoulis 收集了 34 项近期的研究（发表于 2024 年至 2026 年间），以观察这些 AI 工具是如何被用来解决两个特定问题的：文献检索（寻找正确的书）和文献筛选（决定哪些书足够好以值得保留）。他们想知道：这些机器人足够聪明到可以取代疲惫不堪的图书管理员吗？人们正在使用什么样的机器人？以及我们如何知道它们是否真的做得很好？

伟大的图书馆搜寻：寻找正确的书

报告的第一部分探讨了文献检索。这是“搜索”阶段。想象一下，你问图书管理员：“我需要一本关于如何修理损坏的机器人手臂的书。”传统的搜索引擎可能只会抓取所有标题中带有“机器人”和“手臂”字样的书，即使那本书是关于玩具机器人或人类手臂的。新的 AI 工具则试图理解你的意思是用于机器人的机械臂。

论文发现，研究人员正在尝试许多不同的技巧来让这些机器人变得更聪明。有些方法使用 AI 将一个大问题分解成几个较小的、更容易回答的问题（就像侦探将案件拆解一样）。另一些方法使用 AI 构建不同书籍之间的连接图谱，以便它能找到简单搜索会遗漏的隐藏联系。有些系统甚至使用多个 AI 代理（agents）协同工作：一个代理负责规划搜索，另一个负责寻找书籍，第三个负责检查结果是否合理。

然而，报告指出一个棘手的问题：虽然这些 AI 工具非常擅长生成答案，但它们并不总是针对自己能否找到答案进行测试。在许多研究中，研究人员只检查了 AI 写出的最终故事是否精彩，而没有检查 AI 是否从正确的书籍中提取信息来撰写那个故事。这就像是仅凭汤的味道来评判一位厨师，而不去检查他是否使用了正确的食材。论文指出，虽然有一些巧妙的新系统，但我们还没有足够的证据证明它们在实际寻找正确论文方面比旧方法更好。此外，大多数这些“机器人”只是在使用预制的、现成的模型（就像请一位名厨来烹饪），而不是为特定任务训练定制的机器人。

守门人：决定保留什么

报告的第二部分侧重于文献筛选。这是“过滤”阶段。想象一下，你有一堆 1,000 本书，但你只想要那些关于“机器人手臂”且在过去五年内编写的书。人类必须阅读每一本书的标题和摘要，以决定它是否属于其中。这既缓慢又枯燥。

在这里，AI 机器人正被用作守门人。论文发现，研究人员正在测试两种主要方式。第一种方式是“单次尝试”（One-Shot）法：你把书交给机器人，问它“保留还是丢弃？”，然后它给出一个答案。第二种方式是“团队协作”法：你使用一整支机器人团队。一个负责阅读书籍，另一个负责核实事实，如果他们意见不一，第三个机器人将充当法官做出最终裁决。

报告建议，“团队协作”方法看起来更有前景。这就像是拥有一个评审团而不是仅仅一个人；如果一个法官犯了错，其他人可以纠正它。论文还强调，大多数此类测试都发生在医学和生物学领域。为什么？因为在医学领域，对于什么才算作“证据”有严格的规则，并且已经有了大量的过往决策记录（例如哪些研究被纳入了医学综述），研究人员可以使用这些记录来测试他们的机器人是否准确。在历史学或工程学等其他领域，我们还没有这些明确的规则或测试样本，因此很难知道机器人做得是否好。

大局观

那么，最终结论是什么？论文表明，我们正处于使用 AI 管理图书馆的早期且令人兴奋的阶段。机器人正变得越来越擅长理解复杂的问题并进行团队协作。然而，它们目前主要还是在医学界被使用，我们需要更多证据来证明它们实际上比人类找得更准。

作者指出，虽然技术进步神速，但我们也需要保持谨慎。仅仅因为一个机器人能写出一段漂亮的摘要，并不意味着它找到了正确的来源。此外，虽然有些人正在使用功能强大且昂贵的“封闭式”机器人（比如来自大型科技公司的著名模型），但也有人开始使用开源的、可定制的机器人，这些机器人可以在自己的电脑上运行，以节省成本并保护秘密。

简而言之，AI 图书管理员是一个得力的助手，但它还没准备好接管整个图书馆。它需要更多的训练、更好的测试，或许还需要更多的团队协作，才能完全取代那些长期以来一直从事这项艰苦工作的研究人员。未来看起来很光明，但就目前而言，我们仍在观察这些机器人学习阅读的过程。

技术摘要：大语言模型时代的科学知识发现

问题陈述

科学文献的快速扩张使得传统的检索和综述工作流变得日益低效。传统系统过度依赖关键词匹配、基于引用的排序以及耗费大量人力的手动筛选，导致了错过相关研究、重复劳动以及证据合成延迟的风险。虽然存在半自动化工具，但它们主要用于辅助优先级排序，而非取代人类评估。作者指出，迫切需要更灵活的方法来解释自然语言、捕捉语义关系并产生结构化判断，以支持科学知识发现，特别关注以下两个核心任务：

文献检索（Literature Retrieval）： 识别、排序或推荐与查询、种子论文或用户画像相关的出版物。
文献筛选（Literature Screening）： 根据预定义的纳入标准对候选出版物进行评估，通常应用于系统综述和证据合成工作流中。

研究方法

本章节对 2024 年至 2026 年间发表的 34 篇同行评审论文进行了系统性综述，这些论文将生成式大语言模型（LLM）应用于上述任务。

检索策略： 作者利用 BIP! Finder（一个通过 OpenAIRE Graph 索引超过 2.5 亿篇出版物的学术搜索引擎）进行检索。在 2026 年 5 月使用与“large language model”相关的术词结合特定的检索与筛选关键词进行了布尔搜索。
筛选标准： 从最初的 1,589 条记录中，若研究满足以下条件则被纳入：(i) 涉及检索或筛选；(ii) 使用生成式 LLM 作为核心组件；(iii) 报告了足够的细节以供比较；且 (iv) 以英文撰写。扩展摘要、预印本（除非能找到同行评审版本）以及关注范围之外任务（如摘要生成）的研究被排除在外。
语料库特征： 最终的 34 篇论文显示出快速增长趋势（2024 年 9 篇，2025 年 24 篇，2026 年初 1 篇）。文献高度集中在生物医学和临床领域，“生物医学文本挖掘与本体”以及“主题建模”是出现频率最高的研究主题。
分析框架： 本综述将研究工作分为两个主题领域（检索与筛选），并进一步按技术路径进行细分。每个组别均基于以下维度进行分析：
- 使用的模型： 特定的 LLM、访问方式（API、本地、Web UI）以及适配策略（微调 vs. 提示工程）。
- 评估趋势： 真值来源（现有基准测试 vs. 作者构建）以及指标（排序指标、诊断准确率、效率）。

核心贡献与发现

1. 用于文献检索的 LLM

综述识别了两种主要的检索应用模式：

核心搜索与推荐： 这是最为多样化的领域，涵盖五个研究方向：
- 语义搜索： 使用 LLM 提取多粒度概念（例如 SemRank）或重新加权嵌入向量以惩罚冗余（例如 Zheng et al.）。
- 智能体搜索（Agentic Search）： LLM 负责规划、路由和优化检索过程的系统（例如 LitChat, LITERAS）。这些系统通常采用多智能体架构来进行查询生成、搜索、验证和精炼。
- 结构化知识锚定： 基于知识图谱的检索（例如 GPTscholar 生成 SPARQL 查询；Liu et al. 生成 Cypher 查询），以减少幻觉。
- 引用审计： 受控研究，旨在检查 LLM 在没有数据库支撑的情况下从记忆中重现参考文献列表的能力（例如 Chelli et al.）。
- 画像驱动的推荐： 利用 LLM 为基于图的推荐系统优化相似性信号（例如 MCAP）。
- 模型与评估： 大多数系统通过 API 使用商业模型（GPT-4, Claude, Gemini）而无需微调。评估通常针对经典的 IR 指标（召回率、精确率、nDCG）并对照现有基准测试。然而，针对检索组件本身的专项评估往往缺失，因为检索通常被视为下游任务的支撑步骤。
面向下游任务的 RAG 式检索：
- 这些系统将检索集成到自动化同行评审、临床决策支持或综述生成的流水线中。
- 检索用于界定创新性、阐明局限性或支持循证决策。
- 评估差距： 在这些研究中，检索质量很少针对专门的真值进行评估。评估侧重于下游输出（例如综述或治疗方案的质量），使用引用代理或消融实验等间接信号。

2. 用于文献筛选的 LLM

筛选方法分为两种架构模式：

单次处理筛选（Single-Pass Screening）：
- 将筛选视为对每篇论文进行单次模型调用。
- 技术差异在于提示工程（Prompt Engineering）：静态标准、少样本示例（few-shot）、思维链（CoT）以及迭代式提示优化（例如 Tao et al., Ruan et al.）。
- 评估： 高度严谨，利用标准的诊断准确率指标（精确率、召回率、特异性、F1、MCC）对照现有的系统综述或作者构建的真值。
- 模型： 混合使用商业模型（GPT, Claude, Gemini）和开源权重模型（Llama, Mistral, Gemma）。值得注意的是，Delgado-Chaves et al. 对 18 种模型进行了最广泛的比较。未观察到对模型权重的微调；适配主要限于提示工程。
工程化多组件流水线：
- 旨在模拟人类评审团队，通过预过滤、模型间仲裁或检索增强筛选来实现。
- 仲裁： 多个模型独立进行筛选，由第三个模型或人类专家解决分歧（例如 Dai et al., Pan et al.）。
- 检索增强： 系统检索全文段落以回答纳入/排除问题（例如 Trad et al.）。
- 智能体/迭代式： 基于反馈优化提示或应用减负阈值的多智能体系统（例如 GREP-Agent）。
- 评估： 使用标准诊断指标以及一致性统计量（Cohen's $\kappa$ , PABAK）和效率指标（工作量减少量、成本）。真值通常源自现有的系统综述或专家标注的子集。

重要性与主张

本文声称提供了一个关于 LLM 辅助科学知识发现这一快速演进领域的全面概述。其主要意义在于：

描绘领域图景： 它刻画了从单模型调用向组合式、通常是智能体化的多组件系统转变的过程，这在检索和筛选任务中均有体现。
识别方法论的分歧：
- 检索在技术上具有多样性，但在方法论上较为碎片化，缺乏针对检索组件本身的标准化评估。
- 筛选在方法论上更为标准化，利用严谨的诊断准确率基准，并正通过多模型共识向生产可用工具迈进。
领域集中性： 综述强调当前的进展高度集中在生物医学和临床应用。这归功于生物医学领域成熟的系统综述方法论，该领域提供了既定的真值和明确的评估规范。
采用趋势： 该领域正见证着开源权重模型（通常出于隐私和成本控制考虑）的使用上升，尽管主流仍为闭源 API 模型。然而，领域特定的微调仍然罕见，适配主要发生在提示层面。

作者总结道，尽管 LLM 辅助的检索与筛选正从孤立的演示转向成熟的实践，但该领域仍具有领域局限性。由于非生物医学领域缺乏可比的基准测试和综述规范，这些方法向非生物医学领域的迁移能力目前尚不明确。