💬 NLP

ScienceMeter: Tracking Scientific Knowledge Updates in Language Models

本文介绍了 ScienceMeter，这是一个通过保留、获取和预测这三个指标来评估大语言模型科学知识更新情况的框架，该框架揭示了当前的更新方法在维持现有知识的同时，难以有效地学习新事实并预见未来的科学进展。

原作者： Yike Wang, Shangbin Feng, Yulia Tsvetkov, Hannaneh Hajishirzi

发布于 2026-07-22✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yike Wang, Shangbin Feng, Yulia Tsvetkov, Hannaneh Hajishirzi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人图书管理员，它读过直到某一特定年份为止几乎所有的书籍。这位图书管理员在回答那个时代的历史、科学和流行文化问题方面表现得非常出色。但问题在于，世界并不会停止转动。每天都有新的科学论文发表，揭示了这位图书管理员尚未见识过的全新发现。如果你问这个机器人关于昨天发生的突破性进展，它可能会自信满满地告诉你错误的信息，或者它可能只会说：“我不知道”，因为它的大脑被冻结在了过去。这就是人工智能的“知识陈旧”问题。科学家们正在努力研究如何向这些机器人输入新信息，而不至于让它们忘记已经掌握的知识，或者导致它们产生荒诞、错误的幻觉。这就像是试图教学生教科书中的新章节，而不让他们忘记之前的章节，或者不让他们用虚假的事实来填补空白。

于是，ScienceMeter 诞生了——这是由华盛顿大学的研究人员创建的一个新框架，旨在测试我们究竟能在多大程度上用新鲜的科学知识来更新这些 AI 大脑。你可以把这些研究人员想象成“知识机械师”，正试图对一台高性能引擎进行调优。他们不仅仅是问：“机器人学会了新东西吗？”相反，他们构建了一个由三部分组成的压力测试，以观察机器人是否能够：

记住旧知识（保持/Preservation）：它是否忘记了多年前学到的基础知识？
学习新知识（获取/Acquisition）：它是否真的理解了刚刚展示给它的新论文？
预测未来知识（预测/Projection）：它能否利用刚刚学到的知识，对尚未发生的发现做出明智的推测？

为了进行这项测试，他们创建了一个涵盖十个不同科学领域（从计算机科学到医学）的海量数据集。他们将科学知识视为一条时间线：“过去”的论文（机器人已经知道的内容）、“现在”的论文（他们尝试教给机器人的内容）以及“未来”的论文（他们希望机器人能够预测的内容）。随后，他们尝试了五种不同的方法来更新机器人的大脑，其范围涵盖了从仅仅在对话中阅读新论文（推理/inference）到实际通过新数据重新训练机器人大脑（训练/training）等多种方式。

结果却让人清醒地认识到了现实。即使是最优秀的方法，也很难同时做好这三件事。表现最好的更新方法成功保留了 85.9% 的旧知识，成功学习了 71.7% 的新知识，但只能预测出 37.7% 的未来知识。换句话说，机器人很擅长记住过去，在学习现在方面表现尚可，但在预测未来方面仍然非常吃力。

研究还发现，机器人的规模至关重要。更大、更强大的模型在仅仅通过对话阅读新内容（推理）来学习新事物方面表现得惊人地好，就像一个天才学生，只需读一遍教科书就能学会一门新学科。然而，较小的模型则需要从头开始进行“重新训练”才能有效地学习新知识；仅仅向它们展示新信息是不够的。

或许最有趣的发现是，科学的类型也至关重要。在知识变化缓慢的领域（如政治学），机器人的表现非常出色，既能记住过去也能预测未来。但在像材料科学这样知识更迭极快的领域，新发现不断涌现，机器人会更快地感到困惑。研究人员认为，一个领域的波动性越大，AI 在保持知识更新且不混淆信息方面就越困难。

最终，论文得出结论：虽然我们在更新 AI 方面取得了进步，但我们还没有破解密码。目前还没有一个“魔法按钮”能让 AI 同时实现学习新科学、保留所有旧事实并预测未来。研究人员指出，开发一种能够真正平衡这三个目标的方法，是使 AI 成为可靠科学发现伙伴所面临的最大挑战之一。他们警告说，如果我们无法解决这个问题，我们的 AI 工具可能会成为昨天科学领域的自信专家，而在明天的突破面前却完全一窍不通。

技术摘要：SCIENCEMETER

问题陈述

大语言模型（LLMs）正越来越多地被用于支持科学研究，然而其静态预训练的本质使得其科学知识由于科学进步的快速步伐而迅速过时。尽管存在通用的更新策略（例如：持续预训练、指令微调、RAG），但目前尚不清楚这些方法是否能有效支持复杂的科学知识演化需求。具体而言，有效的更新不仅要注入新信息，还必须保留现有知识、在不产生失真的情况下纳入新发现，并能够进行泛化以推理未来的或尚未发现的科学主张。目前的评估框架通常侧重于通用的事实保留或简单的知识注入，未能捕捉到科学推理、置信度以及预测未来进展能力的细微差别。

方法论：SCIENCEMETER 框架

作者引入了 SCIENCEMETER，这是一个旨在从三个时间维度评估科学知识更新的综合框架：过去（保留）、现在（获取）和未来（投影）。

1. 数据集构建

该框架利用了一个涵盖十个快速演进科学领域的精选数据集（计算机科学、医学、生物学、材料科学、心理学、商业、政治学、环境科学、农业与食品科学，以及教育学）。

论文收集： 对于每个领域，通过 Semantic Scholar 检索 1,000 篇论文。论文按时间顺序分为：
- 先前论文 ( $P_{prior}$ )： 在模型训练截止日期前发表。
- 新论文 ( $P_{new}$ )： 在截止日期后但在“近期”截止日期前发表。
- 未来论文 ( $P_{future}$ )： 在“近期”截止日期后发表，作为模型尚未见过的知识的代理。
合成主张生成： 针对每篇论文，框架生成原子级科学主张（关于实体或过程单一方面的可验证陈述）。利用 GPT-4O，系统生成了：
- 支持性主张 (SUPPORT)： 仅由特定论文支持的主张。
- 反驳性主张 (REFUTE)： 与主题相关但不被该论文支持的主张。
  通过博士生进行的专家评估确认，约 90.2% 的生成主张严格遵守这些规则。

2. 评估任务

科学知识通过两项任务进行评估，旨在评估事实准确性和模型置信度：

主张判断： 模型验证给定论文是否支持或反驳某一主张（针对 Prior/New）；或根据内部知识预测主张的有效性（针对 Future）。
主张生成： 模型根据给定论文标题（Prior/New）或研究主题（Future）生成支持性主张。
知识分类： 模型响应被分类为正确（准确且自信）、错误（不准确且自信）或未知（低置信度）。

3. 核心指标

SCIENCEMETER 定义了三个主要指标来量化更新性能：

知识保留 (Knowledge Preservation)： 更新后， $P_{prior}$ $P_{p r i or}$ 中原先正确的声明保持正确的百分比。
- 失真 (Distortion)： 原先正确的声明变为错误（高置信度错误）。
- 丢失 (Loss)： 原先正确的声明变为未知。
知识获取 (Knowledge Acquisition)： 更新后， $P_{new}$ $P_{n e w}$ 中未知声明变为正确的比例。
- 失真 (Distortion)： 未知声明变为错误。
- 丢失 (Loss)： 未知声明保持未知。
知识投影 (Knowledge Projection)： 更新后，模型正确预测 $P_{future}$ $P_{f u t u r e}$ 中未知声明的百分比，展示其外推能力。
- 丢失 (Loss)： 未来声明保持未知。

4. 实验设置

该框架在标准模型 (LLaMA3.1-8B) 和前沿模型 (OLMo2-32B) 的计算机科学领域中，评估了五种代表性的知识更新方法：

持续预训练 (CNT PRETRAIN)： 在新数据上进行自回归训练。
标准指令微调 (INST TUNE)： 在源自新数据的问答对上进行微调。
预指令微调 (PRE INST TUNE)： 在持续预训练之前进行指令微调。
推理 (INFER)： 推理阶段的检索增强生成（RAG）式上下文注入。
结合法 (INST TUNE + INFER)： 一种混合方法。

置信度通过三种方法的多数投票进行估计：“更多信息”提示、跨改写的一致性，以及通过 GPT-4O 进行的语言置信度分析。

关键结果

实验表明，没有一种单一的方法能同时实现所有三个目标（保留、获取和投影）。

性能天花板： 表现最好的方法（标准指令微调）实现了：
- 85.9% 的知识保留。
- 71.7% 的知识获取。
- 37.7% 的知识投影。
模型规模差异： 对于较大的模型 (OLMo2-32B)，基于推理的方法 (INFER) 显著优于基于训练的方法，其保留得分高出 10.9%。相反，较小的模型 (LLaMA-8B) 需要基于训练的方法才能达到相当的性能，因为它们在仅靠上下文设置时难以过滤噪声。
错误严重性： 在更具挑战性的生成任务中，失真（高置信度错误）明显高于丢失（不确定性），平均高出三倍。这表明更新方法往往会引入自信的幻觉，而不仅仅是学习失败。
跨领域相关性： 性能因领域而异。具有高波动性（以平均引用次数衡量）的领域，如材料科学和环境科学，表现出较低的保留和投影得分。相反，像政治学这样稳定的领域则表现出较高的性能。预训练语料库的可获得性对获取能力的影响有限。
科学 LLM： 将该框架应用于领域特定模型（如材料科学中的 HoneyBee）并未比同规模的通用模型带来显著改进，这表明仅靠专门的预训练并不能解决更新挑战。

意义与主张

本文认为，开发稳健的科学知识更新机制既至关重要又极具挑战性。作者提出：

新的评估范式： SCIENCEMETER 是第一个明确评估未来科学知识“投影”的框架，它超越了静态的事实保留，转而评估模型预测新兴趋势和推理未发现主张的能力。
现有方法的局限性： 现有的更新策略不足以应对科学领域。它们难以平衡保留旧知识、获取新事实和泛化未来概念这三者之间的关系。
置信度的重要性： 在不考虑模型置信度的情况下评估科学知识是不充分的。高置信度错误（失真）在科学语境下尤为危险，可能导致错误假设的传播。
领域波动性： 更新 LLM 的难度与科学领域的波动性内在相关，这表明“一刀切”的更新策略不太可能在所有科学领域都取得成功。

作者总结道，虽然 LLMs 在辅助科学发现方面展现出潜力，但将它们集成到科学工作流中需要新的更新机制，这些机制必须能够可靠地处理科学文献的动态性、矛盾性和快速演进的特性。