💬 NLP

Measuring research data reuse in scholarly publications using generative artificial intelligence: Open Science Indicator development and preliminary results

PLOS 与 DataSeer 共同开发了一种基于大语言模型的新指标，该指标揭示学术出版物中的研究数据重用率为 43%，表明生成式人工智能能够大规模衡量开放科学的影响，并提示数据共享的积极效应目前被低估。

原作者： Lauren Cadwallader, Iain Hrynaszkiewicz, parth sarin, Tim Vines

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Lauren Cadwallader, Iain Hrynaszkiewicz, parth sarin, Tim Vines

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，科学研究的世界就像一个巨大而繁忙的厨房。多年来，我们一直试图弄清楚，厨师们（科学家）实际上有多少次是在使用其他厨师留在柜台上的食材（数据），而不是仅仅从自己的菜园里切下全新的蔬菜。

本文介绍的是由 PLOS（一家科学出版商）和 DataSeer（一家科技公司）共同构建的一种新型高科技“智能相机”，旨在对这座厨房进行快照，并精确统计食材共享发生的频率。

以下是他们项目的简明分解：

问题：“沉默”的复用

此前，我们尝试通过两种主要方式来统计科学家复用数据的频率：

直接询问他们：调查显示，约 50% 的科学家表示：“是的，我使用他人的数据。”
查找正式引用：我们在论文中寻找正式的“致谢”（引用）。但这种方法就像试图通过只查看佩戴姓名牌的人来统计派对上的宾客数量。它漏掉了所有那些只是在角落里闲聊的人。这种方法显示复用率非常低（约 9%–16%）。

科学家声称自己做了什么，与“姓名牌”方法所能看到的之间，存在巨大差距。

解决方案：AI“超级读者”

为了解决这一问题，团队构建了一个生成式人工智能（一种智能计算机大脑），它充当一位超级专注的读者。这种 AI 不再仅仅寻找正式引用，而是通读整篇科学论文以理解其内容。

这就像一位侦探，他不只寻找特定的指纹，而是阅读整本日记，以判断这个人是从图书馆借了书，还是买了一本新书。

他们如何训练 AI：

他们向 AI 展示了数千篇科学文章，并教导它识别三件事：
1. 作者是否创建了新数据（就像种植新蔬菜）？
2. 作者是否复用了现有数据（就像使用别人剩下的食材）？
3. 他们为什么要这样做？（“理由”）。
他们将 AI 与人类专家进行了对比测试，以确保其准确性。AI 在这项任务上表现非常出色，正确识别复用的准确率约为 85%。

发现：厨房比我们想象的更繁忙

该 AI 分析了 2024 年前三个月发表的 4,475 篇科学论文。以下是它的发现：

关键数字：43% 的论文复用了数据。
对比：这一比例远高于旧的“正式引用”方法（该方法仅观察到约 10%），但与科学家在调查中告诉我们的数据（约 50%）更加吻合。
结论：旧方法很可能低估了科学家实际上的互助与合作程度。“复用”确实正在发生，但它往往发生在论文的文字中，而没有附带正式的“致谢”说明。

有趣的模式

AI 还注意到不同地区和学科之间存在差异：

按地区：亚太地区的科学家最有可能复用数据（46%），而非洲地区的科学家可能性最低（31%）。作者认为，这可能与全球数据共享的方式以及关于数据所有权的担忧有关。
按学科：
- 物理科学和社会科学最为均衡，复用数据的频率几乎与创建新数据的频率相当。
- 生命科学（如生物学）最有可能创建全新数据（76%），而最不可能复用现有数据（37%）。

为何这很重要

作者认为，如果我们只关注正式引用，就会错过开放科学运作的全貌。通过使用这种 AI“智能相机”，我们可以看到数据共享产生的影响比我们想象的更大。

关于局限性的重要说明：
作者谨慎地指出，这是一项“进行中的工作”。他们承认：

区分使用自己的旧数据与使用他人的数据可能很棘手。
他们仅查看了来自一家出版商（PLOS）的论文，因此结果在其他期刊中可能会有所不同。
AI 尚未完美，但相较于旧的统计方法，这是一个巨大的进步。

简而言之，这篇论文介绍了一种新工具，帮助我们认识到科学家分享和复用彼此工作的频率远高于我们之前的认知，这表明“开放科学”运动的成效比我们旧有的衡量标准所能显示的更好。

以下是论文《利用生成式人工智能衡量学术出版物中的研究数据重用：开放科学指标开发与初步结果》的详细技术摘要。

1. 问题陈述

科学界长期以来难以在大规模范围内准确衡量研究数据的重用。

现有方法的局限性：
- 调查： 虽然自我报告的调查显示重用率很高（52–54%），但它们具有主观性且无法扩展。
- 文献计量学： 传统的引文分析依赖于正式的数据集引用（例如 DOI）。然而，这些引用的实施不一致，且许多被重用的数据集（例如基因序列）缺乏持久标识符。文献计量学方法目前显示的重用率仅为 9–16%，在报告的行为与检测到的指标之间造成了显著差距。
- 现有的自然语言处理（NLP）： 之前的自动化尝试（例如使用 SciBERT）显示出希望，但往往缺乏区分数据生成、重用和简单引用的细微差别，或者未能捕捉数据如何以及为何被重用的背景。
差距： 迫切需要一种自动化的、可扩展的指标，能够检测文本中的数据重用、识别特定数据集并理解重用的背景，从而更准确地描绘开放科学政策的影响。

2. 方法论

作者（PLOS 和 DataSeer）开发了一个生成式人工智能（LLM）流程，用于分析学术文章中的数据生成和重用。

A. 指标定义

通过文献综述以及与利益相关者（资助方、机构、研究人员）的咨询，他们为该指标定义了三个核心要求：

识别文章是否重用了研究数据。
识别哪些特定数据集被重用。
识别数据如何或为何被重用（背景推理）。

B. 模型开发与架构

基础模型： 团队对 Qwen3-32B（一种大型语言模型）进行了微调。
训练数据： 一个由人类专家标注的 1,732 篇 PLOS 文章 的精选数据集。标注包括数据生成/重用的布尔标签，以及引用、登录号、URL 和 DOI 的提取。
训练策略：
- 技术： 对所有线性层（除最终输出层外）应用低秩自适应（LoRA）。
- 优化： 两阶段训练过程：
  1. 自蒸馏： 在验证运行中获得的高奖励完成（≥0.9）上进行微调。
  2. 强化学习（RL）： 使用 组相对策略优化（GRPO） 来优化模型。
奖励函数： 设计了一个乘法奖励函数 $r(p, c, y) = f(c) \times e(p, c) \times v(c, y)$ $r (p, c, y) = f (c) \times e (p, c) \times v (c, y)$ 以强制执行：
1. 格式（ $f$ ）： 有效的 JSON 结构。
2. ** grounded（ $e$ ）：** 无幻觉；输出必须得到源文本的支持。
3. 准确性（ $v$ ）： 与人工标注的一致性。
推理流程：
- 文章被转换为 Markdown 格式（使用 markitdown 和 Docling）。
- 长文章（>25k 个 token）被截断，同时保留摘要和参考文献。
- Pass@3 策略： 对于每篇文章，模型生成三个完成结果。一个验证器模型（基础 Qwen3-32B）对它们进行排名，并选择排名最高的完成结果。

C. 评估

模型在 296 篇 保留的测试集文章上进行了评估。

性能： 模型在布尔字段上取得了高准确率（新数据生成的 pass@1 为 89.8%；重用的 pass@1 为 79.4%），并且在提取特定标识符方面表现出强大的 F1 分数（例如，新数据引用的 F1 为 0.997）。
比较： 其表现优于其他测试的开源模型（GLM-5、gpt-oss-120b、Deepseek-R1）。

3. 主要结果

该模型分析了 2024 年第一季度发表的 4,475 篇 PLOS 文章。

总体重用率： 发现 43% 的文章重用了现有数据。这显著高于文献计量学估计值（9–16%），更接近自我报告的调查数据（>50%）。
数据生成： 59% 的文章生成了新数据。
重叠： 11% 的文章既生成了新数据又重用了现有数据。
非数据文章： 10% 的文章既未生成也未重用数据（这一比例高于之前的 PLOS 指标，这是由于排除了纯模拟或系统综述的更严格定义所致）。

地区和学科细分

地区：
- 亚太地区： 重用率最高（46%）。
- 非洲： 重用率最低（31%），但新数据生成率较高（66%）。作者认为这可能与数据主权问题或“直升机科学”有关。
- 北美、拉丁美洲、欧洲： 重用率集中在 39–42% 之间。
学科：
- 社会科学： 重用率最高（50%）。
- 物理科学： 重用率高（47%），但无数据生成或重用的文章比例也最高（18%）。
- 生命科学： 新数据生成率最高（76%），但重用率最低（37%）。

4. 主要贡献

新颖的指标： 开发了首个基于 LLM 的指标，能够在大规模范围内衡量数据重用，超越了简单的引文计数，转向对文本的语义分析。
背景理解： 与以往方法不同，该方法提取了重用背后的推理（如何/为何），为影响评估提供了更丰富的元数据。
性能验证： 证明了微调后的 LLM 在检测复杂研究实践方面可以达到高准确率，优于传统文献计量学和早期的 NLP 模型。
精化的定义： 阐明了“数据生成”（将物理世界信息转化为数字信息）与“重用”之间的区别，纠正了之前 PLOS 开放科学指标中的高估（此前报告的生成为 98%）。

5. 意义与影响

重新评估开放科学的影响： 研究结果表明，传统指标目前低估了数据共享和开放科学政策的积极影响。43% 的重用率表明存在一个充满活力的数据重用生态系统，而文献计量学未能捕捉到这一点。
政策与资助： 该工具为资助方（例如 Michael J. Fox 基金会）和政策制定者提供了一种可扩展的机制，以监测数据共享指令的下游影响，从衡量合规性（共享）转向衡量影响（重用）。
引用实践： 该研究强调，研究人员描述数据使用的方式往往不符合正式的引用标准，这加强了对 AI 驱动的内容分析的需求，而不能仅依赖结构化元数据。
未来方向： 作者指出了在区分重用自己的数据与他人的数据方面的局限性，以及需要在不同期刊和学科中进行更广泛验证的需求。

总之，本文确立了生成式人工智能是监测研究数据重用的真实普遍性和性质的可行且优越的工具，为评估开放科学倡议的成功提供了更准确的基础。