Measuring coverage of cited fields by author publication histories

技术摘要：测量作者出版历史对引用领域的覆盖度

问题陈述
文献计量研究经常利用参考文献列表来表征学科多样性、知识组合以及文献的年代感。然而，一个关键的区别仍未得到解决：即引用的文献与产生该作品的特定作者出版历史之间的关系。一个多样化的参考文献列表可能在某一个研究团队的前期记录中有充分体现，而在另一个团队中则可能完全缺失。现有的专家多样性衡量标准通常侧重于作者画像之间的距离，或孤立地关注引用组合的构成，而未能量化两者之间的交集。本文认为，理解团队研究需要一种特定的测量方法，即量化一篇论文所引用的领域分布中有多少体现在个人作者的历史中，有多少体现在团队的共同历史中，以及还有多少处于未覆盖状态。

方法论
本研究引入了一个参考文献加权分解框架，将焦点论文的引用领域划分为三个组成部分：

1. 最大个体覆盖度 ($M$)：由具有最广泛相关历史记录的单一作者所覆盖的引用类别份额。
2. 额外共同作者覆盖度 ($D$)：在结合所有共同作者的历史后，相对于 $M$ 所覆盖的内容，所增加的引用类别份额。
3. 未覆盖剩余部分 ($E$)：在所有观察到的作者出版历史中均不存在的引用类别份额。

该框架区分了两个观察窗口：项目前窗口（项目启动前五年）和发表前窗口（焦点论文发表前五年）。这使得计算净覆盖度变化（$A = E_{pre} - E_{pub}$）成为可能，从而将基准未覆盖份额与随后的增益或损失区分开来。

数据与推导序列
本研究利用了一个整合了韩国国家科学技术信息服务（NTIS）资助记录、国家研究基金会（NRF）致谢以及 OpenAlex 出版物的关联数据集。分析遵循三个阶段的推导序列：

• 发现阶段：115 篇与资助相关的论文。
• 第一确认阶段：240 篇论文（汇总 $N=355$ 用于探索性诊断）。
• 第二确认阶段：采用前瞻性固定的方案，分析了从 832 篇较大的集合中选出的 194 份资助（112 篇涉及 AI 使用，82 篇非 AI 使用）。

主要应用旨在调查被归类为使用人工智能（AI）的项目是否比非 AI 项目表现出更高的基准未覆盖份额（$E_{pre}$），以此测试关于 AI 在引入陌生知识方面作用的假设。

核心贡献与指标

• 覆盖度分解：本文提供了一种可复现的方法，通过以引用频率为权重，在统一的分母上分离个体、集体和未覆盖的引用份额。
• 引用强调分析：通过论文内部的重新分配实验，研究在保持作者历史、多样性和领域总量不变的情况下，对引用计数进行置换。这隔离了“引用放置位置”（覆盖领域 vs 未覆盖领域）的影响，而不受组合构成的干扰。
• 与熟悉度的区别：作者明确指出，$E$ 衡量的是索引证据的缺失，而非实际专业知识或学习能力的缺失。这是一种对引用与记录之间交集的描述性统计，而非认知熟悉度的代理指标。

结果

• 探索性诊断：

  • 在调整了作者人数、引用数和历史容量后，参考文献多样性（香农熵）仍与未覆盖份额（$E_{pre}$）呈正相关。在发现阶段，将多样性加入模型后，$R^2$ 从 0.328 提高到了 0.502。
  • 引用强调：实际的组合在权重分配上显著低于结构性基准。在发现阶段，观察到的未覆盖份额比基于领域条件的重新分配基准低 8.66 个百分点（95% CI: 6.22–11.36）。即使在排除论文自身主要子领域中的参考文献后，这种对比依然存在。
  • 聚合效应：在 AI 使用论文中，“额外共同作者覆盖度”（$D$）平均每篇论文为 10.89%，但在第一确认阶段，每出现一次引用的平均值为 3.45%，这凸显了聚合指标可能会掩盖共同作者对特定引用的边际贡献。

• AI 应用（假设检验）：

  • 发现阶段：表明 AI 使用与未覆盖份额之间存在正相关关系。
  • 第一确认阶段：未能通过关于正向净覆盖度变化（$A$）的主要测试。
  • 第二确认阶段：基于早期结果，主要终点转向了 $E_{pre}$（项目前未覆盖份额）。在父领域调整下，AI 使用的系数接近于零（+0.455 点，95% CI: −6.831 至 7.742），在详细领域调整下亦然（+0.517 点，95% CI: −7.395 至 8.428）。
  • 关于 AI 的结论：研究并未证实 AI 使用项目具有更高的基准未覆盖份额。虽然 AI 项目引用了更多的 AI 文献，但这些文献通常已经存在于作者之前的记录中。

意义与主张
本文声称提供了一种关于引用强调相对于文献记录的复现性说明。其主要贡献在于方法论：它建立了一个框架，用以量化论文引用的领域中有多少是被团队过去的工作所“覆盖”的，又有多少是“未覆盖”的。

作者对自己的主张持谨慎态度，强调了以下几点：

1. 覆盖度 $\neq$ 熟悉度：未覆盖的参考文献表示缺乏索引历史，并不一定意味着缺乏专业知识或学习能力。
2. 无因果机制：研究描述的是关联性和结构性对比，并未建立解释团队为何引用未覆盖领域或知识如何获取的因果机制。
3. 上下文依赖性：结果针对的是经过保守关联的韩国资助样本，在未经进一步验证的情况下，不一定能推广到所有研究背景。
4. 解释限制：该框架识别了引用强调与记录之间的关系，但并未建立不熟悉感。对 AI 关联性的验证失败表明，该样本中的 AI 研究并不一定依赖于作者此前记录之外的领域。

最终，本文认为，测量覆盖度为文献计量分析提供了一个必要的细粒度层级，区分了论文参考文献的多样性与其参考文献与作者记录化专业知识之间的对齐程度。