📊 statistics

Inflationary bibliometric values revisited: Indicator validity under falling production costs

本文通过论证虽然相对指标在统一成本变化下保持稳健，但异质性获取方式要求使用特征估计量进行基于机制条件的报告，以避免在底层分布形状发生偏移时出现误分类，从而重新审视了生产成本下降背景下文献计量指标的有效性。

原作者： Ahmed Hamid Mahmoud

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Ahmed Hamid Mahmoud

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在学术研究领域，存在着一种长期存在的通过计数来衡量质量的习惯。几十年来，科学家和大学管理人员一直通过观察一名研究者撰写了多少论文、这些论文被他人引用的次数以及单个项目中有多少位作者来评估其水平。这些数字充当了计分卡，帮助决定谁能获得工作、资助或晋升。然而，这一系统此前曾面临过重大挑战。二十年前，研究人员注意到，论文和引用的总量增长速度远快于实际从事研究工作的科学家人数。这种“通胀”意味着，仅仅通过计数论文已不再是衡量质量的公平方式，因为这些数字的增长更多是因为协作人数的增加，而非科学质量的提升。当时的解决方案是停止统计原始数字，转而将研究者与其同行进行比较，即询问一名科学家相对于其特定领域的平均水平表现如何。

今天，一种新的力量正在改变科学写作的格局。强大的人工智能工具的兴起，使得撰写和修改科学文本变得显著廉 {且} 快。这种转变提出了一个关键问题：如果产出论文变得更容易，这是否会改变论文本身的本质，或者仅仅意味着论文数量增加了？如果生产论文的成本下降，质量的分布是会发生变化，还是仅仅在规模上扩张？这就是艾哈迈德·哈米德·马赫穆德（Ahmed Hamid Mahmoud）在最近的一项研究中所探讨的核心谜题。他研究了当创造科学论文的成本不再恒定时，旧有的衡量研究者的方法是否仍然有效。

马赫穆德的工作首先通过将这种新的、更低成本的生产环境的影响分为两种截然不同的可能性来进行区分。第一种可能性是他所称的“规模”（scale）变化。想象一个工厂突然获得了一台新机器，使其能够生产两倍数量的零件。如果每个零件的质量保持完全相同，只是数量变多了，那么质量分布的整体形状保持不变。在科学界，这意味着人工智能允许研究者发表更多论文，但优秀论文与普通论文的比例保持不变。第二种可能性是“形状”（shape）变化。这种情况会发生在新的工具改变了工作性质本身时，例如，使生产低质量论文变得更容易，或者以一种扭曲分布的方式改变了高质量与低质量工作的比例。如果形状发生了变化，旧的质量评判规则可能就不再适用。

该研究使用了一个关于科学引用如何分布的数学模型来测试这些场景。研究人员发现，如果变化纯粹是“规模”效应——即虽然生产了更多论文，但潜在的质量模式保持不变——那么现今使用的相对指标仍然是安全的。将研究者与其同行进行比较，或观察其引用量相对于领域平均水平的比率，能够持续提供有效的表现衡量标准。这些方法对于单纯的产量增加具有鲁棒性。然而，如果不同的研究者对这些廉价生产工具的获取程度不平等，情况就会发生剧烈变化。如果某些科学家可以利用人工智能发表更多论文，而其他人却不能，那么仅仅统计论文总数或引用总数就会产生误导。在这种情况下，计数不再反映工作的质量，而仅仅反映了谁拥有这些廉价工具的使用权。排名显示的将是拥有优势的人，而非做出了更好科学研究的人。

论文还探讨了如果质量分布的“形状”确实发生变化时会发生什么。如果高质量与低质量工作的比例发生偏移，用于评判研究者的标准基准就会失效。例如，曾经区分“优秀”论文与“普通”论文的阈值，如果底层分布发生了扭曲，可能会突然错误地分类大量论文。研究表明，如果这种形状变形发生，旧的固定标准将无法识别真正的研究质量。不过，论文提出了一个解决方案。它建议，通过观察论文在群体内的具体分布模式，领域内可以检测到这些变化。通过在进行标准排名的同时估算当前的“形状”分布，评估者可以调整其判断。其建议是，报告研究者在当前群体中的位置，同时明确说明其所处评价环境的状态。这种双重报告确保了研究者不会因为系统的转变而受到惩罚或获得不公平的提升。

作者谨慎地指出，尽管关于论文数量大幅增加和人工智能广泛使用的证据是充分的，但尚未证明质量分布的根本形状已经发生了改变。这项研究并不声称旧方法已经失效，也不说人工智能毁掉了科学。相反，它提供了一个理解现状的清晰框架。它证实了只要生产环境发生统一的变化，用于解决过去通胀问题的相对比较方法仍然有效。它警告说，如果对这些新工具的使用存在不平等，原始计数将会撒谎。它还提供了一种检测工作本质是否发生变化的方法，从而允许科学界在评价规则变得过时之前进行调整。最终的结论是，衡量科学的工具仍然是可靠的，但必须结合对所处环境的清晰理解来使用。未来的问题不在于是否要放弃这些工具，而在于是否能密切监测系统，以了解其赖以生存的基础是否正在发生位移。

技术摘要：重新审视通胀性的文献计量学数值

问题陈述
二十年前，Persson 等人 (2004) 诊断出了由协作驱动的“文献计量通胀”现象，即论文、作者和引用的绝对计数增长速度超过了底层研究质量的增长。既定的补救措施是采用相对指标（例如，领域归一化引用影响），以纠正这种规模扩张。然而，生成式人工智能（LLM）和工业化造假生产（论文工厂）的出现引入了一个新的变量：生产可用于评估的可计数单元的有效私人成本显著降低。

本文探讨了一个基本的测量问题：当计数的单元之生产成本不再是常数时，哪些文献计量指标族仍然有效？ 核心关注点在于，这种“通胀”仅仅是规模效应（产生了更多单元），还是形状效应（质量/影响分布发生了根本性变化），以及现有的指标能否区分这两者。

方法论
本研究采用基于**第二类帕累托分布（Pareto distribution of the second kind）**的理论框架，这是科学计量学中描述偏态引用和生产力数据的标准模型。作者将生产机制的变化分解为作用于分布参数的两个不同通道：

规模通道（The Scale Channel）： 队列规模 ( $n$ ) 和规模参数 ( $N$ ) 的变化，而形状参数 ( $\alpha$ ) 保持不变。这代表了“纯粹的丰度”，即分布仅进行了缩放。
形状通道（The Shape Channel）： 形状参数 ( $\alpha$ ) 的变化，代表了所生产队列的分布尾部或异质性的变形。

分析利用**特征得分与尺度（Characteristic Scores and Scales, CSS）**方法论（Glänzel and Schubert, 1988a）来推导各类指标族的渐近性质。指标的有效性在渐近意义上定义为：如果一个指标收敛于一个在试图忽略的成本转换下保持不变的底层分布函数，则该指标是有效的。

核心贡献与结果

规模运动下的有效性（纯粹丰度）：
本文证明（命题 1），在共同的规模运动下（即所有比较对象都经历了相同的成本驱动的规模和体积增加），相对指标（基于均值的比率）和特征得分族（类别份额和得分比）保持渐近不变性。它们的极限值仅取决于未发生变化的形状参数 $\alpha$ 。因此，如果“第二次通胀”纯粹是规模效应，那么“第一次通胀”的补救措施（相对指标）依然稳健。
异质性准入下绝对计数的失效：
研究表明（命题 2），如果获取廉价生产的途径具有异质性（某些单元可以更廉价地生产更多内容），则未经调整的绝对计数（论文计数、总引用量）会失去有效性。在这种情况下，计数会收敛于成本准入的排序，而非底层的质量泛函。这种测量病理被证明是 Aldashev (2026) 所模拟的激励病理的对应物，即低监管渠道诱发了聚类均衡。
形状变形下冻结参考标准的失效：
如果生产机制的变化导致形状参数 $\alpha$ 发生偏移（变形），本文指出（命题 3），前阶段参考标准（基于历史数据校准的冻结阈值）将会失效。即使在进行规模归一化后，固定阈值仍会误分类非零比例的队列成员，因为几何类别份额 ( $q^k$ ) 是 $\alpha$ 的函数。然而，本文建立的特征估计量 $\hat{q}$ （源自类别份额）具有一致性，并且可以检测到这种变形。
基于机制的报告规则：
为了应对形状变形，本文提出了一个报告规则（命题 4）：评估应当报告队列内的相对位置（百分位数），并同时标注估计的机制对 $(\hat{\beta}_1, \hat{q})$ 。这允许进行有效的跨队列相对地位比较，同时明确标注了机制的结构状态。

意义与主张
本文声称了四个具体的贡献：

机制表示： 它将成本环境正式表示为生产机制 $(n, N, \alpha)$ 。
有效性分离： 它区分了在共同规模运动下保持不变的指标族与在异质性准入下失效的指标族。
变形检测： 它证明了在移除规模效应后，冻结的形状校准会失效，但这种变形可以通过该领域的自身特征估计量进行检测。
操作规则： 它提出了一个基于机制的报告规则和一个直接可测试的经验设计（“成熟队列测试”）。

作者明确限制了主张的范围：本文并不质疑第一个通胀诊断的有效性或负责任使用框架（如 CoARA、Leiden Manifesto）的有效性。相反，它认为这些框架预设了一个可靠的测量单位，而这个预设已成为一个经验变量。本文并非断言形状变形已经发生，而是制定了用于决定该问题的经验判别测试：必须在 2022 年后，在覆盖范围稳定的成熟队列上估计个体维度的 $q_t$ 。如果 $q_t$ 保持稳定，则规模解释成立；如果 $q_t$ 持续移动，则证实了形状变形，从而需要采用所提出的报告调整方案。

总之，本文认为经典的工具无需被抛弃，但其应用需要第二个校准坐标（机制状态）以及关于分布形状是否发生变化的诚实标签。

技术摘要：重新审视通胀性的文献计量学数值

类似论文