AttribRank: An Open and Reproducible Framework for Diagnosing Attribution Sensitivity in Author-Level Research Assessment
本研究介绍了 AttribRank，这是一个开源 Python 框架，用于量化作者级研究排名如何根据协作规则和指标类型等评估选择而发生变化，并揭示了这些变化是由学科领域而非随机噪声所构成的结构化特征。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代科学领域，我们如何决定谁是最重要的研究人员？几十年来，答案往往取决于数字：一位科学家写了多少篇论文，以及其他科学家引用这些论文的次数。这些计数被用于做出影响人生的决策，如招聘、晋升和资助。但这些数字并不是像岩石重量那样简单的客观事实；它们是构建出来的总结，高度依赖于计算时所使用的规则。如果你改变了团队作者之间分配荣誉的规则，或者你决定忽略科学家对自身工作的引用，最终的分数就会发生变化。这意味着研究人员的地位并非地图上的一个固定点，而是一个取决于观察视角而移动的位置。科学界面临的问题不仅是谁处于顶端，还有当游戏的规则被微调时，这种排名会发生多大的变化。
为了回答这个问题，一组研究人员开发了一种名为 AttribRank 的新工具，旨在精确测量科学家的排名在评价规则改变时会如何“摇摆”。想象一位站在梯子上的科学家；研究人员想知道，如果“攀爬”的定义发生了轻微变化，他们会在梯子上向上或向下移动多少级。他们并没有发明衡量成功的新方法，而是采用了四种常见的调整分数的方法——如何在团队中分配荣誉、如何处理自我引用、如何加权作者顺序，以及使用哪种类型的评分——并将这些方法应用于一组高度被引用的科学家。通过运行这些不同的规则集，他们的软件可以观察到每位科学家的相对地位发生了多少偏移。其结果清晰地展示了这些排名究竟有多么脆弱或稳定。
研究人员将他们的框架应用于一个包含全球 23 万多名高被引科学家的数据库，涵盖了从医学到物理学的广泛领域。他们发现，排名确实会对规则的变化而变得敏感。平均而言，当规则改变时，科学家的位置会移动约十个百分点。为了直观理解，如果一名研究人员在一种规则下处于其领域的排名前 10%，在另一种规则下，他可能会跌至前 20%，或者升得更高。这并非微小的波动；它代表了足以影响现实世界决策的非平凡变化。研究表明，这些偏移并非随机噪声或数据误差，而是由进行评估的人所做的选择所导致的结构性后果。
并非所有规则引起的变动都相同。研究人员发现，排除自我引用（即移除科学家对其先前工作的引用）对排名造成的改变最小。相比之下，最大的变化发生在研究人员从标准的引用计数切换到一种结合了多种不同指标的更复杂的综合得分时。改变在论文中共同作者之间的荣誉分配方式，或解释作者顺序的方式，也会引起显著的变动，尽管略小于更换整个评分系统带来的影响。这告诉我们，在重新洗牌排行榜时，选择使用哪种整体评分的重要性，要高于决定是否过滤掉自我引用的决策。
研究还揭示了这些偏移在不同人身上并不相同。排名的变动程度在很大程度上取决于研究人员所属的具体科学领域。例如，在物理学和天文学等大型团队常见的领域，如何分配作者间的荣誉对谁能登上顶端有着巨大的影响。在其他领域，作者的顺序则是最具影响力的因素。这意味着，不能在不考虑该领域科学家实际工作方式的情况下，将单一规则公平地应用于所有学科。研究人员发现，科学家所属的具体子领域通常比其原籍国更能预测其排名的敏感度。
当研究人员观察国家差异时，他们发现，一旦考虑到科学家从事的领域类型以及他们的发表时长，国家本身对排名敏感性的解释力就非常微弱了。虽然某些国家表现出略高或略低的平均偏移量，但这些差异与科学家个体之间以及不同科学学科之间的差异相比是非常小的。这表明，国家研究体系并不是这些排名变化的驱动力；相反，科学本身的结构以及评价过程中所做的具体选择才是更为重要的因素。
研究人员强调，他们的工具 AttribRank 并不是一种新的排名方式，也不是衡量谁才是真正最优秀的人的方法。相反，它是一种诊断工具，就像是对评价系统进行的一次压力测试。它不会告诉你谁应该获得一份工作或一笔资助；它告诉你，如果你使用一套稍微不同的规则，那个决定会发生怎样的变化。通过使这些偏移变得可见且可衡量，该工具允许大学、资助机构和政策制定者看到隐藏在单一数字背后的假设。它鼓励一种更透明的方法，即承认并讨论游戏的规则，而不是将排名视为一个不可更改的事实。研究结论指出，为了使研究评估变得负责且公平，我们必须停止寻找一个单一的、完美的数字，转而开始理解我们的选择是如何塑造我们所看到的结果的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。