One University Three Positions: A Reproducible Simulation Study of Database Dependent Institutional Rankings across OpenAlex Scopus and Web of Science
本研究采用对 700 所合成大学的可重复蒙特卡洛模拟，旨在证明由于覆盖范围和引用缩放等数据库特定机制的存在，机构排名在 OpenAlex、Scopus 和 Web of Science 之间存在显著差异，从而揭示了高水平的系统一致性掩盖了具有重要意义的机构层面排名不稳定性以及区域偏差。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
每年，世界各地的大学都被排列成一列，从第一名到最后一名进行排名，仿佛它们的地位是一个像山峰高度一样固定的事实。这种做法依赖于存储了数百万篇研究论文、引用和作者姓名的庞大数字图书馆。这些被称为“数据库”的图书馆，是研究人员用来统计一所大学产出了多少成果以及这些成果被他人阅读了多少次的工具。这些排名背后的假设是，如果你在两个不同的图书馆中统计同一所大学，你会得到大致相同的结果。然而，现实情况是，没有任何两个图书馆包含完全相同的作品集。一个可能包含了更多以非英语撰写的论文，而另一个可能侧重于特定的科学领域，或者排除了某些类型的文献，如会议论文集。因为起始的论文列表不同，最终的计数和产生的排名可能会发生剧烈变化，尽管这所大学本身的科研产出并未发生任何改变。
一位名叫穆斯塔法·卡亚利（Mustafa Kayyali）的研究人员致力于了解这些差异究竟有多重要。他并没有试图修复现有的排名或比较真实的大学，而是建立了一个计算机模拟实验来测试该系统的机制。他创造了一个虚构的世界，其中包含七百所合成大学。每一所虚构的机构都被赋予了独特的特征，包括其规模、研究质量、出版语言以及它们所研究的主题组合，例如医学、工程学或艺术。随后，他编写了三个不同的数字图书馆来“观察”这组相同的大学。这些图书馆旨在模仿现实世界系统中已知的行为：一个是广泛且具有包容性的，另一个处于中间水平，第三个则是更具选择性和严格性的。其目标不是为了看哪个图书馆更好，而是为了观察一所大学的排名根据测量它的图书馆的不同而产生多大的波动。
结果显示了一个令人惊讶的矛盾。当研究人员观察整体列表时，不同图书馆的排名似乎非常一致。大学的顺序同步移动，呈现出一种强烈的关联性。然而，当他观察单体大学时，情况却完全改变了。一所大学在某个图书馆中可能排在前一百名，但在另一个图书馆中可能会下降数十个名次。平均而言，在一所最具包容性的图书馆和一所最严格的图书馆之间，一所大学会移动约四十一位。这意味着，大约有十八所大学仅仅因为观察者的改变，就跨越了进入或退出前一百名的界限。高度的整体一致性掩盖了特定机构存在的巨大不稳定性。
研究还表明，这些变动并非随机发生的。它们遵循着基于大学所在地及其使用语言的清晰模式。位于“全球南方”（Global South）或出版大量非英语作品的大学，在更具包容性的图书馆中排名往往更高。而在更具选择性的图书馆中，这些同样的机构排名则显著下降。相反，其他地区的大学在图书馆变得更具包容性时，其排名往往会下降。这是因为排名系统是一个零和游戏；如果一组人因为更多的作品被计入而上升，那么另一组人就必须下降。模拟显示，排名的偏移方向完全取决于图书馆内置的规则，而非实际的研究质量。
为了理解这些差距为何存在，研究人员将差异分解为四个主要原因：发现了多少论文、大学名称与论文的关联程度、引用的计数方式，以及数据的随机误差。最大的因素是“覆盖范围”，即图书馆能够找到多少论文。这一单一因素解释了排名差异中近三分之二的原因。大学名称与论文的关联方式是一个较小的因素，而且在某些情况下，修复关联问题甚至会在情况好转之前先导致分歧加剧。研究结论认为，这种变动并非可以通过更好的计数来修复的错误，而是使用不同来源时的一个基本特征。
论文指出，报告一所大学的单一排名具有误导性，因为它掩盖了该数字背后的不确定性。一所大学在某个系统中排名第四十七，在另一个系统中排名第五十二，这只是微小的差异；但它也可能在一个系统中排名第六十二，而在另一个系统中排名第一百八十一。研究人员建议，与其提供一个单一的排名，不如展示一所大学可能处于的位置范围，以及进入前一百名的概率。这种方法可以明确地传达出：一所大学的位置并非地图上的固定点，而是一个取决于观察其视角而发生偏移的位置。这项研究并不声称解决了排名问题，而是提供了一种清晰的方法，用于衡量数据源的选择对答案产生多大的影响，并敦促任何使用这些名单的人都应让这种不确定性变得可见。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。