The disruption index is biased by citation inflation

想象一下，你正试图通过观察人们对一项新发明讨论的热度，来衡量这项发明有多“酷”或多具“革命性”。在科学界，研究人员也使用一种类似的工具，叫做颠覆指数（Disruption Index）。你可以把这个指数看作是科学论文和专利的计分卡。它试图回答一个简单的问题：这项新工作是打破了旧规则并开辟了一条全新的路径，还是仅仅在现有的房子上加盖了一个小小的扩建部分？如果一篇论文具有真正的颠覆性，未来的科学家会引用这篇新论文，但会忽略它所立足的旧论文。如果它只是在进行“整合”，那么他们既会引用这篇新论文，也会引用那些旧论文。

长期以来，科学家一直使用这个计分卡来追踪创新的历史。他们注意到一个令人担忧的现象：分数似乎在下降。看起来现代科学变得不再那么具有革命性，而更像是每个人都在原地踏步、互相模仿、进行微小的修补。这引发了一场大辩论：是我们失去发明宏大事物的能力了吗？还是发生了其他情况？为了理解这一点，你需要知道科学论文有两个部分：它们呈现的新思想，以及背后的“参考文献列表”，即所有它们所立足的旧论文的清单。

这篇文章由一个研究小组撰写，他们认为“颠覆性的下降”并不是因为科学家失去了灵感。相反，他们认为计分卡本身出了问题，原因在于一种他们称之为**“引用通胀”（citation inflation）**的现象。就像当货币发行过多会导致贬值一样，当引用的数量爆炸式增长时，单次引用的价值也会发生变化。作者声称，由于科学家写的参考文献列表越来越长，且以更复杂、相互引用的方式互相引用，导致颠迪指数背后的数学逻辑变得扭曲了。他们并不是说科学变差了，而是说我们用来衡量它的那把尺子拉长了。

参考文献的大通胀

想象一下，你正在写一篇历史论文。在 20 世纪 60 年代，你可能需要找 9 本书来支持你的观点。你会阅读它们，挑选出最好的，然后把它们列在文末。现在，快进到今天。你拥有了互联网，你的论文可能需要 23 本甚至 50 本参考文献。这不仅仅是因为书变多了，更是因为参考文献的“供应量”发生了通胀。

本文作者指出，每篇文章的参考文献数量增长得非常剧烈。在 20 世纪 60 年代，平均每篇论文有大约 9 篇参考文献。到了 2000 年代，这个数字已经跳升到了 23 篇。在 50 年间，这增长了 2.6 倍。但关键点在于：颠覆指数是一个观察“新”引用与“旧”引用比例的数学公式。当参考文献列表（即“旧的东西”）变得巨大时，数学计算就会变得混乱。

把颠覆指数想象成一场“烫热豆子”的游戏。如果你是那篇新论文，并且想要赢得“颠覆性”大奖，你需要让未来的玩家把豆子扔给你，并且不要扔给那些你引用的旧论文。但是，如果你的参考文献列表是一个装有 50 篇旧论文的大口袋，那么至少有一篇旧论文是那种大家都会引用的“超级明星”的概率就会大大增加。即使你的新论文非常出色，由于你引用的旧论文数量庞大，未来的科学家几乎注定会至少引用其中一篇。这使得你的新论文看起来没那么具有“颠覆性”，仅仅是因为数学方程中的分母变得太大了。

“自我拥抱”问题

关于引用通胀的故事还有第二部分，涉及科学家如何互相引用。作者称之为**“三元闭合”（triadic closure）**，这是一个高级说法，意思就是“闭合三角形”。想象三个朋友：爱丽丝、鲍勃和查理。如果爱丽丝引用了鲍勃，而鲍勃引用了查理，那么爱丽丝很有可能也会引用查理。这创造了一个紧密的引用三角形。

在过去，这些三角形是自然形成的。但作者认为，如今这些三角形之所以频繁出现，是因为自我引用和策略性引用。科学家可能会引用自己之前的作品，或者密切同事的作品，以提升自己的数据或帮助自己的期刊。这创造了一个联系紧密的引用网络。颠覆指数将这些紧密的三角形计为“整合”（而非颠覆）。因此，随着科学家越来越擅长构建这些引用网络，该指数就会认为他们的颠覆性在降低，即便他们实际上做得非常出色。这就像一位评委因为体操运动员穿着一件非常华丽、复杂的服装而给其打低分，导致看起来不够敏捷，即便运动员的空翻动作非常完美。

模拟实验：关闭通胀

为了证明他们的观点，研究人员不仅观察了真实数据，还构建了一个计算机模拟系统。他们创造了一个虚构的科学论文世界，这个世界会随着时间推移而增长，就像现实世界一样。他们设定了这个虚拟世界两种不同的模式：

1. “无通胀”世界： 在这里，每篇论文的参考文献数量保持不变，科学家也不会改变他们的引用方式。
2. “通胀”世界： 在这里，他们设定论文拥有更长的参考文献列表和更多的“三元闭合”（即更多的自我引用和群体引用），就像现实世界一样。

当他们在“无通胀”设置下运行模拟时，颠覆指数保持稳定，并没有下降。但当他们开启“通胀”设置——即让参考文献列表变长且引用模式变得更加聚集时——颠覆指数开始骤降，这与现实情况完全吻。

这表明，颠覆性得分的下降并不是因为科学家变得缺乏创造力，而是因为该指标对参考文献列表的长度非常敏感。作者发现，随着参考文献数量 ($r$) 的增加，“无关引用”率 ($R_k$) 也会随之上升，从而迫使颠覆指数 ($CD$) 趋向于零。在他们的模拟中，当他们将参考文献列表的长度限制在一个固定数值（例如 25 篇）之后，颠覆指数就不再下降，反而开始回升。这证实了所谓的“下降”是由于参考文献列表增长导致的现象，而非创新能力的下降。

这对未来意味着什么

作者谨慎地表示，他们并没有“解决”衡量创新的问题，但他们识别出了当前测量工具的一个重大缺陷。他们认为，目前使用的颠播指数具有偏见，且不适合用于比较不同的时期。你不能用这个指数去比较 1960 年的一篇论文和 2020 年的一篇论文，因为引用的“货币”已经发生了变化。

他们还指出，这种通胀也会影响其他测量指标。例如，有些研究声称规模更大的研究团队产生的颠覆性工作较少。但作者发现，当他们考虑到大型团队往往也倾向于拥有更长的参考文献列表时，这种关系发生了变化。事实证明，大型团队可能实际上具有更强的颠覆性，只是引用通胀掩盖了这一事实。

那么，结论是什么呢？科学界并不一定正在失去锋芒。相反，我们衡量锋芒的方式需要升级。作者建议，期刊可能需要对论文的参考文献数量设置“上限”，或者开发新的衡量颠覆性的方法，使其不会被庞大的引用量所干扰。在此之前，在使用颠覆指数来断言科学变得不再具有革命性时，我们应当非常谨慎。因为很可能不是选手表现不佳，而是计分板坏了。