The disruption index suffers from citation inflation and is confounded by shifts in scholarly citation practice

技術要約：ディスラプション・インデックスは、引用のインフレと学術的引用慣行における交絡的な変化の影響を受けている

問題提起
ディスラプション・インデックス（$CD$）は、ある知的貢献（論文や特許など）が、その引用文献をどの程度取って代わる（supersedeする）かを定量化するために開発されたものであり、それによって知識ネットワークをシフトさせる「破壊的（disruptive）」なイノベーションを特定することを目的としている。しかし、近年の文献では、$CD$の系統的な時間的減少が報告されており、これは破壊的イノベーションの停滞を示唆している。本論文は、観察された減少は科学的創造性の減退を反映したものではなく、二つの非イノベーティブなメカニズム、すなわち**研究生産の長期的成長（secular growth）と引用インフレ（CI）**によって引き起こされた測定上のアーティファクト（偽像）であると主張する。

核心となる問題は、$CD$の数学的定式化が、引用ネットワークの密度の増加に対して構造的に脆弱であることである。出版物数（$n(t)$）および平均的な参考文献リストの長さ（$r(t)$）が時間の経過とともに増大するにつれ、$CD$の方程式の分母が不釣り合いに拡大し、実際の仕事の破壊的な性質に関わらず、インデックスをゼロへと収束させてしまう。さらに、このインデックスは、自己引用の増加や三者閉鎖（triadic closure）といった、指標の定義では考慮されていない引用慣行の行動的変化によって、交絡されている。

方法論
著者らは、引用インフレと交絡変数の影響を分離・検証するために、四角的な手法を用いている：

1. 数学的演繹： 著者らは$CD$の方程式を再定式化し、そのスケーリング挙動を実証した。彼らは、$CD_p = \frac{N_i - N_j}{N_i + N_j + N_k}$において、$N_k$（注目論文ではなく、引用文献への引用）が総引用数とともにスケールすることを示した。参考文献リストが増大する（$r(t) \uparrow$）につれ、$N_k$が増加し、$CD$の比率をゼロへと収束させる。
2. 計算シミュレーション： 検証済みのメカニスティックな引用ネットワーク成長モデルを用いて、著者らは二つの合成ネットワークアンサンブルを生成した。一方のアンサンブルには、出版物量と参考文献リストの長さの両方の経験的な成長率（引用インフレを含む）が含まれており、もう一方のアンサンブルは、出版物量の成長を維持しつつ、特定の期間後に参考文献リストの長さ（$r(t)$）の成長を「抑制（quench）」させたものである。これにより、引用インフレの有無による$CD$の傾向の比較を制御された条件下で行うことが可能となった。
3. 準実験的検証： 著者らは、2011年から2015年の間に発表された『米国科学アカデミー紀要（PNAS）』の論文コーパスを分析した。彼らは、従来の論文と「PNAS Plus」論文（オンライン限定のロングフォーム論文）を比較した。これら二つのグループは、チーム規模や引用インパクトにおいてはほぼ同一であるが、参考文献リストの長さ（$r_p$）において大きく異なる。この設定により、他の変数を制御しつつ、参考文献の長さが$CD$に与える影響を分離した。
4. 多変量回帰分析： 1995年から2015年までの780万本の論文（SciSciNetより）に対して大規模な回帰分析を実施した。モデルには、チーム規模（$k_p$）、参考文献リストの長さ（$r_p$）、引用数（$c_{p,5}$）といった論文レベルの制御変数、およびジャーナルと年の固定効果が含まれている。著者らは、古いデータセットに蔓延するデータ品質の問題（欠落している参考文献など）に対処するため、参考文献がゼロ、あるいは不十分な参考文献数を持つ論文をフィルタリングして除外した。

主な貢献

• 引用インフレ（CI）の特定： 本論文は、参考文献リストの長さの長期的成長と、ディスラプション・インデックスの系統的な減少との間の因果関係を確立した。これは、$CD$が分母において拡張的な尺度（extensive measure）であり、長い参考文献リストに対して本質的にバイアスを持つことを示している。
• 先行研究のロバストネス・チェックへの批判： 著者らは、これらの傾向を補正しようとする従来の試み（例：分野・年による正規化やランダム化ネットワークの使用）が、なぜ不十分であるかを明らかにしている。それは、これらが参考文献リストの長さに対する非線形な依存関係や、古いデータセットに特有のデータ品質問題（欠落した引用）を適切に考慮していないためである。
• 共変量関係の再評価： 本研究は、チーム規模とディスラプティブネス（破壊性）の間の負の相関として広く引用されている関係に異議を唱えている。参考文献リストの長さを制御することで、チーム規模と破壊性の間の関係は無視できる程度であり、一部の仕様ではわずかに正であることを示した。

結果

• シミュレーションの結果： 計算モデルにおいて、出版物量の増加を継続させつつ参考文献リストの成長を停止させたところ、$CD$の減少が反転した。これにより、出版物量（$n(t)$）単独の増加ではなく、参考文献リストの成長（$r(t)$）こそが、観察された$CD$の減少の主要な要因であることが確認された。
• 準実験： PNASとPNAS Plusの論文の分析により、PNAS Plus論文のより長い参考文献リストが、有意に低い$|CD|$値をもたらすことが明らかになった。参考文献の長さの違い（約39%の増加）が、両グループ間の破壊性の差のほぼ100%を説明した。
• 回帰分析：
  • 時間的傾向： 参考文献リストの長さ、チーム規模、および引用数を制御した後、残差としての$CD$の時間的傾向は、ノイズのレベル（効果量$\approx 0.06\sigma$）であることが判明した。以前に報告されていた破壊性の時間的減少は、その大部分が消失する。
  • チーム規模： 先行文献で報告されているチーム規模と$CD$の負の関係は、欠落変数バイアス（具体的には、チーム規模と参考文献リストの長さの相関）によるアーティファクトである。適切に制御すると、チーム規模が$CD$に与える影響は無視できる程度（効果量$\approx 0.09\sigma$）であり、著者数が8人以上のチームでは負から正へと転じる。
  • 引用インフレ係数： 参考文献リストの長さ（$r_p$）の係数は負で統計的に有意であり、長い参考文献リストが系統的に$CD$スコアを押し下げることを裏付けている。

意義と主張
本論文は、現在の形態におけるディスラプション・インデックスは、引用インフレと学術的慣行の変化による深刻な測定誤差に対して脆弱であると結論付けている。したがって、イノベーションの減少傾向を特定したり、特定のチーム構造を破壊性と結びつけたりするために$CD$を用いる広範な研究の多くは、偽の相関に基づいている可能性が高い。

著者らは、観察された「破壊性の低下」は科学的な現実ではなく、方法論的なアーティファクトであると主張している。彼らは、指標の参考文献リストの長さに対する非線形な依存性が、厳格な引用インフレの補正なしには、縦断的な比較を行う上で不適切であることを指摘している。本論文は、将来の研究に対し、引用インフレに対して中立な新しい指標を開発するか、あるいは研究評価におけるこれらの構造的なバイアスを緩和するための、参考文献リストの長さに上限を設けるといった政策的措置を講じるべきであることを示唆している。これらの知見は、根本的な構造的欠陥に対処することなく、$CD$を知識経済の効率性と競争力を監視するための主要な指標として用いることの妥当性に疑問を投げかけている。