The disruption index is biased by citation inflation

新しい発明がいかに「クール」か、あるいは「革命的」かを、どれだけ多くの人々がそれについて語っているかを見て測定しようとしている場面を想像してみてください。科学の世界では、研究者たちはこれと似たことを「ディスラプション・インデックス（破壊的指数）」というツールを使って行っています。このインデックスは、論文や特許のためのスコアカードのようなものだと考えてください。それは、「この新しい研究は古いルールを打ち破り、新たな道を切り開いたのか、それとも単に既存の家に小さな増築をしただけなのか？」という単純な問いに答えようとするものです。もし論文が真に破壊的（ディスラプティブ）であれば、将来の科学者たちはその新しい論文を引用する一方で、その論文が立脚していた古い論文は無視するでしょう。もしそれが単なる「集約（コンソリデーション）」であれば、彼らは新しい論文と古い論文の両方を引用します。

長い間、科学者たちはこのスコアカードを使ってイノベーションの歴史を追跡してきました。彼らはある懸念すべき事実に気づきました。スコアが低下しているように見えるのです。それは、現代の科学がますます革命的ではなくなり、単に全員が互いに模倣し合い、小さな修正を繰り返しながら、ただ足踏みをしているだけのように見えるということです。このことは大きな論争を巻き起こしました。「私たちは大きな発明をする能力を失いつつあるのか？ それとも、他に何かが起きているのか？」

これを理解するためには、科学論文には主に二つの部分があることを知る必要があります。それは「提示される新しいアイデア」と、後ろにある「参考文献リスト」、つまりそのアイデアが立脚しているすべての古い論文のリストです。

この論文は、ある研究チームによって書かれたもので、この「ディスラプション（破壊性）の低下」は、科学者が輝きを失っているからではないと主張しています。代わりに彼らは、このスコアカード自体が、彼らが**「引用のインフレ（citation inflation）」**と呼ぶ現象によって壊れているのだと示唆しています。お金が大量に発行されると価値が下がるのと同じように、引用の数が爆発的に増えると、単一の引用の価値は変化します。著者らは、科学者がますます長い参考文献リストを書き、より複雑で自己参照的な方法で互いに引用し合っているために、ディスラプション・インデックスの数学的計算が歪められていると主張しています。彼らは科学が悪くなっていると言っているのではなく、測定に使っている「定規」が伸びてしまったと言っているのです。

参考文献の大インフレ

あなたが歴史のエッセイを書いている学生だと想像してみてください。1960年代なら、自分の主張を裏付けるために9冊の本を見つければよかったかもしれません。それらを読み、最適なものを選び、最後にリストアップします。さて、現在へと時間を進めてみましょう。インターネットがある今日、あなたのエッセイには23冊、あるいは50冊もの出典が必要になるかもしれません。これは単に本が増えたからではありません。参考文献の「供給量」がインフレしたからです。

この論文の著者らは、論文あたりの参考文献数が劇的に増加していることを指摘しています。1960年代、平均的な論文は約9個の参考文献を持っていました。しかし、2000年代までにはその数は23個に跳ね上がりました。50年間で2.6倍の増加です。しかし、ここが重要な点です。ディスラプション・インデックスは、「新しい」引用と「古い」引用の比率を見る数学的な公式です。参考文献リスト（「古い」もの）が巨大になると、数学が複雑になります。

ディスラプション・インデックスを「ホット・ポテト（熱いジャガイモ）」ゲームに例えてみましょう。もしあなたが新しい論文であり、「ディスプション」の賞を獲得したいなら、将来のプレイヤーたちがジャガイモをあなたに投げ、かつ、あなたが引用した古い論文には投げないようにする必要があります。しかし、もしあなたの参考文献リストが50個の古い論文が入った巨大な袋だとしたら、将来のプレイヤーが少なくとも一つの古い論文にジャガイモを投げてしまう確率は高まります。たとえあなたの新しい論文が素晴らしいものであっても、引用した古い論文があまりに多いため、将来の科学者が少なくともそのうちの一つを引用してしまうことはほぼ避けられなくなります。これにより、数学の方程式の分母が大きくなりすぎるため、あなたの新しい論文は「破壊性が低い」ように見えてしまうのです。

「セルフハグ（自己抱擁）」問題

インフレの話には二つ目の側面があり、それは科学者が互いにどのように引用し合うかに関わっています。著者らはこれを**「トライアディック・クロージャ（三者閉鎖）」**、つまり「三角形を閉じる」という小難しい言葉で呼んでいます。アリス、ボブ、チャーリーという三人の友人を想像してください。もしアリスがボブを引用し、ボブがチャーリーを引用していれば、アリスもチャーリーを引用する可能性が高いです。これは、引用の緊密な三角形を作り出します。

かつて、これらの三角形は自然に発生していました。しかし今日、著者らは、**「自己引用」**や戦略的な引用によって、これらの三角形がより頻繁に形成されていると主張しています。科学者は、自分の数字を増やしたり、自分の所属するジャーナルの評価を上げたりするために、自身の過去の論文や、親しい同僚の論文を引用することがあります。これにより、引用のネットワークは非常に密接に結びついたものになります。ディスラプション・インデックスは、これらの緊密な三角形を「集約（コンソリデーション）」としてカウントします。つまり、科学者がより緻密な引用のウェブを構築すればするほど、インデックスは彼らが破壊的ではなくなっていると判断してしまうのです。それはまるで、審査員が、体操選手が完璧な技を決めているにもかかわらず、派手で複雑な衣装を着ているという理由だけで、動きが鈍いと判定して減点するようなものです。

シミュレーション：インフレをオフにする

彼らの主張を証明するために、研究者たちは単に現実のデータを見ただけではありません。彼らはコンピューター・シミュレーションを構築しました。彼らは、現実の世界と同じように時間の経過とともに成長していく、架空の科学論文の世界を作り出しました。そして、この架空の世界に二つの異なる設定をプログラムしました。

1. 「インフレなし」の世界： ここでは、論文あたりの参考文献数は一定に保たれ、科学者たちの引用パターンも変化しません。
2. 「インフレあり」の世界： ここでは、現実世界と同様に、論文の参考文献リストを長くし、引用パターンをよりクラスター化（集中）させるようにプログラムしました。

「インフレなし」の設定でシミュレーションを実行すると、ディスラプション・インデックスは安定していました。低下することはありませんでした。しかし、「インフレあり」の設定をオンにし、参考文献リストを長くし、引用パターンをより密集させると、ディスラプション・インデックスは現実の世界と全く同じように急落しました。

このことは、ディスプション・スコアの低下が、科学者が創造性を失っているせいではないことを示唆しています。むしろ、インデックスが参考文献リストの「長さ」に対して敏感すぎるためなのです。著者らは、参考文献の数（$r$）が増えるにつれて、「余剰引用（extraneous citation）」の割合（$R_k$）が上昇し、それがディスラプション・インデックス（$CD$）をゼロに近づけてしまうことを発見しました。シミュレーションにおいて、ある時点から参考文献の数を固定（例えば25個）にしたところ、ディスラプション・インデックスは低下を止め、再び上昇し始めました。これは、「低下」がイノベーションの衰退ではなく、参考文献リストの増大による「アーティファクト（人工的な現象）」であったことを裏付けています。

これが将来にとって意味すること

著者らは、自分たちが問題を「解決」したわけではないと慎重に述べていますが、現在の「定規」には重大な欠陥があることを特定しました。彼らは、現在の使い方のままでは、ディスラプション・インデックスは**「偏っており、異なる時代を比較するには不適切である」**と主張しています。引用の「通貨」が変わってしまっているため、1960年の論文と2020年の論文をこのインデックスで比較することはできません。

また、彼らはこのインフレが他の測定値にも影響を与えていると指摘しています。例えば、大規模な研究チームは破壊的な仕事を生み出しにくいという研究結果もありますが、著者らは、大規模なチームは参考文献リストも長くなる傾向があることを考慮に入れると、その関係性が変わることを発見しました。実際には、大規模なチームの方がより破壊的である可能性があるのですが、引用のインフレがその事実を隠してしまっていたのです。

では、結論は何でしょうか？ 科学界は必ずしも鋭さを失っているわけではありません。むしろ、その鋭さを測る方法のアップグレードが必要なのです。著者らは、ジャーナルが論文の参考文献数に「上限」を設けるか、あるいは膨大な引用量に惑わされない新しいディスプションの測定法を開発する必要があると提案しています。それまでは、ディスラプション・インデックスを用いて「科学が革命的ではなくなっている」と断じる際には、非常に注意深くあるべきです。それは、プレイヤーの腕が落ちたのではなく、単にスコアボードが壊れているだけかもしれないのですから。