Inflationary bibliometric values revisited: Indicator validity under falling production costs

学術研究の世界には、質を測定するために「数を数える」という長年の習慣があります。数十年にわたり、科学者や大学の管理者たちは、研究者がどれだけの論文を書いたか、それらの論文が他者にどれほど引用されたか、そして一つのプロジェクトに何人の著者が関わったかを見てきました。これらの数値はスコアカードとして機能し、誰が職を得るか、助成金を得るか、あるいは昇進するかを判断する助けとなっています。しかし、このシステムは以前、大きな課題に直面しました。20年前、研究者たちは、論文と引用の純粋なボリュームが、実際に研究を行っている科学者の数よりもはるかに速いペースで増加していることに気づきました。この「インフレ」は、単に論文の数を数えることが、もはや質の判断として公平ではないことを意味していました。なぜなら、その数字はより優れた科学によってではなく、より多くの人々が共同で作業することによって押し上げられていたからです。当時の解決策は、生の数値を数えるのをやめ、研究者を彼らの同業者と比較し、特定の分野における平均に対してその科学者がどのようにパフォーマンスを発揮したかを問うことでした。

今日、強力な人工知能ツールの台頭という新しい力が、科学的な執筆のあり方を変えようとしています。強力なAIツールによって、科学的な文章を起草し、修正することが大幅に安価かつ迅速になりました。この変化は、極めて重要な問いを投げかけます。もし論文を作成することが容易になったとしたら、それは論文自体の根本的な性質を変えてしまうのでしょうか、それとも単に論文の数が増えるだけなのでしょうか。論文の生産コストが下がったとき、質の分布は変化するのでしょうか、それとも単に拡大するだけなのでしょうか。これが、最近の研究においてアーメド・ハミド・マムードが取り組んでいる核心的なパズルです。彼は、論文を作成するコストがもはや一定ではなくなったとき、研究者を比較する古い手法が依然として有効であるかどうかを調査しています。

マムードの研究は、この新しい、より安価な生産環境の影響を、2つの明確な可能性に分けることから始まります。第一の可能性は、彼が「スケール（規模）」の変化と呼ぶものです。ある工場が、突然、製品を2倍生産できる新しい機械を導入した場面を想像してみてください。もしすべての製品の質が全く同じまま、単に数が増えただけならば、品質分布の全体的な形状は維持されます。科学の世界において、これは人工知能によって研究者がより多くの論文を出版できるようになるものの、優れた論文と平均的な論文の比率は変わらないことを意味します。第二の可能性は、「シェイプ（形状）」の変化です。これは、新しいツールが仕事の本質そのものを変えてしまった場合に起こります。例えば、低品質な論文を作成することを容易にしたり、高品質な仕事と低品質な仕事の混合比率を歪めるような形で、分布を変化させたりする場合です。もし形状が変われば、質を判断するための古いルールはもはや適用できなくなる可能性があります。

この研究は、科学的な引用がどのように分布するかという数学的モデルを用いて、これらのシナリオを検証しています。研究者たちは、もし変化が純粋に「スケール」の効果、つまり論文の数は増えたが基礎となる品質のパターンは変わっていない場合、現在用いられている相対的な指標は依然として安全であることを発見しました。研究者を同業者と比較したり、その分野の平均に対する引用の比率を見たりすることは、引き続き有効なパフォーマンスの尺度となります。これらの手法は、単純なボリュームの増加に対して堅牢です。しかし、状況は劇的に変わります。もし異なる研究者が、これら安価な生産ツールへのアクセスにおいて不平等である場合です。もし一部の科学者が人工知能を使用してより多くの論文を出版できる一方で、他の科学者ができない場合、論文の総数や総引用数を単に数えることは誤解を招きます。このシナリオでは、カウント数はもはや仕事の質を反映せず、単に誰がより安価なツールを利用できたかを反映するものになります。そのランキングは、誰がより優れた科学を行ったかではなく、誰が優位に立ったかを示すものになってしまいます。

また、論文は品質分布の「形状」自体が実際に変化した場合に何が起こるかを検証しています。もし高品質な仕事と低品質な仕事の混合比率がシフトすれば、研究者を判断するために使われる標準的なベンチマークは壊れてしまいます。例えば、かつて「良い」論文と「平均的」な論文を隔てていた閾値が、基礎となる分布が歪んだことにより、突然多くの論文を誤って分類してしまうかもしれません。研究は、このような形状の変形が起こった場合、古い固定された基準は真の科学者の質を特定できないことを示しています。しかし、論文は解決策を提示しています。それは、グループ内での論文の分布の具体的なパターンを見ることで、分野はこの変化を検知できると示唆しています。現在の分布の「形状」を標準的なランキングと併せて推定することで、評価者は自身の判断を調整できるのです。推奨されるのは、研究者の位置を現在のグループ内での位置として報告すると同時に、彼らが判断されている環境の状態を明示することです。この二重の報告により、研究者がシステム自体の変化によって不当に罰せられたり、不当に底上げされたりすることを防ぐことができます。

著者は、論文のボリュームの劇的な増加と人工知能の使用に関する証拠は強力であるものの、品質分布の根本的な形状が変化したことはまだ証明されていないと注意深く述べています。この研究は、古い手法が無用であると主張しているわけでも、人工知能が科学を台無しにしたと言っているわけでもありません。むしろ、起きていることを理解するための明確な枠組みを提供しています。それは、生産環境が一様に変化する限り、過去のインフレを解決するために開発された相対的な比較は依然として有効であることを確認しています。また、これらのツールへのアクセスが不平等であれば、生のカウントは嘘をつくことになる、と警告しています。そして、仕事の性質そのものが変化しているかどうかを検知する方法を提供し、科学コミュニティが評価ルールが時代遅れになる前に適応できるようにしています。究極の結論は、科学を測定するツールは依然として健全であるが、それらが適用される環境を明確に理解した上で使用されなければならないということです。将来への問いは、これらのツールを放棄すべきかどうかではなく、足元の地面が動いているかどうかを知るために、システムを十分に注意深く監視できるかどうかです。