One University Three Positions: A Reproducible Simulation Study of Database Dependent Institutional Rankings across OpenAlex Scopus and Web of Science
本研究は、700校の合成大学を用いた再現可能なモンテカルロ・シミュレーションを用いることで、OpenAlex、Scopus、およびWeb of Scienceの間で機関ランキングが大きく変動することを実証し、それはカバレッジや引用スケーリングといったデータベース固有のメカニズムに起因するものであり、高いシステムレベルの一致性が、重大な機関レベルの順位の不安定性と地域的なバイアスを覆い隠していることを明らかにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
毎年、世界中の大学が、あたかも山の高さのように固定された事実であるかのように、第一位から最後位まで単一の列に並べられてランク付けされています。この慣行は、数百万もの研究論文、引用、および著者名を保存している膨大なデジタルライブラリに依存しています。これらのライブラリは、しばしばデータベースと呼ばれ、研究者が大学がいかに多くの成果を生み出し、その仕事がいかに頻繁に他者に読まれているかを数えるためのツールとして使用されます。これらのランキングの背後にある仮定は、もし同じ大学を二つの異なるライブラリで数えたとしても、ほぼ同じ結果が得られるというものです。しかし、現実には、全く同じコレクションを持つライブラリは二つと存在しません。あるライブラリは英語以外の言語で書かれた論文をより多く含んでいるかもしれませんし、別のライブラリは特定の科学分野に重点を置いていたり、会議録のような特定の種類の文書を除外していたりするかもしれません。出発点となる論文のリストが異なるため、大学自身の研究成果が全く変わっていないとしても、最終的なカウントと結果としてのランクは劇的に変わり得るのです。
ムスタファ・カヤリという研究者は、これらの違いがどれほど重要であるかを理解するために調査を行いました。現在のランキングを修正したり、実際の大学を比較したりする代わりに、彼はシステムの仕組みをテストするためのコンピュータ・シミュレーションを構築しました。彼は、700の合成大学を含む架空の世界を作り上げました。これらの中身のない機関には、その規模、研究の質、出版言語、そして医学、工学、芸術といった研究対象の混合比率を含む、独自のプロファイルが与えられました。次に、彼はこれらと同じグループの大学を「観察」するように、三つの異なるデジタルライブラリをプログラムしました。これらのライブラリは、現実世界のシステムの既知の挙動を模倣するように設計されました。一つは幅広く包括的であり、もう一つはその中間であり、三つ目はより選択的で厳格な内容を含めるものでした。目的は、どのライブラリが最良であるかを見極めることではなく、どのライブラリを使用して測定するかによって、単一の大学のランキングがどれほど変動するかを見ることでした。
結果は驚くべき矛盾を示しました。研究者が全体的なリストを見たとき、異なるライブラリからのランキングは非常によく一致しているように見えました。大学の順序は、強い関連性があることを示唆するように連動して動いていました。しかし、個々の大学に目を向けると、状況は一変しました。あるライブラリでトップ100に入っていた大学が、別のライブラリでは数十の順位を落とすことがありました。平均して、最も包括的なライブラリと最も選択的なライブラリの間で、一つの大学は約41の位置を移動しました。これは、観測者が変わったという理由だけで、約18の大学がトップ100の境界線を越えて入ったり出たりしたことを意味します。全体的な高い一致性は、特定の機関における多大な不安定さを隠蔽していたのです。
この研究はまた、これらの動きがランダムではないことも明らかにしました。それらは、大学がどこに位置しているか、およびどの言語を使用しているかに基づく明確なパターンに従っていました。グローバル・サウス（新興国・発展途上国）にある大学や、英語以外の言語で研究の大部分を出版している大学は、幅広く包括的なライブラリにおいて、はるかに高い順位を示す傾向がありました。より選択的なライブラリでは、これらの同じ機関は大幅に順位を下げました。逆に、他の地域の大学は、ライブラリがより包括的になると、ランキングが下がる現象が見られました。これは、ランキングシステムがゼロサム・ゲームであるためです。つまり、あるグループの仕事が多くカウントされることで順位が上がるなら、別のグループは順位を下げなければなりません。シミュレーションは、シフトの方向が、実際の研究の質ではなく、ライブラリに組み込まれたルールに完全に依存していることを示しました。
なぜこのような格差が存在するのかを理解するために、研究者はその違いを四つの主要な原因に分解しました。それは、どれだけの論文が見つかったか、大学の名前がいかに論文と結び付けられているか、引用がいかにカウントされているか、そしてデータにおけるランダムなエラーです。最大の要因は「カバレッジ（網羅性）」、つまりライブラリがどれだけの論文を見つけ出せたかという点でした。この単一の要因が、ランキングの違いのほぼ3分の2を説明しました。大学と論文の紐付け方はより小さな要因であり、場合によっては、紐付けを修正することが、改善する前にむしろ不一致をわずかに悪化させることもありました。研究は、この変動はより良いカウントによって修正されるべき「間違い」ではなく、異なる情報源を用いることに伴う「根本的な特徴」であると結論付けました。
この論文は、単一の数字で大学のランクを報告することは、その数字の背後にある不確実性を隠してしまうため、誤解を招くと主張しています。ある大学が一方のシステムでは47位、別のシステムでは52位であることは小さな違いですが、一方では62位、他方では181位になる可能性もあります。研究者は、単一のランクを表示する代わりに、起こり得る位置の範囲と、トップ100に入る確率を示すべきだと提案しています。このアプローチは、大学の位置が地図上の固定された点ではなく、どのようなレンズを通して見られるかによって変化する場所であることを明確にするでしょう。この研究は、ランキングの問題を解決したと主張しているのではなく、データソースの選択が答えをどれほど変えるかを測定するための明確な手法を提供しており、その不確実性がこれらのリストを利用するすべての人々に可視化されるべきであると促しているのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。