Regulatory effect of document samples on the fluctuation of journal impact factor

技術要約：ドキュメント・サンプルの変動がジャーナル・インパクトファクターに及ぼす規制的影響

問題提起
ジャーナル・インパクトファクター（JIF）は、学術雑誌の質を評価するための指標として広く利用されているが、その算出方法は、極端に高い、あるいは低い引用数を持つ個別のドキュメントによる数値の極端な変動に対して本質的に脆弱である。標準的なJIFの計算では、分母にはすべての「ソース・ドキュメント」（論文およびレビュー）を含め、分子にはそれらの総引用数を集計する。この手法では、単一の高被引用論文がジャーナルのJIFを不当に押し上げることを許してしまい、指標の本来の意図である「長期的な包括的学術の質」の反映から逸脱させてしまう。先行研究では、単一の記事がJIFを異常に急騰させたり暴落させたりした事例（例：Acta Crystallographica Section A）が指摘されており、これは学術評価システムの科学的厳密性と公平性を損なうものである。非分母型のドキュメントタイプの増加や引用アライアンスの形成といった現在のJIF操作戦略は、状況をさらに複雑化させており、指標の根本的な定義を変更することなく、これらの歪みを軽減するための統計的なアプローチが必要とされている。

方法論
本研究では、JIFの計算モデルを修正するために「両端トリミング（dual-end trimming）」戦略を提案する。本手法の手順は以下の通りである：

1. サンプル選定： 9つの代表的なジャーナルを選定した。これには、3つのトップティア国際誌（Nature, Science, Cell）と、中国および米国の専門物理学誌6誌（Chinese Physics Letters, Chinese Physics B, Chinese Physics C、および Physical Review Letters, Physical Review B, Physical Review C）が含まれる。
2. データ取得： 2010年から2025年までに発行されたすべての有効なソース・ドキュメント（論文およびレビュー）の引用データを、Web of Science (WoS) データベースから取得した。
3. 切断戦略： 各ジャーナルおよび各年について、ドキュメントを引用数の降順でランク付けした。本研究では、このランキングから上位 $n\%$ および下位 $n\%$ のドキュメントを系統的に除外した（ここで $n$ は0から25の範囲をとる）。
4. 再計算： 残ったドキュメント（$P_n$）とその総引用数（$C_n$）を用いて、修正JIF（$R_n$）を $R_n = C_n / P_n$ と定義して算出した。
5. 統計分析： 異なる保持割合（100%から50%まで）における標準偏差（SD）および相対標準偏差（RSD）を用いて、修正JIFの安定性を評価した。また、追加のドキュメントを除外することによる限界効果を判断するために、「相対JIF減少値」についても分析を行った。

主な結果

• 変動の抑制： 引用分布の両端にあるドキュメントを除外することで、JIFの変動幅が効果的に減少することが示された。JIFの値および変動の最も顕著な減少は、初期の2%のドキュメント（両端からそれぞれ1%ずつ）を除外したときに発生した。
• 限界効用の逓減： 保持されるドキュメントの割合がさらに減少すると、JIF減少への限界的な影響は小さくなる。保持率が80%を下回ると曲線は平坦化し、さらなる切断による指標の変化は無視できる程度になる。
• ケーススタディによる検証：
  • トップティア・ジャーナル（Nature, Science, Cell）において、修正モデルは極端な引用がJIFのボラティリティの大部分を駆動していることを示した。両端を除外することで、絶対値の継続的な下降傾向を維持しつつ、指標が安定化した。
  • 専門誌については、Chinese Physics C (CPC) のような異常な変動の具体例が特定された。CPCでは、2014年と2016年の2つの高被引用レビューにより、JIFが5.861まで急騰した。両端トリミング（わずか2%のドキュメントを除去）を適用した後、これらのスパイクは消失し、JIFは安定したベースライン（例：2018年に5.861から1.201へ低下）に戻り、ジャーナルの通常のパフォーマンスを客観的に反映した。
• 安定性指標： サンプルサイズが減少するにつれて、JIFの標準偏差（SD）および相対標準偏差（RSD）は一貫して減少しており、修正された指標がより安定していることが確認された。歴史的に安定したパフォーマンスを示すジャーナル（例：Physical Review シリーズ）は切断に対する感度が低かった一方、変動の激しい履歴を持つジャーナルは顕著な安定化を示した。

最適閾値の決定
JIFの安定性（抗干渉能力）とサンプルの代表性のバランスを考慮し、本研究は最適なサンプル保持閾値を決定した。

• 両端から1%ずつ除去（98%を保持）することで、最も重大な異常な振動を排除できる。
• しかし、極端な外れ値に対する堅牢性を確保しつつ、サンプルの代表性を最大化するため、本研究では90%保持（上位5%と下位5%を除去）を最適閾値として特定した。このレベルでは、さらなる切断による限界効果は無視できるほどであり、指標はジャーナルの出力の大部分を捨てることなく、極端な引用による統計的偏差を効果的にフィルタリングできる。

意義と主張
本論文は、提案する両端切断戦略が、JIFの標準化された算出のための新しい視点を提供すると主張している。適切にサンプルサイズを縮小して極端な外れ値を除外することにより、本手法は以下の実現を可能にする：

1. 科学的厳密性の回復： 個別のドキュメントによって引き起こされる偶発的な統計的偏差を軽減し、JIFがジャーナルの本質的な学術的質と長期的安定性をより良く反映できるようにする。
2. 評価システムの改善： 本研究の結果は、操作や極端な引用事象に対して脆弱である現在のジャーナル評価システムの合理性と公平性を向上させるための参照を提供する。
3. 実用的な適用可能性： 90%の保持閾度を採用することで、代表的な評価のための十分なデータを維持しながら、異常なJIFの変動を効果的に回避できることを示唆しており、ジャーナル評価指標の改善に向けた実用的な解決策を提示している。

著者らは、このアプローチは新しい指標を考案するものではなく、既存のJIF計算を洗練させ、学術評価のための定量的指標としての信頼性を高めるものであると結論付けている。