Publication time valid prediction of citation risk outcomes in a bounded clinical specialty literature corpus

技術的要約：出版時点における妥当な引用リスク予測

問題提起
引用予測は、将来の科学的インパクトを推定するものとして頻繁に位置づけられるが、その計量書誌学的な価値は、将来の可視性が「出版時に利用可能な情報のみ」から厳密に推論できるかどうかに依存している。既存研究の多くは、出版後に得られる特徴量（例：出版後の引用数）を利用していたり、時間的リーク（temporal leakage）を導入するランダムなデータ分割を採用したりしており、それによって事後的な解釈可能性を損なっている。さらに、引用分布はヘビーテイル（厚い尾）特性を持ち、結果は科学的な本質的価値の直接的な尺度というよりも、証拠の可視性と注目の蓄積の痕跡として解釈される方が適切である。本研究は、「出版時点において妥当（publication-time-valid）」な引用予測モデルの設計におけるギャップに対処し、限定された臨床専門領域の文献において、メタデータ、参考文献、著者履歴、および出版日またはそれ以前に利用可能なテキストのみを用いて、引用リスクの結果を予測できるかという問いに取り組む。

手法
本研究では、論文が文献に参入する条件を模した、遡及的かつ時間インデックス化された予測デザインを採用した。

• コーパス： 解析対象となるコーパスは、7つのマスクされた臨床消化器病学ジャーナル（Journal A–G）に発表された、2017年から2022年までの9,424本の原著論文で構成された。メインの解析には、参考文献リストが解析済みの8,409本の論文からなる主要な「参考文献観察済み（reference-observed）」コホートを用いた。
• アウトカム：
  • プライマリアウトカム： 2年以内の引用数 $\le$ 3回。
  • セカンダリアウトカム： 3年以内の引用数 0回、3年以内の引用数 $\le$ 3回、3年以内の引用数 $\le$ 1回、および2年以内の引用数 > 20回。
• 予測因子ファミリー： 特徴量は出版時点のシグナルに限定された：
  1. 非意味論的ベースライン： 出版コンテキスト（マスクされたジャーナル、発行年）、参考文献リストの構成（年齢、種類）、引用された知識の成熟度（出版時における引用された著作の引用数/可視性）、および系譜/新規性の特徴。
  2. 著者履歴： 著者の事前の引用履歴およびコラボレーション・ネットワーク（出版前に利用可能）。
  3. 文書全体（意味論的）： タイトルと抄録を一つのブロックとして扱ったSPECTER2埋め込み。
  4. 構造を考慮した内容： ロール（導入、本文、結語、要約）ごとにセグメント化されたSPECTER2埋め込み。
  5. 構造を考慮したコンテキスト： 学習フォールドのセントロイドと比較された、引用文献の文脈の分布的特徴。
• 検証戦略： リークを防ぐため、時間分割（temporal splits）を用いてモデルを評価した。以下の2つのフォールドを用いた：
  • フォールド1：学習（2017–2019）、チューニング（2020）、テスト（2021）。
  • フォールド2：学習（2017–2020）、チューニング（2021）、テスト（2022）。
  • 前処理（補完、エンコーディング、次元削減）は、厳密に学習年内に適合させた。
• モデル： 正則化ロジスティック回帰（Elastic Net）と勾配ブースティング決定木（XGBoost）を比較した。
• 指標： PR-AUC（ランキング）、F1（検証時に選択された動作点での閾値付き分類）、およびPrecision@10%（上位デシルにおける濃縮度）。

主な結果

• ベースラインの性能： 非意味論的な引用/参考文献/コンテキストのベースラインは、プライマリアウトカムに対して強力な性能を示し（PR-AUC 0.818、F1 0.722、Precision@10% 0.935）、メタデータと参考文献の構造のみに実質的なシグナルが存在することを示した。
• 意味論的な改善： 文書全体のタイトル/抄録の埋め込みを追加することで、ベースラインに対して緩やかではあるが一貫した改善が見られた（PR-解釈 0.828、F1 0.735、Precision% 0.962）。このモデルがプライマリアウトカムにおける最良の性能モデルとして採用された。
• 構造を考慮した特徴量：
  • プライマリアウトカムについては、構造を考慮した特徴量は文書全体の意味論的モデルと比較して性能を向上させなかった。
  • セカンダリアウトカムについては、構造を考慮した特徴量はエンドポイント特有の利点を示した。具体的には、コンテンツとコンテキストを組み合わせたモデルは、「3年以内の引用数 0回」のエンドポイントにおいて、文書全体の比較対象モデルに対し、閾値付きF1を（0.325から0.453へ）向上させた。ただし、PR-AUCの向上は統計的に有意ではなかった。
  • 「高引用」エンドポイント（20回超）については、構造を考慮したコンテキスト的特徴量がPR-AUCを向上させたが、ベースラインの閾値付きF1を回復させることはできなかった。これは、ランキング性能と動作点における性能との間のトレードオフを示唆している。
• 著者履歴： 著者履歴の特徴は単独での予測シグナルを持っていたが、非意味論的ベースラインに加えた際に増分的な価値を提供しなかった。これは、この限定されたコーパスにおいて、参考文献やコンテキストの特徴が著者レベルの可視性シグナルのプロキシ（代理指標）となっていることを示唆している。
• 局所的妥当性： プールされたマルチジャーナル性能は、個別のジャーナルに直接は適用されなかった。 「Journal C」を用いた診断テストでは、プールされたモデルの性能が著しく低下した（例：特定の目的関数においてPR-AUCが0.696から0.205に低下）。局所的な再キャリブレーションによって一部の指標は改善したが、ランキングや分類を一貫して改善するには至らず、コーパスレベルのシグナルが特定のジャーナルにおける局所的な妥当性を保証するものではないことを浮き彫りにした。

意義および主張
本論文は、出版時点において妥当なモデリングを用いて、限定された文献内での証拠の可視性を研究するための再現可能なフレームワークを確立することを主張している。その主な貢献は方法論的なものである：

1. リーク制御： 引用リスク予測が、時間的リークなしに厳密に評価できることを実証し、臨床研究における前向き予測モデリングの原則に合致させている。
2. 特徴量の階層性： 非意味論的な構造的特徴（参考文献、コンテキスト）が強力なベースラインを提供すること、意味論的な埋め込みが一般的な低引用リスクに対して緩やかな増分価値を提供すること、そして構造を考慮した特徴量が特定の引用リスク状態（例：完全な非引用）に対して特有の有用性を持つことを確立した。
3. 妥当性の範囲： 本研究は、専門分野のコーパス全体でプールされた性能は、局所的な評価とキャリブレーションなしに、特定のジャーナルに対する局所的な妥当性の証拠として解釈されるべきではないと明示的に主張している。
4. 解釈可能性： 著者らは、これらのモデルを科学的価値や編集上のスクリーニングのための意思決定支援ツールとしてではなく、コンテンツ、参考文献の系譜、および会場のコンテキストがいかに証拠の可視性を形成するかを特徴付けるためのツールとして位置づけている。

これらの知見は、これらの可視性シグナルの一般化可能性を判断するために、他の専門分野や異なる出版年代への再現を促すとともに、引用リスクの閾値とモデルの性能が本質的にコーパスおよびユースケースに依存するものであることに警鐘を鳴らしている。