Measuring research data reuse in scholarly publications using generative artificial intelligence: Open Science Indicator development and preliminary results

以下は、論文「Measuring research data reuse in scholarly publications using generative artificial intelligence: Open Science Indicator development and preliminary results.（生成人工知能を用いた学術出版物における研究データの再利用測定：オープンサイエンス指標の開発と予備結果）」の詳細な技術的サマリーです。

1. 問題提起

科学コミュニティは長年、大規模な研究データの再利用を正確に測定することに苦慮してきました。

• 既存手法の限界:
  • 調査: 自己申告の調査では高い再利用率（52–54%）が示されていますが、主観的であり、スケーラブルではありません。
  • 文献計量学: 従来の引用分析は、正式なデータセット引用（例：DOI）に依存しています。しかし、これらは一貫して実装されておらず、多くの再利用されたデータセット（例：遺伝子配列）は永続的な識別子を持っていません。文献計量的アプローチは現在、再利用率をわずか 9–16% と示しており、報告された行動と検出された指標の間に大きな隔たりが生じています。
  • 既存の NLP: 以前の自動化試み（例：SciBERT の使用）は有望でしたが、データの生成、再利用、単なる参照を区別するニュアンスが欠けていたり、データがどのように、なぜ再利用されたかという文脈を捉えられていないことが多かったです。
• ギャップ: テキスト内のデータ再利用を検出し、特定のデータセットを特定し、再利用の文脈を理解できる自動化されたスケーラブルな指標が緊急に必要です。これにより、オープンサイエンス政策の影響についてより正確な全体像を提供できます。

2. 方法論

著者（PLOS および DataSeer）は、学術論文におけるデータ生成と再利用を分析するための生成 AI（LLM）パイプラインを開発しました。

A. 指標の定義

文献レビューと資金提供者、機関、研究者などのステークホルダーとの協議を通じて、指標の 3 つの中核要件を定義しました。

1. 論文が研究データを再利用しているかどうかを特定する。
2. どの特定のデータセットが再利用されたかを特定する。
3. データがどのように、あるいはなぜ再利用されたかを特定する（文脈的推論）。

B. モデル開発とアーキテクチャ

• ベースモデル: チームはQwen3-32B（大規模言語モデル）をファインチューニングしました。
• トレーニングデータ: 人間の専門家によって注釈付けられた1,732 件の PLOS 論文のキュレーションデータセット。注釈には、データ生成/再利用のブーリアンラベルと、引用、アクセッション番号、URL、DOI の抽出が含まれていました。
• トレーニング戦略:
  • 手法: 最終ヘッドを除くすべての線形レイヤーに適用された低ランク適応（LoRA）。
  • 最適化: 2 段階のトレーニングプロセス:
    1. 自己蒸留: 検証実行からの高報酬完了（≥0.9）でのファインチューニング。
    2. 強化学習（RL）: Group Relative Policy Optimization (GRPO) を使用してモデルを洗練させる。
• 報酬関数: 以下の要件を強制するために乗法的報酬関数 $r(p, c, y) = f(c) \times e(p, c) \times v(c, y)$ を設計しました。
  1. 形式（$f$）: 有効な JSON 構造。
  2. 根拠（$e$）: 幻覚の排除；出力はソーステキストによって裏付けられなければならない。
  3. 精度（$v$）: 人間の注釈との一致。
• 推論パイプライン:
  • 論文は markitdown と Docling を使用して Markdown 形式に変換されました。
  • 長い論文（25k トークン超）は、抄録と参考文献を保持したまま切り捨てられました。
  • Pass@3 戦略: 各論文について、モデルは 3 つの完了を生成しました。検証モデル（ベースの Qwen3-32B）がそれらをランク付けし、最高ランクの完了が選択されました。

C. 評価

モデルは、296 件の論文からなる保持テストセットで評価されました。

• パフォーマンス: モデルはブーリアンフィールドにおいて高い精度を達成しました（新規データ生成で pass@1 89.8%、再利用で 79.4%）。また、特定の識別子の抽出においても強力な F1 スコアを達成しました（例：新規データ引用で 0.997 の F1）。
• 比較: 他でテストされたオープンモデル（GLM-5、gpt-oss-120b、Deepseek-R1）を上回りました。

3. 主要な結果

モデルは、2024 年第 1 四半期に出版された4,475 件の PLOS 論文を分析しました。

• 全体の再利用率: 論文の**43%**が既存のデータを再利用していることが判明しました。これは文献計量的推定値（9–16%）よりも著しく高く、自己申告の調査データ（>50%）に近い値です。
• データ生成: 論文の**59%**が新しいデータを生成しました。
• 重複: 論文の 11% は、新しいデータを生成すると同時に既存のデータを再利用していました。
• 非データ論文: 論文の 10% は、データを生成も再利用もしていませんでした（純粋なシミュレーションやシステマティックレビューを除外する厳格な定義により、以前の PLOS 指標よりも高い率となりました）。

地域別および分野別の内訳

• 地域:
  • アジア太平洋地域: 再利用率が最も高い（46%）。
  • アフリカ: 再利用率が最も低い（31%）一方、新規データ生成率が高い（66%）。著者らは、これがデータ主権の問題や「ヘリコプター・サイエンス」と関連している可能性を示唆しています。
  • 北米、中南米、ヨーロッパ: 再利用率は 39–42% の範囲に集中していました。
• 分野:
  • 社会科学: 再利用率が最も高い（50%）。
  • 物理科学: 再利用率が高い（47%）一方で、データ生成も再利用もない論文の割合が最も高い（18%）。
  • 生命科学: 新規データ生成が最も高い（76%）が、再利用は最も低い（37%）。

4. 主要な貢献

1. 新規指標: 大規模なデータ再利用を測定できる最初の LLM ベースの指標を開発し、単純な引用数え上げからテキストの意味分析へと移行しました。
2. 文脈理解: 従来の手法とは異なり、このアプローチは再利用の理由（どのように/なぜ）を抽出し、影響評価のためのより豊富なメタデータを提供します。
3. パフォーマンス検証: 微調整された LLM が複雑な研究慣行の検出において高い精度を達成し、従来の文献計量学や以前の NLP モデルを上回ることを実証しました。
4. 定義の精緻化: 「データ生成」（物理世界の情報をデジタルに移すこと）と「再利用」の区別を明確にし、以前の PLOS オープンサイエンス指標（生成率 98% を報告）での過大評価を修正しました。

5. 意義と含意

• オープンサイエンス影響の再評価: 調査結果は、データ共有とオープンサイエンス政策の肯定的な影響が従来の指標によって過小評価されていることを示唆しています。43% という再利用率は、文献計量学では捉えきれない活発なデータ再利用エコシステムを示しています。
• 政策と資金: このツールは、資金提供者（例：マイケル・J・フォックス財団）や政策立案者に、データ共有義務の下游効果を監視するためのスケーラブルなメカニズムを提供し、遵守（共有）の測定から影響（再利用）の測定へと移行します。
• 引用慣行: この研究は、研究者がしばしばデータ使用を記述する際に正式な引用基準に適合しない方法を用いることを浮き彫りにし、構造化メタデータに依存するのではなく、AI 駆動のコンテンツ分析の必要性を強化しています。
• 今後の方向性: 著者らは、自身のデータと他者のデータの再利用を区別することに関する限界や、異なるジャーナルおよび分野におけるより広範な検証の必要性に言及しています。

結論として、この論文は、生成 AIが研究データの再利用の真の普及度と性質を監視するための実行可能かつ優れたツールであり、オープンサイエンスイニシアチブの成功を評価するためのより正確な基盤を提供することを確立しています。