論文「Demystifying Funding: Reconstructing a Unified Dataset of the UK Funding Lifecycle」の技術的サマリー

本論文は、英国の研究資金調達プロセス（Funding Lifecycle）の全体像を可視化し、分析可能な統合データセットを構築することを目的とした研究です。著者らは、英国研究イノベーション庁（UKRI）の「Gateway to Research (GtR)」データベースを拡張し、資金調達機会（Opportunities）、パネル会議での決定（Panel Decisions）、そして最終的な研究プロジェクト（Projects）の 3 つの分離されたデータソースを統合しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

既存の GtR データベースには、研究資金の公平性や効率性を評価する上で重大な欠陥が 2 つ存在します。

1. データ品質と完全性の欠如:
   • ソフトウェア出力のリンク欠如や URL の誤り、重複データ、組織名の一貫性欠如などの品質問題が報告されています。
   • 歴史的データの不完全さや、分類基準の不一致が指摘されています。
2. 資金調達ライフサイクルの断絶（Coverage Gap）:
   • GtR は「資金を受けたプロジェクト」のみを記録しており、「資金申請（Proposal）」や「資金提供の機会（Funding Opportunity）」、そして「パネル会議での決定プロセス」との関連性が欠落しています。
   • 特に、パネル会議の結果（誰が資金を獲得し、誰が落選したか）は、PDF やスプレッドシート、あるいは Tableau ダッシュボード（データエクスポート不可）など、形式が不統一でアクセスが制限されており、透明性が不足しています。
   • この「不透明さ」により、ピアレビューにおけるバイアス（性別、人種、機関の格差など）の分析が、最終段階のみに限定され、申請段階での選別プロセスの公平性を検証できないという問題があります。

2. 手法 (Methodology)

著者らは、3 つの主要なデータソースを収集・統合し、構造化されたユニファイドデータベースを構築しました。

2.1 データソースの収集と統合

1. Gateway to Research (GtR): プロジェクト、参加者、機関、成果物（出版物、特許など）のメタデータを抽出し、PostgreSQL に格納。
2. 資金調達機会 (Funding Opportunities): UKRI のオポチュニティファインダーから、タイトル、資金提供者、日程、賞金額などのメタデータを取得。HTML をパースし、ツリー構造（見出しと本文の階層）に変換して Markdown 形式で保存。
3. パネル会議の結果と出席記録: 各研究評議会（Council）のウェブサイトや政府アーカイブから、会議記録、申請結果、パネルメンバーの出席情報を収集。
   • 課題: 形式が PDF、Excel、Tableau など多岐にわたり、特に EPSRC や MRC などは Tableau でのみ公開されデータエクスポートが禁止されているため、スクレイピングや手作業による収集が必要でした。

2.2 構造化データ抽出（メタデータ抽出）

資金機会文書から、賞金額、期間、UKRI の負担割合などの構造化データを抽出するために、階層的検索（Hierarchical Retrieval） を採用しました。

• ドキュメント分割: 文書のツリー構造（見出しと子コンテンツ）を利用し、自然なセクション境界でチャンク（断片）を作成。
• 検索パイプライン:
  1. ハイブリッドスコアリング: BM25（キーワード検索）と Dense Cosine Similarity（BERT 系モデル all-MiniLM-L6-v2）を重み付けして組み合わせ。
  2. 再ランク付け: クロスエンコーダー（ms-marco-MiniLM-L-6-v2）で上位候補を再評価。
  3. 枝の重複排除: 祖先 - 子孫関係にあるチャンクのうち、スコアが低い方を破棄。
• 抽出タスク: 抽出されたコンテキストを LLM に与え、指定されたメタデータ（最小/最大賞金額、期間など）を JSON 形式で抽出させるクローズドドメイン QA タスクとして実装。

2.3 エンティティリンキング

3 つのソースに共通 ID がないため、以下のルールでエンティティをリンクしました（精度重視の保守的な閾値設定）。

• 申請→プロジェクト: application_id または award_id と grant_reference の完全一致（大文字小文字無視）。
• 申請→機会: 申請タイトルと機会タイトルのファジーマッチング（ council 一致、日付順序、賞金額範囲のチェックなどを含む）。
• パネル出席→人物: 姓とイニシャルのクラスタリング、機関の類似度に基づいて GtR の人物データとリンク。

3. 主要な貢献 (Key Contributions)

1. 初の統合データセットの構築:
   • 資金機会、パネル決定、研究プロジェクトの 3 つを横断的にリンクした、英国初の包括的な資金調達ライフサイクルデータセットを公開しました。
   • 資金を受けたプロジェクトだけでなく、落選した申請（Unfunded proposals） や保留中の案件も含まれており、競争率や選別プロセスの分析を可能にします。
2. 技術的課題の克服とコードの公開:
   • 不統一なデータ形式（PDF, Excel, Tableau）からのデータ抽出、およびアクセス制限されたデータ（Tableau ダッシュボード）の収集方法を詳述。
   • 関連するコードとデータセットを GitHub で公開し、研究の再現性と透明性を担保しました。
3. メタデータ抽出の精度向上:
   • 階層的なドキュメント分割とハイブリッド検索を用いることで、文書全体を LLM に投入するベースラインよりも高い精度（87.7%）でメタデータを抽出する手法を確立しました。

4. 結果 (Results)

4.1 データセットの規模

• プロジェクト: 173,220 件
• 人物: 141,833 件
• 機関: 89,884 件
• 成果物: 2,619,446 件
• 会議: 1,449 件
• パネル出席記録: 6,951 件
• 申請: 38,862 件
• 資金機会: 2,053 件

4.2 エンティティリンクの精度

• 申請→プロジェクト: 38,862 件中 10,531 件（27.1%）がリンク成功。残りは主に GtR に記録されていない落選案件。
• 申請→機会: 11,514 件（29.6%）がリンク成功。
• パネル出席→人物: 6,951 件中 4,474 件（64.4%）がリンク成功。
• リンクされたペアの検証では、組織一致率 97.2%、PI の姓一致率 95.7%、タイトル類似度中央値 1.000 となり、高い精度が確認されました。

4.3 メタデータ抽出の評価

• 全体精度: 最良の設定（階層的チャンキング、$\alpha=0.25$、リランクなし）で 87.7% の精度を達成（ベースラインの全文入力 85.3% を上回る）。
• エラー分析: 誤りの 78% は「偽陽性（False Positives）」であり、その多くが「フィールドの混同」（例：総額と最大賞金額の混同）や「幻覚（Hallucination）」でした。
• 階層化の利点: 単純なスライドウィンドウ方式よりも、文書構造に基づいた階層的チャンキングの方が、関連情報の共起を維持し、精度向上に寄与しました。

5. 意義と結論 (Significance & Conclusion)

• 透明性と公平性の向上: 資金決定プロセスの「ブラックボックス」を解明し、ピアレビューやパネル選定におけるバイアス（性別、人種、機関の格差など）を、申請段階から最終決定まで一貫して分析することを可能にしました。
• 政策評価への寄与: 資金配分の戦略的管理や、研究政策の効果測定を、より包括的なデータに基づいて行えるようになります。
• 学術的・社会的インパクト: 英国の公的研究資金の透明性を高め、将来の研究や政策立案に対する批判的検証（Scrutiny）を支援します。また、データアクセスの障壁（特に Tableau による制限）が、CC BY-NC-SA ライセンスの精神に反しているという問題提起も行っています。

本論文は、単なるデータ集積にとどまらず、研究資金の公平性を検証するための重要なインフラを提供し、科学政策の透明化に大きく貢献するものです。