Development of a European Union Time-Indexed Reference Dataset for Assessing the Performance of Signal Detection Methods in Pharmacovigilance using a Large Language Model

1. 背景と課題 (Problem)

医薬品安全性のシグナル検出において、統計的アラートの誤検知（偽陽性）は依然として大きな課題です。より効果的な検出手法を開発・評価するためには、確立された因果関係を持つ「真の陽性（True Positives）」を含む信頼性の高い参照データセットが不可欠です。しかし、既存のデータセットには以下の重大な限界がありました。

• 時間情報の欠如: 既存のデータセットは、有害事象（AE）が規制当局によって公式に承認された「時期」を記録していません。
• 評価の偏り: 承認後のデータを含めて分析すると、手法が「既知の関連性を確認する能力」を測ることになり、「新規シグナルを検出する能力」を評価できなくなります。
• 範囲と鮮度の制限: 既存のデータセットは規模が小さかったり、古かったり、特定の地域（例：米国）に限定されていたりします。

EU における中央承認医薬品の製品特性要約書（SmPC）の履歴はアーカイブされていますが、これを体系的に抽出し、時系列でインデックス化した公開データセットは存在しませんでした。

2. 研究方法 (Methodology)

本研究は、EU 医薬品連合登録データベースからすべての中央承認医薬品（CAPs）の SmPC を収集し、大規模言語モデル（LLM）を活用して構造化データを作成するパイプラインを開発しました。

• データソース:
  • 2025 年 12 月 15 日時点で登録されている 1,513 種類の CAPs の現在および過去の SmPC 全バージョン（合計 17,763 版）。
  • 対象期間：1995 年〜2025 年。
• 抽出プロセス:
  • PDF 解析: SmPC の第 4.8 節（望ましくない効果）を PDF から抽出。
  • LLM による AE 抽出: DeepSeek V3（MoE 構造、6710 億パラメータ）を使用し、非構造化テキストから有害事象を抽出。温度パラメータを 0.0 に設定し、再現性を確保。
  • メタデータ抽出: 欧州委員会ウェブページから、承認番号、承認日、PRAC 会議日、手続きタイプなどの規制メタデータを自動抽出。
• 標準化とマッピング:
  • 抽出された AE 用語を MedDRA v28 用語にマッピング。
  • 2段階マッピング戦略: 1) 完全一致（Exact Match）、2) 失敗した場合、LLM が予測したシステム臓器クラス（SOC）を基に候補を絞り込み、最適な PT（Preferred Term）を特定。
  • 多軸構造（1 つの用語が複数の SOC に属する場合）は、ファイル順序に基づいて単一の SOC に解決（限界として記載）。
• 検証:
  • 抽出されたすべての AE、INN、ブランド名について、2 名の研究者による手動検証を実施。
  • 規制メタデータもソースと照合。
• 技術スタック: Python (3.2), R, Google Colab, DeepSeek API, pdfplumber など。

3. 主要な貢献 (Key Contributions)

本研究は、ファーマコビジランス分野において以下の 4 つの要件を初めて同時に満たすデータセットを提供しました。

1. 包括的なカバレッジ: EU 内のすべての中央承認医薬品（CAPs）を網羅。
2. 動的かつ更新可能なアーキテクチャ: 医薬品の安全性プロファイルの進化を反映。
3. 正確な時系列インデックス: 各薬物 - 有害事象ペアを、規制基準となる日付（SmPC への追加日）に正確に紐付け。これにより、「承認前」と「承認後」の分析を厳密に区別可能に。
4. 完全な用語標準化とメタデータ: MedDRA と ATC 分類による標準化に加え、規制手続きに関する詳細なメタデータを付与。

これは、米国の PVLens イニシアチブに相当する EU 版の参照データセットとして機能します。

4. 結果 (Results)

• データ規模:
  • 処理済みデータセット（現在承認中の CAPs）：1,479 製品、110,823 件の薬物 - 事象ペア。
  • 時系列範囲：1995 年〜2025 年（30 年）。
• 発見時期の分布:
  • 事前承認（臨床試験）：74.5%
  • 事後承認（市販後調査）：25.5%
  • 事後承認での AE 追加は 2012 年（PRAC 設立年）にピークを迎え、その後は安定。
• 安全性プロファイルの特性:
  • 最も頻繁に報告された SOC は「消化器系」「皮膚および皮下組織」「神経系」の障害。
  • 小分子医薬品 vs 生物学的製剤/標的療法: 小分子は消化器系・精神系障害が多く、生物学的製剤は感染症・皮膚障害の割合が高いなど、明確な「安全性の指紋」の違いが確認された。
  • 製品固有の AE は 21.7% 存在し、特定のシグナル検出に有用。
• 精度:
  • LLM による AE 抽出の精度：95.1%（欠落が主なエラー要因）。
  • MedDRA マッピングの成功率：95.7%（完全一致 73.5% + SOC 絞り込みマッチング 22.2%）。
  • 未マッピングは 0.5% 未満。

5. 意義と結論 (Significance & Conclusion)

• シグナル検出手法の厳密な評価: 本データセットを用いることで、シグナル検出アルゴリズムが「既知の事象」ではなく「新規シグナル」をどの時期に検出できたかを正確に評価できるようになります。
• 方法論的比較の促進: 異なる解析手法間の一貫したベンチマーキングを可能にし、EU における安全性監視の質向上に寄与します。
• 将来展望: 本データセットは、米国 FDA のデータ（PVLens など）との統合や、ハイブリッドな抽出手法（LLM とルールベースの組み合わせ）の開発基盤としても機能します。

結論として:
本研究は、EU における中央承認医薬品を対象とした、包括的かつ時系列インデックス付きの参照データセットを初めて構築しました。これにより、医薬品安全性監視におけるシグナル検出手法のベンチマーキング戦略を強化し、より早期かつ正確な安全性シグナルの検出を支援する重要な基盤が整いました。すべてのコードとデータは GitHub で公開されており、研究の再現性と拡張性が保証されています。