技術要約：RAGPPI – 創薬におけるタンパク質–タンパク質相互作用のための検索拡張生成ベンチマーク

1. 問題提起

創薬において、**ターゲット同定（Target Identification: Target ID）**は、治療効果をもたらすタンパク質–タンパク質相互作用（PPI）を特定する必要がある、極めて重要かつリソース集約的なフェーズである。具体的には、研究者は、標的タンパク質（TP）への薬物の結合が、初期タンパク質（IP）に対して及ぼす生物学的、機能的、または物理的な影響を判断しなければならない。ヒトプロテオームの膨大さ（数十億の候補が存在する）を考慮すると、これらの経路をマッピングするために文献を精査することは、低速かつ高コストである。

大規模言語モデル（LLM）や検索拡張生成（RAG）フレームワークは、PPIの影響を推論するためにこの領域に適用されているが、以下の重大な課題に直面している：

• ハルシネーション（幻覚）： LLMは、科学的事実に根ざしていない信頼性の低い結果を生成することが多い。
• 専門的なベンチマークの欠如： Target IDにおける科学的発見に求められる事実の正確性と推論の深さを、RAGシステムを評価するために特化した標準的なベンチマークは現在存在しない。既存のベンチマークは、妥当な生物学的推論に必要な多段階の推論チェーン（エンティティの特定 $\to$ メカニズムの解明 $\to$ 治療的影響）を十分に扱えていない。

2. 手法

著者らは、PPIの正確な生物学的影響を生成する能力を評価するために設計されたベンチマークであるRAGPPIを開発した。その手法は、主に以下の3つのフェーズで構成される。

A. 専門家主導のタスク定式化

ベンチマークが実世界のワークフローを反映することを保証するため、著者らは18名のドメインエキスパート（化学工学および創薬分野のPh.D.研究者を含む）へのインタビューを実施した。

• クエリ・テンプレート： エキスパートは、統一されたクエリである「抄録に基づき、[PPI]からどのような生物学的、機能的、または物理的な影響が生じるか？」を優先した。これにより、モデルに対し、相互作用パートナー、機能的メカニズム（例：阻害、活性化）、および治療的含意を合成することを強制させている。
• データソース： 本ベンチマークは、最も広く採用されているPPIデータセットであるBioGRIDを利用している。
• 層化： 汎用性を確保するため、データセットは文献頻度（高、中、低）およびPPIの種類（例：反応、結合、阻害）によって層化されており、癌やCOVID-19といった既知の疾患への偏りを防いでいる。

B. データセット構築

データセットは、品質と規模のバランスを取るために2段階で構築された：

1. ゴールドスタンダード・データセット（500組のQAペア）：
   • BioGRIDの抄録に基づき、GPT-4oを用いて生成。
   • 2段階のユーザー調査（予備調査および本調査）を通じて、エキスパートによる検証を実施。
   • エキスパートは回答を「Perfect（完璧）」、「Acceptable（許容可能）」、または「Inaccurate（不正確）」に分類した。「Perfect」と「Acceptable」は**Correct（正解）として統合され、「Inaccurate」はIncorrect（不正解）**となった。
   • エキスパートは、グラウンドトゥルース（正解）がモデルのバイアスではなく検証された知識を反映するように、非Perfectな回答の96.4%を修正した。
2. シルバースタンダード・データセット（3,720組のQAペア）：
   • さらなるエキスパートによるアノテーションを必要とせずに規模を拡大するため、著者らはアンサンブル自動評価LLMを開発した。
   • このアンサンブルは、エキスパートが導き出した特徴量に基づいて回答を評価する、3つの特化したサブモデル（すべてGPT-4oベース）で構成されている：
     • F1（平均類似度）： 回答の原子的な事実（atomic facts）とソースとなる抄録との間の平均コサイン類似度。
     • F2（低類似度の外れ値）： 抄録に対する類似度の閾値を下回る、回答内の原子的な事実の数。
     • M3（グローバルな意味的整合性）： 回答のグラウンドトゥルース・テキストとの整合性の評価。
   • アンサンブルは多数決を採用している。シルバー・データセットにおいて、回答がF1とF2の両方のサブモデルで正確であると判定された場合にのみ、グラウンドトゥルース（GT）として受け入れられた。これは、スタイルの類似性よりも事実への接地性を優先するためである。

C. 評価指標

本ベンチマークは、以下の指標を用いてモデルを評価する：

• 原子的な事実の類似度 (F1)： 原子的な事実の平均コサイン類似度。
• 低類似度の事実数 (F2)： ハルシネーションまたは根拠のない事実の数。
• 正確性 (Accuracy)： アンサンブルモデル（M1、M2、M3、および最終的なアンサンブル投票）によって決定される。

3. 主な貢献

1. エキスパートに根ざしたベンチマーク設計： 18名のエキスパートとのインタビューから導き出された、Target IDのための初の専用ベンチマークである。これは、多段階の推論（エンティティ $\to$ メカニズム $\to$ 影響）を要求し、PPIの種類と文献頻度のバランスをとった統一的なクエリ・テンプレートを確立している。
2. RAGPPIデータセット： PPIの生物学的影響に焦点を当てた、4,420組のQAペア（ゴールド500、シルバー3,720）からなる事実に基づくQAベンチマーク。
3. スケーラブルな自動評価手法： エキスパートのラベル付け特性（F1およびF2）を捉えるアンサンブルLLMフレームワークにより、継続的なエキスパートの関与なしに、大規模な「シルバー」データセットを93.71%の精度で自動的にラベル付けすることを可能にした。

4. 実験結果

著者らは、8つのシステム（一般的なLLM、オープンソースの生物医学系LLM、および様々なRAGアーキテクチャ）をRAGPPIを用いて評価した。

• コーパスの感受性： 著者らが精査した論文コーパスを使用したRAGモデルは、デフォルトのコーパスを使用したモデルを大幅に上回った。例えば、GraPPI（生物医学系RAGシステム）は、アンサンブル正確性がデフォルトのコーパスを用いた際の**13.44%から、精査されたコーパスを用いた際の74.80%**へと向上した。
• モデルの性能：
  • 精査されたコーパスを用いたGraPPIが、最高の全体性能（F1 = 0.76、アンサンブル正確性 = 74.80%）を達成し、ドメイン特化型モデルとドメイン特化型コーパスの相乗効果を実証した。
  • 検索を行わない一般的なLLM（例：GPT-4.1、Gemini）は、デフォルトのコーパスを持つRAGシステムよりも優れた性能を示す傾向があり、不適切な検索ソースが性能を低下させる可能性を示唆している。しかし、LLMは事実としては整合しているが不完全な（F1/F2は高いが、全容とのM3の整合性が低い）回答を生成する傾向があった。
• アンサンブルの有効性： 原子的な事実の検証と全体的な整合性を組み合わせたアンサンブル評価手法は、単に正しい結果を推測するモデルと、メカニズムを正しく合成できるモデルを区別するために必要であることが証明された。

5. 意義と主張

本論文は、RAGPPIがNLPおよび生物医学コミュニティにおける重要なギャップを埋めるものであると主張している。その意義は以下の通りである：

• 方法論的フレームワーク： 検索と生成の評価のバランスをとった、科学的発見のベンチマークを構築するための、堅牢でエキスパート主導のプロセスを提供すること。
• 実世界への適用可能性： 検索の質がTarget IDタスクにおける性能の主要な推進力であることを示し、生物医学RAGにおける専門的なコーパスの必要性を検証したこと。
• コミュニティのリソース： より信頼性が高く、ハルシネーションに強いターゲット同定のためのAIツールの開発を支援するために、公開可能なデータセットとコードを提供すること。

著者らは、データセットの静的な性質（科学的知見の経時的進化の欠如）、図表を含むフルテキストではなく抄録に依存している点、および500個のゴールドサンプルではすべての生物学的PPIの影響をカバーするには不十分である可能性などの限界を認め、控えめな立場をとっている。彼らは、RAGPPIを、科学的発見におけるより複雑なマルチホップ推論タスクへの基礎的な一歩として位置づけている。