Injecting Structured Biomedical Knowledge into Language Models: Continual Pretraining vs. GraphRAG

この論文「Injecting Structured Biomedical Knowledge into Language Models: Continual Pretraining vs. GraphRAG」は、大規模言語モデル（LLM）や事前学習済み言語モデル（PLM）に、構造化された生体医学知識（UMLS メタシソーラス）を注入する 2 つの異なる戦略を比較検討した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細な技術的サマリーを記述します。

1. 問題定義

生体医学分野における言語モデルの適用には、以下の課題が存在します。

• 知識の鮮度不足: モデルは静的なデータスナップショットで学習されるため、最新の知見を反映できません。
• ハルシネーション: 自信を持って誤った回答を生成する傾向があります。
• 説明可能性の欠如: 回答の根拠となる情報源を特定・検証することが困難です。
• 構造化関係の理解不足: 同義語、階層化、多段推論（multi-hop reasoning）などの構造的な関係性を、非構造化テキストのみから推論するのは不十分です。

既存のドメイン適応手法（生体医学テキストでの継続的学習など）は、知識をパラメータに暗黙的に埋め込むため、更新コストが高く、構造化された推論経路の可視化が難しいという限界があります。

2. 手法

本研究は、同じ知識源（UMLS-2024AA）から得られた知識を、2 つの補完的な戦略で注入し、その効果を比較しました。

A. 知識源の構築

• UMLS メタシソーラス（2024AA リリース）を基に、大規模な生体医学知識グラフを構築しました。
• 規模: 約 340 万の概念（Concepts）と 3,420 万の関係（Relations）。
• ストレージ: Neo4j グラフデータベースに格納し、効率的なクエリと GraphRAG への統合を可能にしました。
• テキスト化: グラフ構造を言語モデルが処理可能なテキスト形式に変換（Textualization）し、1 億トークンのコーパスを作成しました。これには、概念名、定義、および「(h, r, t)」形式のトリプル（例：「疾患 A は疾患 B の原因である」）が含まれます。

B. 戦略 1: 継続的事前学習（パラメトリック注入）

• 手法: 既存のモデル（BERT と BioBERT）の事前学習を再開し、上記の「UMLS 派生テキストコーパス」で Masked Language Modeling (MLM) を実行します。
• 目的: 知識をモデルのパラメータに直接埋め込み、推論時に常に利用可能にする。
• 生成モデル: BERTUMLS（BERT 派生）、BioBERTUMLS（BioBERT 派生）。

C. 戦略 2: GraphRAG（非パラメトリック注入）

• 手法: 推論時に外部知識グラフを参照する Retrieval-Augmented Generation (RAG) の実装。
• フロー:
  1. ユーザーの質問に対して、ベクトル類似性検索で関連するテキスト断片を取得。
  2. その断片をシードとして、Neo4j 上のグラフをトラバースし、関連する部分グラフ（サブグラフ）を抽出。
  3. 抽出された構造化情報をテキスト化（トリプル形式）し、プロンプトにコンテキストとして追加。
  4. LLaMA 3-8B が、このコンテキストに基づいて回答を生成。
• 特徴: モデルの再学習なしで知識を更新可能、推論経路の可視化が可能。

3. 主要な貢献

1. 大規模 UMLS 知識グラフの公開: 340 万概念・3420 万関係を含む Neo4j グラフを GitHub で公開し、再現性を確保。
2. パラメトリック vs 非パラメトリックの厳密な比較: 同じ知識源（UMLS）を用い、知識の「埋め込み（事前学習）」と「検索（推論時）」の 2 つのアプローチを対照的に評価した初の研究の一つ。
3. 生体医学 NLP タスクにおける包括的評価: BLURB ベンチマーク（6 データセット、5 タスクタイプ）および QA タスク（PubMedQA, BioASQ）での詳細な評価。

4. 実験結果

継続的事前学習の結果

• 一般ドメインモデル（BERT）への効果: BERTUMLS は、生体医学タスクの 6 つ中 5 つで BERT よりも性能を向上させました。特に知識集約型の QA タスク（PubMedQA: +4.5%, BioASQ: +7.6%）で顕著な改善が見られました。
• 専門ドメインモデル（BioBERT）への効果: BioBERTUMLS の結果は複雑でした。PubMedQA や BIOSSES では改善が見られましたが、BioASQ や DDI（薬剤相互作用）では性能が低下しました。
  • 考察: BioBERT は既に膨大な生体医学テキスト（約 45 億語）で学習されており、本研究の UMLS コーパス（約 1 億語）からの追加知識の限界効果（diminishing returns）が働いたためと考えられます。

GraphRAG の結果

• LLaMA 3-8B への効果: 再学習なしで、LLaMA 3-8B に GraphRAG を適用したところ、PubMedQA で 6.25%、BioASQ で 6.67% の精度向上を達成しました。
• 他モデルとの比較: GraphRAG 適用後の LLaMA は、BERTUMLS や BioBERTUMLS を上回る性能を示しました（BioASQ では BioBERT ベースラインをわずかに上回る 80.0% 達成）。
• 多段推論と説明可能性: 例として、「イブジラスタは多発性硬化症に有効か？」という質問に対し、単独の LLaMA は「No」と回答しましたが、GraphRAG を経由して「イブジラスタ→CTRP 用語→多発性硬化症」という多段のグラフ経路を提示されたことで、正解の「Yes」を導き出しました。

5. 意義と結論

本研究は、生体医学知識の注入において「パラメトリック（埋め込み）」と「非パラメトリック（検索）」のどちらが適しているかを文脈に応じて使い分けるべきであることを示唆しています。

• パラメトリック注入（継続的学習）: 汎用モデルにドメイン固有の基礎能力を付与し、計算コストを抑えて高性能なベースラインを構築する際に有効（特に一般モデル BERT に対して）。
• 非パラメトリック注入（GraphRAG）: 推論時の透明性（説明可能性）、多段推論のサポート、そして知識の迅速な更新（モデル再学習不要）が求められるタスクに最適。特に QA タスクにおいて、再学習なしで最先端の性能を達成しました。

結論: 生体医学 AI システムの構築においては、モデルにドメイン知識を「埋め込む」ことで基礎能力を高めつつ、推論時には「構造化グラフを参照する」ことで、正確性、説明可能性、および知識の鮮度を両立させるハイブリッドアプローチが最も効果的である可能性があります。