Domain-Specific Knowledge Graphs in RAG-Enhanced Healthcare LLMs

テクニカル・サマリー：RAG強化型ヘルスケアLLMにおけるドメイン特化型知識グラフ

問題提起
大規模言語モデル（LLM）は流暢なテキスト生成には長けているが、ヘルスケア分野における信頼できるドメイン特化型の推論においては、しばしば事実の幻覚（ハルシネーション）や根拠のない引用の捏造に直面する。検索拡張生成（RAG）は外部知識に基づきLLMを接地させる標準的な解決策であるが、従来の自由形式のテキストの断片を検索するRAGシステムは、無関係または矛盾した情報を導入し、複雑なマルチホップ（多段階）の生物医学的質問に対する性能を低下させることがある。本研究では、構造化されたドメイン特化型の知識グラフ（KG）を用いることが、非構造化テキストや広範で無差別なグラフの結合よりも、RAGの性能をより効果的に向上させることができるかどうかを調査している。具体的には、疾患に焦点を絞った狭いグラフを構築することと、より広範なクロスドメインのグラフを構築することの間の緊張関係、およびこれらの設計上の選択がモデルのパラメータやデコーディング温度とどのように相互作用するかという点に取り組んでいる。

手法
著者らは、アルツハイマー病（AD）および2型糖尿病（T2DM）をテストベッドとして用い、KGの範囲がRAG強化型ヘルスケアLLMに与える影響を評価するためのパイプラインを構築した。

1. 知識グラフ（KG）の構築:

   • データソース: PubMedのアブストラクトを、因果関係、表現型、およびバイオマーカーの関連性に基づいてフィルタリングおよびランキングした。
   • パイプライン: 著者らはCoDe-KGパイプラインを利用・改良し、関係抽出を強化するためにそのコアファレンス（共参照）バックボーンをQwen 32Bに置き換えた。これにより、共参照解決が改善され（F1スコアが58%から61%に向上）、よりクリーンなノードとより利用可能な因果関係が確保された。
   • 作成されたグラフ: 以下の3つの異なるKGを構築した：
     • G1: T2DMに特化したもの。
     • G2: ADに特化したもの。
     • G3: ADとT2DMを統合したもの。
   • 処理: トリプル（三つ組）をクリーニングし、正規化（エンティティ名の正規化）を行い、明確な因果関係のみを保持するようにフィルタリングした。

2. プローブ（試験用問題）の設計:
   異なる推論能力をテストするために、2つのプローブセットを作成した：

   • プローブ1: G3（統合ドメイン）から派生した100個の多肢選択式問題。ADとT2DMの交差点におけるシングルホップ、マルチホップ、および穴埋め問題（FITB）の推論をテストする。
   • プローブ2: **G1とG2の積集合（$G1 \cap G2$）**から派生した問題。特に、両方の疾患ドメインにエビデンスが存在する事実（例：インスリンシグナル伝達や神経炎症などの共通メカニズム）を対象とする。

3. 実験設定:

   • モデル: サイズの異なる7つのインストラクションチューニング済みLLMをテストした。小規模なもの（Mistral-7B, Mixtral-8x7B）から大規模なもの（Llama-3.3-70B, Qwen-2.5-32B, GPT-OSS-20B, Anthropic Claude-3-Haiku）まで含む。
   • 検索構成: 6つの検索ソースを比較した：No-RAG、G1、G2、G1+G2、G3、およびG1+G2+G3。
   • ハイパーパラメータ: 安定性を評価するため、3つのデコーディング温度（0, 0.2, 0.5）にわたって実験を行った。
   • 指標: パフォーマンスは、Macro-F1、Micro-F1、およびAccuracy（正解率）を用いて測定し、統計的有意性はWelchのt検定およびHolm-Bonferroni補正を用いて検証した。

主な貢献

• KGの範囲に関する実証的評価: ヘルスケアRAGの設定における、疾患特化型の狭いKGと広範な統合KGの体系的な比較を提供した。
• パイプラインの改良: CoDe-KGパイプラインの共参照解決コンポーネントをアップグレード（Qwen 32Bを使用）することで、より高品質なグラフ抽出が可能であることを示した。
• プローブの生成: 特化したプローブ（統合型 vs 共通部分型）の作成により、検索範囲がいかにタスクの要件と一致するかを詳細に分析することを可能にした。
• モデルサイズとの相互作用: 構造化された検索にさらされた際の、小規模モデルと大規模モデルの間の明確な挙動の違いを明らかにし、「RAGは常にすべてのモデルサイズの恩恵を受ける」という仮説に疑問を投げかけた。

結果

1. スコープの一致が決定要因である: 最も重要な発見は、検索スコープはクエリのスコープと一致しなければならないということである。

   • プローブ1（統合ドメイン）: 無差別な結合（G1+G2+G3）は、しばしばディストラクター（妨害要素）を導入し、精度を低下させた。大規模モデル（例：Llama-3.3-70B）では、外部KGを追加するとNo-RAGベースラインよりも性能が低下する場合があり、これは強力なパラメトリックな事前知識がノイズの多いコンテキストによって乱されることを示唆している。
   • プローブ2（共通部分）: 精密でスコープが一致した検索（特にADに焦点を当てたグラフであるG2）が、最も一貫した向上をもたらした。小規模モデル（Mistral-7B, Mixtral-8x7B）において、G2はF1スコアを大幅に改善した（例：Mixtral-8x7Bは、プローブ1においてG2を使用することで0.80から0.89に向上した）。
   • 広範さによる負の影響: 広範な結合（G1+G2+G3）は、頻繁に「ディストラクター」（特定のクエリには関連するが、別の疾患には関連する事実）を導入し、特に中規模モデルにおいて精度と正解率を低下させた。

2. モデルの容量が重要である:

   • 大規模モデル: 多くの場合、No-RAGベースラインと同等またはそれを上回る性能を示し、これらのタスクに対して既に十分なパラメトリック知識を保持していることを示した。また、広範なグラフに含まれる「惜しい（near-miss）」ディストラクターの影響を受けやすい。
   • 小・中規模モデル: クリーンで適切にスコープされた検索（特にG2）から最も恩恵を受け、構造化された知識を使用して内部のトレーニングデータのギャップを埋めることができた。

3. 温度への感度: デコーディング温度は二次的な役割を果たした。温度を0から0.5に上げても性能が向上することは稀であり、特にプローブ1および非G1グラフにおいて、Macro-F1を低下させることが多かった。安定性のための安全なデフォルトとして、温度0が特定された。

4. フロンティアモデル vs ベースライン: フロンティアモデル（Gemini 2.5 Pro, ChatGPT 5）は、プローブ1において天井に近い性能（98-99%）を達成したが、より複雑なプローブ2では顕著な低下が見られた。これは、プ록ブが推論の深さを識別できる能力を持っていることを示している。

意義と主張
本論文は、ヘルスケアアプリケーションにおいては、「広範な結合」よりも「精度優先のスコープ一致型KG-RAG」が好ましいと結論付けている。著者らは、単に知識グラフを集約すればよいわけではなく、それがLLMを混乱させるノイズを導入することが多いと主張している。

• 実践的なガイドライン: チームは、特定の質問分布（例：共通部分のクエリにはG2を使用する）に一致するグラフを選択し、トピック外のパッセージを減衰させるためのランカーやフィルターを配備すべきである。
• モデルのサイズ: 検索の厳格さはモデルのサイズに合わせて調整されるべきである。小規模モデルにはクリーンで関連性の高いパッセージが必要であり、大規模モデルには、もっともらしいが無関係なディストラクターに惑わされないための、より厳格なフィルタリングが必要である。
• 限界: 著者らは、自らの知見がT2DMおよびADに特有のものであること、PubMedのアブストラクトに依存していること、およびKG構築プロセス（エンティティ正規化、関係フィルタリング）が結果の質を直接左右することを謙虚に述べている。また、ディストラクターの問題をさらに軽減できる可能性のある、高度なレキシカル・ニューラル混合検索や動的なリランキングといった高度な検索戦略については検討していないことも認めている。

最終的に、本研究は、ヘルスケアLLMにとって、検索されるコンテキストの「量」よりも「質」と「関連性」が極めて重要であることを示している。