技術要約：外部サブグラフ生成（SGR）によるLLMの段階的推論強化

問題定義

大規模言語モデル（LLM）は、自然言語生成や少数の例示学習（few-shot learning）において顕著な能力を示している。しかし、複雑で知識集約的な多段階推論タスクに適用される際、以下の決定的な限界に直面する：

1. 事実に基づいた根拠（Factual Grounding）の欠如： 出力が検証可能な外部の事実ではなく、暗黙的なパラメータ知識に依存する場合がある。
2. 論理的一貫性の欠如： 推論プロセスに欠陥や矛盾が生じることがある。
3. 解釈性の低さ： 内部の推論ステップがしばしば暗黙的であり、証拠を追跡したり、生成された回答の妥当性を検証したりすることが困難である。

従来の検索拡張生成（RAG）手法は、非構造化テキストのパッセージや緩やかに結合された事実に依存することが多く、マルチホップ推論に必要な厳密な関係依存性を保持できていない。知識グラフ（KG）は、明示的な推論のための構造化されたトリプルを提供するが、LLMを導くためのコンパクトでクエリに関連するグラフ証拠を動的に構築することは、依然として未解決の課題である。

手法：SGRフレームワーク

本論文では、クエリに関連するサブグラフを動的に生成することで、LLMを外部知識グラフと統合するフレームワークである**SGR（Stepwise Reasoning Enhancement：段階的推論強化）**を提案する。このフレームワークは、主に4つのステージで構成される。

1. 構造化サブグラフ生成

生のテキストを検索する代わりに、SGRは入力クエリ $q$ を構造化されたスキーマ $S_q = \{V_q, R_q, C_q\}$ に変換する：

• $V_q$: クエリから抽出されたリンクされたエンティティ。
• $R_q$: これらのエンティティを接続する候補リレーション。
• $C_q$: 制約（例：時間的、数値的、または型の制限）。

このスキーマを用いて、システムは外部KG（Neo4jに格納）からコンパクトなサブグラフ $G_q$ を抽出する。抽出プロセスは、シードエンティティから候補リレーションに沿って拡張され、無関係なパスを排除するために制約を厳格に適用する。これにより、クエリに関連するエンティティ・リレーションのパスのみを含む、高密度で証拠豊かなサブグラフが得られる。

2. 段階的推論強化

LLMは、$G_q$ に含まれる明示的な証拠に基づいて段階的に推論を行うよう誘導される。モデルは、直接回答を生成するのではなく、サブグラフを辿りながら、各ステップで証拠を選択して解釈可能な推論軌跡を構築する。サポートされていないステップは、フィルタリングされるか、低い信頼度スコアが割り当てられる。

3. 直接推論強化（Cypherベース）

強力な事実的根拠のベースラインを提供するため、SGRは生成されたスキーマ $S_q$ を実行可能な Cypherクエリ に変換する「Cypher LLM」モジュールを使用する。

• クエリはNeo4j内で実行され、グラフから直接候補回答 $A_c$ を取得する。
• これにより、自然言語による推論が記号的操作へと変換され、探索空間が絞り込まれ、回答がグラフ構造に基づいていることが保証される。
• その後、**回答検証（Answer Validation）**ステップが行われ、グラフの一貫性（$G_q$ における到達可能性）と意味的確信度（質問との適合性）に基づいて候補がスコアリングされる。

4. 協調的推論の統合

堅牢性を高めるため、SGRは複数の推論パス（Cypher由来のパスとLLM生成のパスの両方）からの回答を集約する。

• 各パス $p_i$ に対して、モデルの確信度 ($\rho_i$) とグラフの一貫性 ($\eta_i$) のバランスをとることで、信頼度スコア $\omega_i$ が算出される。
• 最終的な回答 $\hat{a}$ は、すべてのパスにおける支持を統合することで選択され、複数の高確信度かつグラフ一貫性のある軌跡によって支持されている回答が優先される。このメカニズムにより、ノイズの多い単一パスの予測が抑制される。

主な貢献

1. フレームワークの提案： 知識集約的な質問回答において、LLMを導くために外部サブグラフを動的に生成する段階的推論フレームワークであるSGRを導入した。
2. スキーマ誘導戦略： 孤立したテキスト検索を超え、コンパクトで構造化された証拠を抽出するための、エンティティ、リレーション、および制約を抽出する新しい手法を提示した。
3. 協調メカニズム： 直接的なCypherベースの推論とLLMベースの推論を組み合わせ、モデルの確信度とグラフの一貫性の両方に基づいて結果を検証・集約する設計を実現した。
4. 実証的検証： SGRが標準的なプロンプティングや既存の知識強化ベースラインに対して性能を向上させることを示す包括的な実験を行った。

実験結果

本フレームワークは、4つのベンチマークデータセット（CWQ, WebQSP, GrailQA, KQA Pro）で評価された。研究では、3つのバリアント（SGR/Cypher LLM, SGR/ChatGPT, SGR/GPT-4）を、標準的なプロンプティング（IO, CoT）およびStructGPTやTree-of-Graphsといったベースラインと比較した。

• 性能向上： SGRは標準的なプロンプティング手法を一貫して上回った。例えば、CWQにおいて、SGR/ChatGPTはHits@1を0.376（IO Prompt）から0.578へ、精度（accuracy）を0.526へと向上させた。
• SOTA（最先端）との比較： WebQSPにおいて、SGR/GPT-4は0.826 Hits@1および0.808 精度を達成し、最高のHits@1結果に並び、テストされた全手法の中で最高の精度を記録した。GrailQAでは、0.756 Hits@1および0.703 精度に達した。
• アブレーション研究： スキーマによる誘導またはNeo4jによる検索のいずれかを削除すると、大幅な性能低下を招いた。例えば、CWQにおいて、スキーマプロンプトを削除すると、SGR/ChatGPTのHits@1は0.578から0.400へと低下した。これにより、スキーマ誘導と外部グラフ検索の両方がフレームワークの有効性に極めて重要であることが確認された。

意義と主張

本論文は、SGRが明示的で検証可能な関係的証拠を提供することにより、LLMの推論における「ブラックボックス」的な性質に対処すると主張している。動的にサブグラフを生成することで、フレームワークは以下を実現する：

• パラメータメモリではなく構造化されたトリプルに推論を固定することで、**事実的根拠（factual grounding）**を向上させる。
• 推論パスをグラフを通じて追跡可能にすることで、**解釈性（interpretability）**を高める。
• 協調的統合を通じて**堅牢性（robust-ness）**を高め、サポートされていない回答やハルシネーション（幻覚）のリスクを軽減する。

著者らは、動的に生成された外部サブグラフが、複雑なマルチホップのシナリオにおいて、LLMベースの推論の正確性、堅牢性、および透明性を向上させるための、実行可能かつ効果的なメカニズムであると結論付けている。

限界

論文では以下の限界についても認めている：

• KGの品質への依存： パフォーマンスは、外部知識グラフの網羅性と正確性に左右される。事実の欠落やノイズは、誤った推論につながる可能性がある。
• 抽出エラー： エンティティリンキング、リレーション特定、またはスキーマ構築のエラーは、サブグラフの検索および最終的な回答に波及する可能性がある。
• サブグラフのサイズ： 最適なサブグラフサイズを決定することは困難である。小さなサブグラフは証拠を見逃す可能性があり、大きなものはノイズを導入する可能性がある。
• 計算コスト： スキーマ生成、Cypherクエリ、およびパス統合といった追加ステップにより、直接的なプロンプティングと比較して推論コストが増大する。