MARS: Multi-hop Adaptive Retrieval and SPARQL Generation for KGQA

MARS: 多段階適応型リトリーバルおよびSPARQL生成によるKGQAの技術要約

問題提起
大規模言語モデル（LLM）は強力な推論能力を示す一方で、最新かつ根拠に基づいた情報を必要とする知識集約的なタスクにおいて、ハルシネーション（幻覚）や事実との不整合に苦しむ。Retrieval-Augmented Generation（RAG）はこの問題を軽減するが、テキストベースのRAGは、関係構造がテキスト内に暗黙的にしか表現されていないため、複雑なマルチホップ推論に苦慮する。対照的に、既存の知識グラフ質問応答（KGQA）のアプローチには、以下のような重大なトレードオフが存在する：

• 事実リトリーバル手法： LLMの推論のためにサブグラフをリトリーブする手法は、関連性の高い大規模なサブグラフを扱う際、コンテキストウィンドウの制限を超えることが多い。
• ファインチューニングされたQuestion-SPARQLモデル： 学習データの範囲と多様性に制限される。
• エージェント指向のアプローチ： 反復的なグラフ探索をLLMに依存するため、各ステップにおけるエラーの伝播やハルシネーションに対して脆弱である。
• 再現性の課題： ベンチマークデータセットが、作成時に使用された特定の知識グラフ（KG）のバージョンなしで公開されていたり、必要なカバレッジを欠くバージョンであったりすることが多い。

手法：MARSパイプライン
MARSは、パターンベースのグラフリトリーバルとコンテキスト拡張された知識を組み合わせ、実行可能なSPARQLクエリを生成する、スケーラブルでファインチューニングを必要としないアプローチである。これは、クエリが生成されるか、あるいはマルチホップの上限に達するまで、コンテキストを反復的に洗練させる構造化された3段階のパイプラインを通じて動作する。

1. エンティティリンキングとテキスト拡張：
   システムはまず、GRASPに基づくパイプラインを使用して、入力質問からエンティティを抽出する。グラフの探索と非英語クエリをサポートするために、多言語LLMを用いた翻訳と、予測されたエンティティ・タイプ・ラベルを組み込んだ拡張テキスト（$q_{aug}^{text}$）を生成する指示チューニング済みLLMを採用している。このハイブリッド戦略は、エンティティリンキングのための翻訳を活用しつつ、元のクエリのセマンティックな構造を保持する。

2. パターンリトリーバルとフィルタリング：
   生のトリプルや完全なサブグラフをリトリーブする代わりに、MARSはトリプルパターン（述語、エンティティ、プレースホルダー）をリトリーブする。

• パターンの定義： パターンは、抽出されたエンティティに基づき $(s, p, \_)$ または $(\_, p, o)$ として定義される。
• 言語化（Verbalization）： パターンは自然言語文字列（例：「entity predicate ?object」）に変換される。
• セマンティック・ランキング： 言語化されたパターンは埋め込み（embedding）され、入力質問とのセマンティックな類似度によってランク付けされる。上位$N$個のパターンが選択される。
• エンリッチメント： 選択されたパターンには、インスタンス数、インスタンス・ラベル（コスト削減のため一部に限定）、および類型情報（KGスキーマにおけるドメインおよびレンジの制約）が付加される。

3. 反復的推論とSPARQL生成：
   LLM（SPARQL推論器として機能）は、元の質問とエンリッチされたパターン・コンテキストを受け取る。

• 決定ループ： モデルは、現在のコンテキストが最終的なSPARQLクエリ（$q_{sparql}$）を生成するのに十分かどうかを判断する。
• 適応型トラバーサル： コンテキストが不十分な場合、モデルは特定のパターンを選択して拡張を行う。システムはこれらのパターンからエンティティを抽出し、それらを新しい開始点として扱い、次のホップの情報を集めるためにパターンリトリーバルのプロセスを繰り返す。
• 終了： クエリが生成されるか、あらかじめ定義されたマルチホップ上限（$m_{hop}$）に達するまで、このループは継続される。

主な貢献

1. パターンベースのリトリーバル： 生のサブグラフを操作するのではなく、トリプルパターンをフィルタリングおよびランク付けすることで、LLMのコンテキストサイズを抑制し、次のホップの事実を反復的に推論に取り込む手法。
2. ハイブリッド多言語セットアップ： 機械翻訳とネイティブ言語のテキストおよびエンティティ・タイプ拡張を組み合わせ、3つのベンチマークデータセットにわたって10言語（4つの低リソース言語を含む）をサポートするフレームワーク。
3. 包括的な評価と分析： 具体的な例、類型情報、検証などの機能および構成に関する詳細なアブレーション研究、ならびに詳細なエラー分析。
4. 再現性： ベンチマークにおけるKGバージョンのドリフトという一般的な問題に対処するため、評価に使用されたWikidataのスナップショット、更新されたデータセット、およびオープンウェイトLLMを用いたコードを公開すること。

実験結果
MARSは、LC-QuAD2.0（大規模英語）、QALD-9-plus（多言語）、QALD-10（複雑なマルチホップクエリ）の3つのベンチマークで評価された。

• パフォーマンス： MARSは、すべてのデータセットにおいて競争力のある、あるいは最先端（SOTA）のMacro F1スコアを達成した。特に、非常に複雑なQALD-10ベンチマーク（約29%のクエリがマルチホップ推論を必要とする）において、MARSは評価された4つのすべての言語において、エージェント型システムであるGRASPを含むすべてのベースラインを上回った。
• ベースラインとの比較： MARSは、14件の直接比較のうち8件において、ファインチューニングされたモデル（DeepPavlov, UniQ-Gen, MST5）およびエージェント型ベースラインであるGRASPを上回った。この結果は、マルチホップの質問に対しては、動的なツール選択エージェントよりも、固定されたプランニング指向のパイプラインの方が効果的であることを示唆している。
• アブレーションによる洞察：
  • 具体的な例： リトリーバルされたパターンから具体的なインスタンス例を提供することは、パフォーマンスを大幅に向上させた。
  • 検証： 生成されたSPARQLクエリを検証し更新するための第2パス（二段階目の処理）は、実質的な利得をもたらした。
  • 構成： 最適な構成は、推論コストと精度のバランスをとるために、トップ$N=20$のパターンとマルチホップ上限10を用いたGPT-OSSであった。

意義と限界
本論文は、決定論的でパターン誘導型の抽象化ループが、ハルシネーションのリスクを軽減し、より予測可能なリトリーバル深度を提供することで、マルチホップKGQAにおいて完全にエージェント的なアプローチよりも優れた性能を発揮できることを示している。このアプローチは、データセット固有のファインチューニングを行うことなく、構造化されたリトリーバルによって導かれたオープンウェイトLLMの推論能力を利用することで、高いパフォーマンスを実現している。

著者らは以下の特定の限界を認めている：

• 技術的制約： エラーは主に、結果の切り捨て（1,0容件でのキャップ）、ブール値または集計プロジェクション（ASK, COUNT）の欠落、および過度に慎重なリテラル生成に起因する。
• スケーラビリティ： 大規模なKG（Wikidataなど）における高次ノードのパターンリトリーバルには、効率的な結合（join）のために専門的なトリプルストア（例：Tentris）が必要となる。
• ベンチマークのカバレッジ： 評価はWikidataベースのベンチマークに限定されており、FreebaseやDBpediaへの拡張は今後の課題である。
• 再現性の基準： F1スコアは、分母の定義（予測セット、完全一致、または構成要素）が異なるため、異なる論文間で直接比較できないことを強調しており、統一されたプロトコルの下ですべてのベースラインを再評価する必要がある。

結論として、MARSは完璧な解決策ではないものの、特に複雑なマルチホップ推論タスクにおいて、現在のファインチューニングされたシステムやエージェント型KGQAシステムに代わる、堅牢で再現可能かつ効率的な選択肢を提供するものである。