技術概要：GRASP（Graph Agentic Search over Propositions）

問題定義

マルチホップ質問応答（QA）では、モデルが意味的類似性だけでは解決できない依存関係を解消するために、証拠を反復的に収集する必要があります。最近のエージェント型検索システムは、言語モデル（LLM）に検索と推論の自律性を付与することで精度を向上させていますが、重要なボトルネックに直面しています：トークン効率です。

既存のグラフベースのアプローチ（HippoRAG や GeAR など）は、関係性トリプル（主語 - 関係 - 目的語）から構築された知識グラフ（KG）を利用して構造化されたトラバースを可能にします。しかし、これには大きなコストが伴います：

1. インデックス作成コスト：トリプルベースの KG の抽出と構築は計算コストが高く、しばしば信頼性が低く、場合によってはナイーブな RAG よりも検索品質を低下させます。
2. 推論コスト：エージェント型システムは、LLM 呼び出しの繰り返し、コンテキストウィンドウの拡大、並列エージェントによる冗長なトラバースにより、トークン使用量が累積的に増加する傾向があります。

現在の手法は、インデックス作成フェーズと推論フェーズの両方において、高精度と最小限のトークン使用量を同時に最適化できていません。

手法：GRASP

著者は、QA の精度とトークン効率の両方を最適化するように設計されたエージェント型検索システムGRASP（Propositions 上のグラフエージェント型検索）を提案します。GRASP は以下の 3 つの中核コンポーネントを通じて動作します：

1. 3 層階層グラフ構築

トリプルベースの KG とは異なり、GRASP は $G = (V_E, V_P, V_D, E)$ という 3 つの明確な層を持つグラフを構築します：

• エンティティ層（$V_E$）：テキストから抽出されたタイプ付けされたエンティティ（例：「人物」、「場所」）。これらはトラバースのためのターゲットとなるゲートウェイとして機能します。
• 命題層（$V_P$）：中核となる検索単位。原子トリプルの代わりに、システムは原子性を持ち、自己完結型の自然言語命題（例：「1678 年にイースター・ヘアが南西ドイツで記録された」）を抽出します。
• パッセージ層（$V_D$）：構成する命題にリンクされた元のソースドキュメント。

抽出プロセス：エンティティと命題は、単一の LLM 呼び出しで共同して抽出されます。エンティティはインデックス参照を介して元の命題にリンクされ、グラフのエッジを形成します。これにより、コンテキストを関係性トリプルに損失を伴う圧縮するのを回避します。

2. プランニングベースの推論パイプライン

GRASP は、複雑なマルチホップ質問を依存関係を認識した計画に分解します：

• プランナー：モジュールが自然言語の推論概要と、順序付けられたサブ質問のシーケンスを生成します。重要なのは、MuSiQue などのデータセットの依存構造を反映し、以前のサブ質問からの回答を明示的に参照するために、数値プレースホルダー（例：#1）を使用することです。
• サブエージェント実行：各サブ質問は独立したサブエージェントによって処理されます。エージェントは完全な会話履歴ではなく、**コンパクトな観測状態（$O_i$）**を維持し、コンテキストの成長を制限します。
  • ハイブリッド検索：エージェントはサブ質問を宣言的な検索文とキーワードリストに再定式化し、命題層に対してハイブリッド検索（密ベクトル + BM25）を実行して候補エンティティを检索します。
  • RankVote スコアリング：検索された命題は候補エンティティに集約されます。パッセージ検索において、システムはRankVoteを使用します。これは、構成命題の順位に基づいてパッセージをスコアリングする相互順位投票メカニズムであり、非常に関連性の高いコンテキストを優先します。
  • 反復的改善：エージェントは証拠が十分かどうかを評価します。不十分な場合、検索文を書き換えてトラバースを再開します（上限まで）。これにより、証拠の冗長な再読み込みを回避します。

3. 成功経済性メトリック

論文は、効率性を評価するために情報理論に触発されたメトリック**成功経済性（$C_w$）**を導入します。これは、難易度で重み付けされた正解に対して総トークンコストを償却するものです：
$$C_w = \frac{\sum T_i}{\sum w_i \cdot \mathbb{1}[EM_i = 1]}$$
ここで、$w_i = -\log_2(r_i)$ は、ベース LLM を複数回プロンプトすることで推定される、正解の驚異（自己情報）です。これはトークンの無駄を罰し、困難な質問を効率的に解決することを報酬とします。

主要な貢献

1. GRASP システム：精度とトークン効率を同時に最適化するグラフ強化型エージェント検索システム。オープン検索設定と拡張コンテキスト設定の両方において競争力のある評価を行いました。
2. 命題ベースのインデックス作成：命題を中核検索単位として使用する新規の 3 層階層グラフ。著者は、トリプルベースのグラフ（HippoRAG2）よりも高いパッセージリコールを達成しながら、インデックス作成トークンを 69% 削減していることを実証しました。
3. 区画化された推論：コンテキストをホップ間および個々のエージェント実行内で区画化する、独立したサブエージェントを備えたプランニングベースのパイプライン。これにより、無制限のコンテキスト成長を防ぎます。
4. 成功経済性：エージェント型 QA における効率性を意識した評価を提唱する新しい評価メトリック。精度のみを基準としたベンチマークを超えたアプローチです。

実験結果

GRASP は、以下の 2 つの設定でMuSiQue、2WikiMultihopQA、HotpotQA上で評価されました：

オープンコーパス検索設定

• 性能：GRASP は MuSiQue および 2Wiki において、最高レベルの Exact Match（EM）、F1、および Judge スコアを達成し、IRCoT+HippoRAG2 を上回りました。
• 効率性：優れた精度を達成しながら、IRCoT+HippoRAG2 よりも40〜50% 少ないトークンを使用しました。HotpotQA では、IRCoT+HippoRAG2 がわずかに高い精度を示しましたが、それは2 倍以上のトークンコストを伴うものでした。
• 検索品質：シミュレートされたエージェント検索において、GRASP はリコール0.904を達成し、HippoRAG2 の0.817を上回りました。これは、命題が優れた検索単位であることを裏付けています。

拡張コンテキスト（LongBench）設定

• 性能：GRASP は 3 つのデータセットすべてで EM と F1 をリードしました。2Wiki では、約 70% のトークンコストで GraphReader よりも EM を12 ポイント向上させました。
• 効率性：GRASP は、次点の最も精度の高い手法（GraphReader）よりも30% 少ないトークンを使用しながら、競争力のある、あるいは優れた Judge スコアを維持しました。
• アブレーション：命題グラフまたはエンティティ選択層を除去すると、性能が大幅に低下するかトークン使用量が増加し、3 層構造の必要性が確認されました。

意義と主張

この論文は、GRASP がマルチホップ QA における精度とコストのトレードオフにおいてパレートフロンティアに位置すると主張しています。トークン効率を精度と並ぶ第一級の設計目標として扱うことで、GRASP は、推論の深さが通常、指数関数的なトークン増加につながるエージェント型システムにおける根本的な緊張関係に対処します。

著者は以下を強調しています：

• 命題はトリプルに優る：トリプル抽出で失われる意味的なニュアンスを保持し、埋め込みベースの検索にとってより判別性の高い単位として機能します。
• 構造化された分解が重要：プランニングベースの分解と構造化された検索（グラフ）を組み合わせることは、推論と検索を単に交互に行う（チェーン・オブ・ Thought と検索のインターリーブ）よりも効果的です。
• 効率性は標準的な要件：「成功経済性」の導入は、推論コストが推論の複雑さに直接比例して増大することを認識し、コミュニティが効率性を意識した評価を標準的な慣行として採用することを提唱しています。

この研究は、将来の改善は、教師あり微調整または強化学習を通じてプランナーの分解精度（現在は 3 ホップおよび 4 ホップ質問のボトルネック）を洗練させることに焦点を当てうることを示唆していますが、現在のアーキテクチャはすでに性能とコストのバランスにおいて大きな飛躍を実証しています。