技術要約：マルチホップ質問回答のためのグラフとテキストの共進化メモリ

問題提起

マルチホップ質問回答（QA）には、複数の推論ステップにわたって関係性とテキストの証拠を調整することが求められる。現在のパラダイムにおける根本的な限界は、テキストコーパス単体でも知識グラフ（KG）単体でも、非構造化されたコンテキストと構造化された関係性の両方を必要な形で提供できないことにある。標準的な検索拡張生成（RAG）パイプラインは、推論が展開される前にコンテキストを選択してしまうため、（例：文書内で発見された「架け橋となるエンティティ」に基づいた）中間的な発見に基づいて検索戦略を更新することができない。逆に、グラフ拡張型の手法は、多くの場合、事前に構築された、あるいは固定されたサブグラフに依存しており、推論中に修正することができないため、エンティティの見落とし、ノイズの多いエッジ、あるいは不完全なパスを招く。既存のシステムは、進化するテキストメモリ、あるいは固定されたグラフ構造のいずれか一方の推論状態を優先する傾向があり、同一の推論ループ内でグラフメモリとテキストコンテキストを統合することに失敗している。

手法：Co-E フレームワーク

著者らは、同期された双方向のグラフ・テキスト作業メモリを中心とした、トレーニング不要のシステムである Co-E (Co-Evolving) を提案している。このシステムは、学習（ファインチューニング）なしで動作し、各推論ステップ $t$ において進化する共有メモリオブジェクト $M(t) = (T(t), G(t))$ を利用する。

コアコンポーネント

1. 共有グラフ・テキストメモリ:

   • テキストメモリ ($T$): 抽出された証拠、中間的な部分回答、およびグラフのトリプルから派生した自然言語の記述を含む、質問に関連する自己完結型のスニペットを格納する。生の文書は、メモリに入る前に原子的なスニペットへとフィルタリングされる。
   • グラフメモリ ($G$): 2種類のトリプルを含む有向グラフである。
     • KBスキーマ・トリプル: 知識ベース（例：Freebase, Wikidata）から直接取得された標準的な関係。
     • オープン語彙トリプル: テキストメモリから自然言語ラベルを用いて抽出された関係であり、KGスキーマに存在しない事実を表現することを可能にする。
   • 能動的メンテナンス: グラフは単調に蓄積されるのではない。トリプル・プルーナー（削減器）が、無関係、冗長、または矛盾するエッジを削除し、同一のエンティティに解決されるノードは統合される。

2. 双方向同期サイクル:
   各ステップにおいて、Co-Eはメモリを共進化させるための4つの操作による同期サイクルを実行する：

   • テキストの集約 (Textual Consolidation): 重複するスニペットを重複排除し、補完的な証拠を統合し、現在のテキストメモリ $T(t)$ および新しいスニペット $S(t)$ から矛盾する予測を撤回する。
   • テキストからグラフへの伝播 (Text-to-Graph Propagation): 集約されたテキスト内のエンティティを特定し、それらをKB識別子にマッピングし、オープン語彙トリプルを抽出する。これらは $G(t)$ にマージされ、テキストによる発見に基づいて関係性のフロンティアを拡大させる。
   • グラフからテキストへの伝播 (Graph-to-Text Propagation): 生き残ったグラフのトリプルをテキスト化し、明示的な関係的記述として $T(t)$ に再注入する。これにより、生成器が自然言語としてグラフの制約に直接アクセスできるようになる。
   • テキストの再集約 (Textual Re-consolidation): 注入されたグラフの事実を調整するためにテキストメモリに対して再度パスを通し、次のステップのための整合性のある状態 $M(t+1)$ を生成する。

3. デュアルストリーム検索:

   • コーパス検索: 現在のメモリに基づいた検索クエリを生成し、テキストスニペットを検索する。
   • グラフ検索: 現在のメモリを使用して $k$-hop SPARQL クエリのシードを設定する。シードセットは、すでに $G(t)$ に存在するエンティティによって拡張され、これにより検索は固定された探索ではなく、メモリに基づいたものとなる。

4. 推論モード:

   • MCTS モード: モンテカルロ木探索（MCTS）を用いて、複数の推論の軌跡（部分的な質問、自己修正、合成）を探索する。検証器が候補となる状態をスコアリングし、そのフィードバックを用いて弱い枝を削減し、共有メモリを更新する。
   • CoT モード: 逐次的な思考の連鎖に従い、ツリー展開を行うことなく、各ステップで同じ同期演算を適用する。

主な貢献

• 同期された双方向メモリ: Co-Eは、テキストの証拠がグラフのフロンティアを拡張し、グラフの事実がテキストのコンテキストを再形成するという、テキストとグラフが互いに作用するメカニズムを導入しており、これにより、従来の単方向的なメモリシステムの限界に対処している。
• トレーニング不要のアーキテクチャ: 本システムは、バックボーンとなるLLMのファインチューニングなしで高い性能を実現しており、これは、抽出された証拠と構造化されたメモリの同期に依存している。
• 能動的なメモリメンテナンス: 単にコンテキストを蓄積するだけのシステムとは異なり、Co-Eは両方のモダリティにおいて、情報の削減、重複排除、および矛盾の調整を能動的に行うことで、ノイズや古い情報の蓄積を防いでいる。

実験結果

Co-Eは、Qwen3-8Bをバックボーンとして使用し、KGQA（WebQSP, CWQ）およびマルチホップ・テキストQA（2WikiMultiHopQA, HotpotQA, MuSiQue, Bamboogle）にわたる6つのベンチマークで評価された。

• KGQA の性能:
  • CWQ において、Co-E (MCTS) は 74.9 Hits@1 を達成し、訓練済みのシステムである RoG (62.6) や ReKG-MCT (59.8) を上回り、従来の最高水準のオープンソース・ベースラインである PoG (74.7) を超えた。
  • WebQSP において、Co-E (MCTS) は 85.5 Hits@1 に達し、強力なオープンソースの訓練済みベースライン（RoG および GNN-RAG の 85.7）に匹敵した。
• テキストQA の性能:
  • 2WikiMultiHopQA において、Co-E (MCTS) は 72.6 EM を達成し、同等のオープンバックボーンのベースライン（例：SubQRAG に対して +10.7）を大幅に上回った。
  • Bamboogle において、Co-E (MCTS) は 70.0 EM に達し、Search-R1 (43.2) や PAGER (62.4) を上回った。
  • MuSiQue において、Co-E (MCTS) は 52.5 EM を達成し、HopRAG-GPT-4o を 10.3 ポイント上回った。
• アブレーション研究:
  • 双方向の同期を取り除くと、性能が大幅に低下した（例：Bamboogle の MCTS EM が 70.0 から 61.1 に低下）。これは、両方の伝播方向が必要であることを裏付けている。
  • グラフまたはテキストメモリのいずれか一方を個別に削除すると性能が低下し、ペアとなったモダリティの必要性が示された。
  • 能動的なメンテナンス（削減/集約）は極めて重要であることが示された。これを行わない場合、性能は 49.5 EM まで低下した。

意義と主張

本論文は、グラフとテキストの共進化が、トレーニング不要のマルチホップ推論のための実用的なメカニズムであることを示していると主張している。著者らは、マルチホップQAにおける中心的な課題は、テキストの証拠と関係性の構造が動的に互いを修正し合う推論状態を維持することであると述べている。

主な主張は以下の通りである：

• 静的なグラフに対する優位性: Co-E は、事前に構築された、あるいは固定されたトピック中心のサブグラフに依存するシステムよりも、特に長い関係の連鎖を必要とするデータセット（CWQ, MuSiQue）において優れた性能を発揮する。これは、動的な関係状態を維持することが極めて重要であるためである。
• 訓練済みシステムとの競争力: トレーニング不要であり、8B パラメータのバックボーンを使用しているにもかかわらず、Co-E はより大規模な（例：32B, 70B）あるいは教師あり微調整されたシステムと競合、あるいはそれらを凌駕する。
• オープンドメイン設定における堅牢性: ストレス・テスト（トピック・サブグラフ・プロトコルを用いない完全な Wikidata を使用）において、Co-E は強い性能を維持し、CWQ の Hits@1 の低下はトピック・サブグラフ・プロトコルと比較してわずか 1.5 ポイントであった。
• 限界: 著者らは、Co-E が検索された証拠の質に制限されることを認めている。もしコーパスが一貫して誤った事実を支持している場合、同期によってそれを修正することはできない。さらに、エンティティ・リンキングの誤りや不完全な推論の連鎖も依然として課題である。

結論として、同期された作業メモリは、推論中にシステムがその関係状態を修正することを可能にし、複雑な推論タスクに対する、静的な検索や固定されたグラフ探索に代わる堅牢な選択肢を提供する。