RELOOP: 異種 QA 向け再帰的検索と多段推論・プランナーの技術概要

本論文は、RELOOP（Recursive Retrieval with Multi-Hop Reasoner and Planners for Heterogeneous QA）と名付けられた、構造化された再帰的検索フレームワークを提案しています。これは、テキスト、表、知識グラフ（KG）といった異種データソースを横断する多段推論質問応答（QA）タスクにおいて、既存の RAG（Retrieval-Augmented Generation）システムが抱える課題を解決するために設計されました。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と課題（Problem）

大規模言語モデル（LLM）は外部知識に基づく RAG によって精度向上を図っていますが、多段推論（Multi-hop reasoning）や異種データソースを扱う際、以下の 3 つの主要な課題に直面しています。

1. 単一パス検索の網羅性不足（Coverage in Single-pass Retrievers）:
   • 従来の「検索→生成」の単一パス方式では、密な検索器が文脈の断片化を引き起こしたり、長いドキュメントの論理的な連鎖（パス）を追跡できず、必要な証拠の完全な連鎖を特定できない。
2. 制御されない反復と遅延（Uncontrolled iteration and latency）:
   • 自律エージェント（Multi-agent）による多段推論は、探索空間が爆発し、不要な Web/ファイル呼び出しや冗長な思考連鎖（Chain-of-Thought）により、トークンコストやレイテンシが予測不可能になる。終了条件がヒューリスティックであり、予算（リソース）と実際の証拠収集が乖離しやすい。
3. フォーマット間の異種性（Heterogeneity across formats）:
   • 自由テキスト、関係性表、知識グラフは、それぞれ異なるインデックス、検索器、プロンプト設計を必要とし、ポリシーの再利用やトレーニングを複雑にする。既存の手法は表現の整合性が弱いか、可逆性の欠如により出所（Provenance）の追跡や忠実な再構成が困難である。

2. 手法：RELOOP のアーキテクチャ（Methodology）

RELOOP は、異種データを「階層的シーケンス（HSEQ）」に変換し、ガイドされた予算意識型の反復プロセスとして検索を再定義します。

2.1 階層的シーケンス（HSEQ）による統一表現

異種データソース（テキスト、表、KG）を、LLM がネイティブに扱える単一の階層的シーケンスに変換するアダプター（HSEQ-Adapter）を導入します。

• 可逆性: 軽量な構造タグ（親/子関係、オフセット、座標、最小限のスキーマ/時刻タグ）を用いて、元のドキュメント構造を可逆的に線形化します。
• セグメント構造: 各セグメント $s$ は (id, level, parent, content, metadata) として表現され、テキストの文/段落、表の行/セル、KG のトリプルを統一的に扱います。
• 利点: 単一のパーサーで異種フォーマットを扱い、構造を維持したまま出所（Provenance）を保持します。

2.2 ガイドされた予算意識型反復（Guided, Budget-aware Iteration）

検索を、明確な「十分性（Sufficiency）」基準に基づいた短い反復ステップとして実行します。

• Head Agent (RELOOP-H): 質問を分析し、探索の方向性を示す「ガイドプラン（Guidance）」を生成します。どの領域を先に探査するか、いつ停止すべきかを示すソフトな事前分布（Soft Prior）を提供します。
• Iteration Agent (RELOOP-I): 学習されたポリシー（$\pi_\theta$）により、HSEQ 上のセグメントを選択・拡張します。
  • 構造尊重アクション: 親/子へのホップ、表の行/列の隣接、KG の関係ホップなど、データ構造に即した操作を行います。
  • ウィンドウ制御: 予算（トークン、ステップ数）内で候補セグメントのウィンドウを維持し、不要な探索を抑制します。
  • 十分性予測: 各ステップで、収集した証拠が回答に十分かどうかを予測し、予算が尽きるか十分と判断されるまで反復を継続します。

2.3 証拠の正規化と回答合成（Canonicalization & Synthesis）

• Canonicalizer ($\kappa$): 選択された証拠セットを、出所（ID、レベル、オフセット/座標、スニペット）を保持したコンパクトなパッケージに変換します。
• Head Module: 正規化された証拠に基づき最終回答を生成します。
• 検証と改善: 矛盾が検出された場合、オプションで短い改善ループ（Refinement loop）を実行し、ガイドを強化して再検索を行います。

3. 主要な貢献（Key Contributions）

1. 統一された可逆的構造化パース（Unified, Reversible Structured Parsing）:
   • テキスト、表、KG を軽量構造と出所情報を持つ単一の階層的シーケンス（HSEQ）に標準化し、単一のパーサーとポリシーで異種フォーマットを横断的に操作可能にしました。
2. ガイドされた予算意識型反復（Guided, Budget-aware Iteration）:
   • 明示的な十分性シグナルと学習された選択ポリシーにより、計算リソースを実際に検査された証拠に集中させます。トークン/ツール予算下で予測可能なレイテンシを実現し、不要なホップを削減します。
3. 信頼性の高い QA ための証拠正規化（Canonicalized Evidence for Reliable QA）:
   • 出所を保持したコンパクトな証拠パッケージを提供することで、回答の合成精度と監査可能性（Auditability）を向上させ、矛盾検出に基づく改善ループを可能にします。

4. 実験結果（Results）

HotpotQA（テキスト）、HybridQA/TAT-QA（表＋テキスト）、MetaQA（KG）の 3 つの異種ベンチマークで評価されました。

• 精度の向上:
  • 強力な単一パス RAG ベースラインや、他のマルチホップ/エージェント型 RAG 手法（GraphRAG, ToG, AdaptiveRAG など）と比較して、一貫して EM（Exact Match）および F1 スコアが向上しました。
  • 特に MetaQA（2 ホップ、3 ホップ）では、RELOOP の最適設定がすべてのベースラインを大幅に上回りました（例：MetaQA-2hop で 95.9% 精度）。
• 効率性（Efficiency）:
  • レイテンシとステップ数: 多段推論に特化した「Think on Graph (ToG)」などの手法は平均 11〜17 ステップ、2 万 ms 以上のレイテンシを要しますが、RELOOP は 3〜5 ステップ、6,000〜10,000 ms 程度に抑えつつ同程度の精度を達成しました。
  • トレードオフの制御: 精度重視のモデルペア（Qwen + Falcon-H1）と、低遅延重視の軽量ペア（Llama/Falcon small）の選択により、精度とコストのバランスを柔軟に調整可能です。
• アブレーション研究:
  • 微調整（SFT）なし、ガイドなし、ヒューリスティックのみなどの条件で性能が低下することから、HSEQ 構造、微調整された反復エージェント、ガイドプランのすべてが重要であることが示されました。

5. 意義と結論（Significance）

RELOOP は、従来の「単発検索」や「制御不能なエージェントループ」の中間に位置する、構造化されたガイド反復という新しいパラダイムを提示しています。

• フォーマット非依存性: テキスト、表、KG を区別せず、単一のポリシーで処理できるため、システム設計とデプロイが簡素化されます。
• リソース最適化: 予算（トークン、時間）を明示的に管理し、必要な証拠のみを収集するため、LLM の推論コストを大幅に削減しながら精度を維持します。
• 信頼性と監査可能性: 証拠の出所を保持した正規化パッケージにより、回答の根拠を明確に追跡でき、矛盾を検出して改善する仕組みを提供します。

本論文は、異種データソースを扱う QA タスクにおいて、精度、効率、信頼性を同時に達成するための実用的かつ堅牢なフレームワークとして、今後の RAG システム設計に重要な指針を与えるものです。