技術概要：半構造化知識を用いたマルチホップ QA 向け Autofocus 検索

問題定義

現実のシナリオでは、機械学習システムは構造化知識（例：知識グラフ、テーブル）と非構造化コンテンツ（例：自然言語ドキュメント）の両方にアクセスできることが多い。大規模言語モデル（LLM）はテキスト処理に優れているが、構造化データに対する正確な推論には苦しみ、幻覚（hallucinations）を起こしやすい傾向がある。既存の検索拡張生成（RAG）システムは、通常、非構造化データか構造化データのいずれかに依存しており、両者の相乗効果を十分に活用できていない。

半構造化知識ベース（SKB）は、非構造化ドキュメントを構造化グラフ内のノードにリンクさせることで、このギャップを埋める。しかし、SKB 上のマルチホップ質問に回答するには、グラフ構造に対する関係性推論と、関連テキストの文脈的解釈を同時に実行する必要がある。既存の手法は、特定の技術を個別に焦点化するか、ドメイン固有の微調整に大きく依存する傾向があり、汎用性とゼロショット性能を制限している。

手法：Autofocus-Retriever（AF-Retriever）

著者らは、SKB 上のマルチホップ質問に対する回答候補を検索し、ランク付けするためのモジュール式ゼロショットフレームワークである**Autofocus-Retriever（AF-Retriever）**を提案する。このシステムは、候補エンティティの「焦点」を反復的に調整する 8 段階のパイプラインを通じて動作し、ハイブリッドな神経記号アプローチを通じて精度と再現率のバランスを取る。

8 段階パイプライン

1. ターゲットタイプ予測: LLM が期待される回答のノードタイプ（例："paper"、"author"）を予測する。これは検索空間をフィルタリングする最初の焦点層として機能する。
2. Cypher クエリ抽出: LLM が自然言語の質問を Cypher クエリ（プロパティグラフクエリ言語）に変換する。このステップは、ベース LLM の本来的な能力を活用し、微調整を必要とせずに、関係性制約、定数、変数をエンコードする。
3. 正規表現による解析: 生成された Cypher クエリを、正規表現（regex）を使用して構造化形式（ターゲットタイプ、関係性トリプレット、ノード属性）に解析する。これにより、システムは特定の LLM 出力形式から切り離され、制御された下流処理が可能となる。
4. 記号候補の検索: トリプレット内の各定数（例："Miami Uni"）に対して、テキスト属性（名前/タイトル）に対するベクトル類似度検索（VSS）を用いて、候補ノードのセット（$l_{max}$）を検索する。変数にはハードフィルタ（例：出版年）が適用される。
5. 段階的範囲拡張（トリプレットグラウンディング）: これは新規の中核コンポーネントである。システムは、すべての候補を一度に検索するのではなく、各定数に対する候補セットを段階的に拡張する（$l=1$ から $l_{max}$ まで）。トリプレットをグラウンディングするために、グラフベースの経路探索（近傍の集合の共通部分）を実行する。このループは、$k$ 個の有効な回答候補が見つかるか、または制限に達するまで継続する。これにより、 specificity（偽陽性の最小化）と sensitivity（正しいエンティティの包含）が動的にバランスされる。
6. ハイブリッドベクトル類似度検索（グラフストランド）: グラフベースのグラウンディング（ステップ 5）から導出された候補を、元の質問クエリに基づいて VSS を用いて再ランク付けする。
7. ハイブリッドベクトル類似度検索（テキストストランド）: 別の VSS パスにより、グラフ制約とは独立して予測されたターゲットタイプに対する上位候補を検索する。これは、グラフ制約が過度に制限的である場合やグラフが不完全である場合のセーフティネットとして機能する。
8. LLM による再ランク付け: ステップ 6 と 7 から得られた候補の和集合をマージし、LLM によって再ランク付けする。本論文では 3 つの戦略を評価する：
   • ポイントワイズ: 各候補を個別にスコアリングする。
   • ペアワイズ: 候補をペアで比較する（バイナリ挿入ソート）。
   • リストワイズ: 単一のプロンプトですべての候補をランク付けする。
     システムは、不要な関係を剪定することでコンテキストウィンドウの制限に対処するメカニズムを含んでいる。

主要な貢献

• モジュラーなハイブリッドフレームワーク: AF-Retriever は、ベクトル検索、記号的グラフ探索、LLM 推論を、追跡可能な一貫したパイプラインに統合する。
• 段階的範囲拡張: グラフ探索中に定数に対する候補エンティティの数を動的に調整する新規手順であり、関係性制約を満たしつつ、管理可能な候補プールのサイズを維持する。
• ゼロショット能力: システムは、タスク固有のトレーニングや微調整なしに効果的に動作し、テキストから Cypher への翻訳や再ランク付けにはベース LLM の汎用能力に依存する。
• 包括的な再ランク付け分析: この研究は、SKB ベースの QA の文脈におけるポイントワイズ、ペアワイズ、リストワイズの再ランク付け戦略の理論的および実験的比較を提供する。
• 追跡可能性: トリプレットをグラウンディングし、構造化された検索ステップを使用することで、システムの回答はブラックボックスの LLM 生成よりも解釈可能となる。

実験結果

このシステムは、バイオメディカル、学術、e コマースのドメインにまたがるSTaRK ベンチマークスイート（PRIME、MAG、AMAZON データセット）で評価された。

• 性能: AF-Retriever は、ゼロショットおよびワンショット設定において、3 つの合成 STaRK ベンチマークすべてで最先端（SOTA）の結果を達成した。
  • 平均ファーストヒット率において、2 番目に優れたゼロショット手法を**32.1%**上回った。
  • MAGデータセットでは、2 番手（HybGRAG）を hit@1 で**20.2%**上回った。
  • AMAZONでは、2 番手（KAR）を hit@1 で**12.9%**上回った。
• 微調整済みシステムとの比較: AF-Retriever は一般的に他のゼロショット手法を上回るが、PRIME データセットでは微調整済みシステムであるGraphRAFTに劣った。著者らは、これがベース LLM における専門的な医療エンティティ認識の難しさを浮き彫りにしており、ここで教師あり学習が大きな利点を提供することを指摘している。
• アブレーション研究:
  • ハイブリッド検索戦略（グラフとベクトルストランドの組み合わせ）は、いずれかの単独戦略よりも著しく優れていた。
  • 再ランク付けステップは hit@1 および MRR を大幅に改善し、ペアワイズ再ランク付け戦略は、異なる LLM バックボーン全体で一般的に最高のファーストヒット率をもたらした。
  • 段階的範囲拡張（ステップ 5）は、再現率を確保しつつ精度を維持するために決定的であった。

意義と主張

本論文は、AF-Retriever が、半構造化知識に基づく信頼性が高く、透明性があり、高精度な質問応答に向けた重要な一歩を表すと主張している。その主な意義は、確立されたコンポーネント（VSS、グラフ探索）と新規の最適化（段階的範囲拡張、ハイブリッド検索）を慎重に編成されたパイプラインに統合することで、高価なドメイン固有の微調整を必要とせずに SOTA パフォーマンスを達成し得ることを実証している点にある。

著者らは、システムのモジュール性と追跡可能性が実世界での展開に不可欠であり、研究者やユーザーがパイプラインの特定部分を適応、最適化、または拡張することを可能にすると強調している。特定のコンポーネント（Cypher 生成など）の微調整がさらなる利益をもたらす可能性があることを認めつつも、この研究はゼロショット SKB QA に対する強力なベースラインを確立し、汎用性を犠牲にすることなく構造的およびテキスト的統合を通じて効果的なマルチホップ推論が達成可能であることを証明している。