SPIRE: 構造保存型解釈可能な証拠検索（SPIRE）の技術的概要

本論文は、半構造化データ（特に HTML）に対する検索拡張生成（RAG）における課題を解決し、文書構造を保持したまま高精度な証拠（citation）を抽出する新しいフレームワーク「SPIRE (Structure-Preserving Interpretable Retrieval of Evidence)」を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義

現在の RAG パイプラインは、HTML や技術マニュアルなどの半構造化ドキュメントを、埋め込みモデルや生成モデルが処理しやすい「平坦なテキストの連続（フラットなシーケンス）」に変換（リニアライズ）する段階で重大な欠陥を抱えています。

• 構造の喪失: ドキュメントを固定サイズのチャンクに分割する際、セクションの境界、見出しの階層、リスト、テーブル、ハイパーリンクなどの構造的意味が失われます。
• 解釈性の低下: 文脈を失った単一の文やテーブルセルを抽出すると、ユーザーにとって意味が不明瞭になります（例：リストの項目がリストのタイトルや他の項目なしで提示される）。
• 引用の困難さ: 構造的な文脈を欠いた証拠は、引用（citation）として提示された際に、その出所や文脈が不明確になり、信頼性が損なわれます。

既存の手法は、文書構造を「一次元」のテキスト列として扱うため、ドキュメント内の位置関係や構造的依存関係を推論することが困難です。

2. 提案手法：SPIRE

SPIRE は、ドキュメントを木構造（ツリー）として扱い、検索パイプライン全体で構造を「ファーストクラスのオブジェクト」として扱います。

2.1 中核となる概念

• パスアドレス可能なドキュメントモデル:
  • 各ノードに安定したパス（親から子へのインデックスのリスト）を割り当て、Doc 型として定義します。
  • 検索単位として「パスセット（Path Set）」を使用し、非連続な領域を単一の単位として扱います。
• サブドキュメント（Subdocument）:
  • 特定のパスセットに基づき、必要な構造的コンテキスト（祖先ノードや子孫ノード）を補完して生成される、Well-formed な部分木です。
  • 検索時には実際の木を生成せず、パスセットの操作のみを行い、最終的なレンダリングや埋め込み時にのみ「材料化（Materialization）」を行います。これにより計算コストを抑制し、柔軟性を保ちます。

2.2 2段階のコンテキスト化メカニズム

SPIRE は、解釈性を高めるために「グローバル」と「ローカル」の 2 種類のコンテキスト化を組み合わせています。

1. グローバル・コンテキスト化（Global Contextualization）:

   • 目的: 抽出されたノードが単独で意味をなすために必要な「非局所的な構造的足場」を追加します。
   • 実装: 文書タイトル、囲みセクションの見出し、リストの階層構造、テーブルの行/列ラベルなどを、選択されたパスに対して体系的に追加します。
   • 特徴: 構造化されたルール（HTML 固有のポリシー）に基づいて決定論的に実行され、埋め込み生成時に適用されます。これにより、埋め込みベクトルに「内容」と「構造的な位置」の両方がエンコードされます。

2. ローカル・コンテキスト化（Local Contextualization）:

   • 目的: 検索後の段階で、選択された文や節をその構造的な近隣（隣接する文、段落など）に拡張し、トークン予算内でコンパクトかつ文脈豊かなビューを生成します。
   • 実装: 文の完了、ブロックレベル要素の包含、ドキュメント順序に基づく近隣領域の拡張を行います。
   • フィルタリング: 拡張されたビューを LLM に提示し、クエリに関連する部分のみを抽出・再スコアリングする「コンテキストフィルタリング」段階を設けます。

2.3 検索パイプライン

1. インデックス作成: 文レベル（Sentence-level）をシードとしたサブドキュメントを、グローバル・コンテキストを付与した状態で埋め込みモデルに投入し、インデックス化します。
2. クエリ時検索: ユーザーのクエリを埋め込み、類似度が高い候補を取得します。
3. ドキュメント知覚集約（Document-aware Aggregation）: 同じドキュメントから複数の候補がヒットした場合、重複する構造的コンテキスト（タイトルや見出しなど）を 1 回だけコスト計算するようにパスセットを統合（マージ）し、予算内で効率的に証拠を収集します。
4. コンテキストフィルタリング: 集約された候補をローカル・コンテキストで拡張し、LLM を用いてクエリに直接関連する証拠のみを厳密に選別・再スコアリングします。

3. 主要な貢献

1. パスアドレス可能なドキュメントモデルの提案:
   • 木構造ドキュメントとシーケンスベースモデルの間の汎用的なインターフェースとして、パス、パスセット、サブドキュメント抽出、および 2 種類のコンテキスト化演算子を定義しました。
2. 構造認識型検索パイプラインの構築:
   • グローバル・コンテキスト化された文シードのサブドキュメントをインデックス化し、クエリ時にドキュメント単位で集約し、LLM ベースのフィルタリングによりコンパクトで引用可能な抜粋を生成するパイプラインを実装しました。
3. 実験的検証:
   • HTML 質問応答ベンチマーク（HotpotQA, ASQA）において、従来のフラットなチャンクベースの強力なベースライン（bge など）と比較し、固定トークン予算下でより高品質で多様な引用を生成できることを実証しました。

4. 実験結果

• 評価指標: LLM をジャッジとして用い、抽出された引用が質問の回答に役立つかどうか（Helpful）を評価しました。
• 結果の概要:
  • 埋め込み検索のみ: 従来のブロックレベル（bge）と比較して、SPIRE の文レベル検索は、同じ 1000 トークンの予算内でより多くの有益な引用を生成しました（例：HotpotQA で 2225 件 vs 1514 件）。引用あたりの品質（Helpful Ratio）も同等かそれ以上を維持しています。
  • コンテキストフィルタリングの有効性: 最終的な SPIRE パイプライン（埋め込み＋フィルタリング）は、引用の精度を劇的に向上させました。HotpotQA では Helpful Ratio が 0.215 から 0.655 へ、ASQA では 0.615 から 0.813 へと大幅に改善しました。
  • アブレーション研究: グローバル・コンテキスト化を無効化すると精度が低下し、文レベルではなくブロックレベルに戻すとカバレッジが低下することが確認されました。

5. 意義と結論

SPIRE は、RAG における「構造の保持」が単なるチャンキングの最適化を超えて、検索操作そのものを拡張する可能性を示しています。

• 解釈性と信頼性の向上: 構造的な文脈（見出し、リスト、テーブル構造）を保持することで、抽出された証拠が単独でも意味をなし、ユーザーに提示された際に明確な出所（Provenance）を示すことができます。
• 予算効率の最大化: 文レベルで細かく検索しつつ、グローバル・コンテキストを共有することで、重複コストを削減し、限られたトークン予算内でより多くの関連情報を提供できます。
• 将来の展望: このアプローチは、ドキュメント理解、情報検索、構造化データ処理の分野を融合させる基盤となり、構造化されたドキュメントを RAG パイプラインに統合するための原理的な枠組みを提供します。

要約すると、SPIRE は「ドキュメントを平坦なテキスト列として扱うのではなく、木構造として扱い、構造的な文脈を体系的に付与・管理することで、高精度かつ解釈可能な検索を実現する」画期的なフレームワークです。