論文「Don't Retrieve, Navigate: Distilling Enterprise Knowledge into Navigable Agent Skills for QA and RAG」の技術的サマリー

この論文は、従来の検索拡張生成（RAG）の限界を克服し、大規模言語モデル（LLM）エージェントが企業知識を「検索」するのではなく「ナビゲート」する新しいアプローチを提案するものです。著者らは、文書コーパスを階層的な「スキルディレクトリ」に変換し、エージェントがこれを探索して証拠を収集するフレームワークCORPUS2SKILLを開発しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

従来の RAG の限界

従来の RAG システムは、クエリをベクトル埋め込みし、類似する文書チャンクを「検索」して LLM に渡すという受動的なアプローチをとっています。これには以下の構造的な欠点があります。

• 文脈の欠如: LLM は検索結果の断片しか見ず、コーパス全体の構造や、検索されなかった領域について理解できません。
• 複雑なクエリへの対応不足: 単一の検索では得られない、複数のトピックにまたがる情報（例：「個人事業主から LLC への変更」には、アカウントタイプ、支払い設定、法的実体管理など複数のセクションが必要）を統合するのが困難です。
• アジェンティック RAG の課題: 既存のアジェンティック RAG は反復的な検索を行いますが、エージェントには「地図」がなく、効果的な検索語を推測するだけで、体系的に焦点を絞ることができません。

提案する視点

LLM エージェントに、検索結果を渡すのではなく、コーパスの階層構造そのものを「地図」として可視化し、エージェント自身が能動的に探索（ナビゲーション）させることで、より高品質な回答を導き出すことを目指します。

---

2. 手法：CORPUS2SKILL

CORPUS2SKILL は、オフラインの「コンパイルフェーズ」とオンラインの「サーブフェーズ」の 2 つの段階で構成されます。

2.1 コンパイルフェーズ（オフライン）

生データから、エージェントが探索可能なスキルツリーを構築します。

1. 文書読み込みと埋め込み: 文書を読み込み、文脈埋め込みモデル（Sentence Embedding）でベクトル化します。
2. 反復的階層クラスタリング:
   • 下位から上位へ、K-Means 法を用いて文書をクラスタリングします。
   • 各クラスタに対して LLM が要約（Summary）を生成し、その要約を再度埋め込みして次のレベルのクラスタリングに使用します。
   • このプロセスを、ルートクラスタ数が指定数（K）以下になるまで繰り返します。
3. スキルツリーの構築（Materialization）:
   • 生成された階層構造を、エージェントが直接読み取れるファイルシステム形式に変換します。
   • ルートレベル: SKILL.md（トピックの概要とサブグループ一覧）
   • 中間レベル: INDEX.md（サブグループの概要とさらに細分化されたグループ/文書 ID 一覧）
   • リーフレベル: 文書 ID と短いタイトルが記載された INDEX.md
   • 文書本体: 外部の documents.json に格納され、必要時に ID で取得します。
   • この構造により、エージェントは「どの文書を読むか」を決定する前に、要約ファイル（数 KB）を高速に閲覧できます。

2.2 サーブフェーズ（オンライン）

コンパイル済みのスキルツリーを LLM エージェントに提供し、クエリに応答させます。

• プログレッシブ・ディスクロージャー: 起動時にはスキル名と短い説明のみを読み込み、エージェントが必要に応じて SKILL.md や INDEX.md を順次読み進めます。これにより、トークンコストを最小限に抑えつつ、文脈全体を把握できます。
• ナビゲーションワークフロー:
  1. 事前読み込みされた説明から関連するスキル（ルートディレクトリ）を選択。
  2. SKILL.md を読み、関連するサブグループへ移動。
  3. INDEX.md を読み、具体的な文書 ID を特定。
  4. get_document ツールを呼び出して全文を取得し、回答を生成。
• 特徴: エージェントは、検索結果が得られなかった場合や、別の分岐へ戻る（バックトラック）ことが可能であり、複数の分岐から証拠を統合する（クロスブランチ合成）ことができます。

---

3. 主要な貢献

1. コーパスの「ナビゲビリティ」の発見: 現在の RAG システムにおいて、LLM が知識ベースの構造的な概要を持たないことが、証拠の体系的な発見を制限しているという課題を特定しました。
2. コンパイル・ナヴ・フレームワークの提案:
   • オフラインで生コーパスを階層的なスキルディレクトリに変換するパイプライン。
   • サーブ時に埋め込みインデックスやベクトルデータベースを一切使用せず、エージェントがファイルブラウザのようにツリーを探索する仕組み。
3. 実証評価: 企業向け顧客サポートベンチマーク「WixQA」において、従来の Dense Retrieval、RAPTOR、Agentic RAG などのベースラインをすべての品質指標で上回る結果を示しました。

---

4. 実験結果

データセット: WixQA（6,221 件のサポート記事、200 件の専門家による質問）。

比較対象:

• BM25, Dense Retrieval, Hybrid（BM25+Dense）
• RAPTOR（階層的ベクトル検索）
• Agentic RAG（反復検索を行うエージェント）
• CORPUS2SKILL（提案手法）

主要な結果:

• 品質: CORPUS2SKILL はすべての指標（Token F1, BLEU, ROUGE, Factuality, Context Recall）で最高スコアを記録しました。
  • Token F1: 0.460（Agentic の 0.388 や Dense の 0.363 より大幅に上回る）。
  • Context Recall: 0.652（RAPTOR の 0.616 や Agentic の 0.481 を上回り、関連文書を見逃さない能力が高いことを示す）。
• コスト: 1 クエリあたりのコストは約 0.172 ドルで、Agentic（0.098 ドル）や RAPTOR（0.012 ドル）より高いですが、入力トークン（ナビゲーションファイルの読み込み）が主因です。しかし、出力トークン数は Agentic の半分程度で、より的確な回答が得られています。
• アブレーション研究:
  • クラスタ構造: 分岐率（p）を小さくすると（狭い木）、品質がわずかに向上しました。逆に、分岐率を大きくすると（広い木）、要約が一般的になりすぎ、品質が低下しました。
  • 探索予算: 最大交互ラウンド数を減らしても品質は安定しており、階層構造自体が良く整理されていることを示しています。
  • モデル選択: 安価なモデル（Haiku）を使用しても、ナビゲーションの質は維持され、コストを半分に削減できました。

---

5. 意義と結論

技術的意義

• 「検索」から「ナビゲーション」へのパラダイムシフト: 埋め込みベースの類似度検索に依存するのではなく、事前コンパイルされた階層構造をエージェントが能動的に探索するアプローチは、複雑な多段階クエリや、文脈の全体像が必要なタスクにおいて優位性を示しました。
• インフラの簡素化: サーブ時にベクトルデータベースやグラフデータベースを必要とせず、LLM とファイルシステム（スキル API）だけで動作するため、デプロイが容易です。
• LLM の推論能力の活用: エージェントに「どこを見るべきか」を判断させることで、LLM の計画能力と推論能力を最大限に活用しています。

限界と将来展望

• コスト: 入力トークン数が増加するため、高頻度・低価値なクエリには向かない可能性があります（キャッシュ技術などで改善の余地あり）。
• ハードクラスタリング: 文書は 1 つの分岐にのみ所属するため、複数のトピックにまたがる文書はルートの選択ミス（ナビゲーションミス）の原因となります。
• 更新性: 文書追加には再コンパイルが必要です。

結論

CORPUS2SKILL は、企業知識ベースにおける QA タスクにおいて、**「検索時に計算リソースを投じる」のではなく、「コンパイル時に計算リソースを投じてコーパスをナビゲート可能にする」**という新しい設計指針を示しました。これは、LLM エージェントが構造化された地図を持って探索することで、より正確で包括的な回答を生成できることを実証した画期的な研究です。