技術的概要：検索拡張生成のためのクエリ適応型セマンティックチャンキング

1. 問題定義

検索拡張生成（RAG）システムは、下流の生成のために関連する文脈を取得する際、ドキュメントのチャンキングの品質に大きく依存します。従来のアプローチは、セマンティック構造やユーザーの意図に関係なくドキュメントを均一な単位に分割する固定サイズチャンキングを主に利用しています。この硬直性は、取り返しのつかないトレードオフを生み出します。すなわち、小さなチャンクは精度を向上させますが、広範な文脈を失うリスクがあり、大きなチャンクは文脈を保持しますが、無関係な材料で関連性が希薄化します。

既存の高度な手法であるセマンティックチャンキング（埋め込み類似性に基づく）やエージェンティックチャンキング（意図に基づく）は、構造的な一貫性を改善しますが、根本的な限界を共有しています。それらはクエリ非依存です。これらは特定のユーザークエリとは独立した前処理ステップとして分割を実行します。その結果、ユーザーが手法、結果、または特定の技術的概念のいずれを求めている場合でも、ドキュメントは同一にチャンキングされ、ソース段階で関連性を最適化する重要な機会を逃しています。

2. 手法：クエリ適応型セマンティックチャンキング（QASC）

本論文は、ユーザークエリを分割プロセスに直接統合する動的戦略であるクエリ適応型セマンティックチャンキング（QASC）を提案します。QASC は、興味点を特定し、周囲の文脈を収集し、集合的な関連性を評価し、一貫性のある単位を合成するという、人間の読書行動を模倣するパイプラインを通じて動作します。

この手法は、4 つの中核メカニズムで構成されます。

1. 類似性スコアリングによるシード文の選択:

   • ドキュメント $D$ は、文 $S = \{s_1, ..., s_n\}$ に分割されます。
   • 事前学習済みモデル（例：Sentence-BERT）を使用して、文の埋め込み $e(s_i)$ とクエリの埋め込み $e(q)$ を計算します。
   • 全文についてクエリに対するコサイン類似度を計算します。
   • 適応的閾値設定: 固定閾値の代わりに、パーセンタイルベースの閾値 $\tau$（例：類似度スコアの 75 パーセンタイル）を使用して「シード文」を選択します。これにより、シードの数がドキュメントの長さとクエリの具体性に応じて自然にスケーリングされます。

2. 文脈ウィンドウの拡張:

   • 各シード文について、シードの前後に $m$ 文を含めることで文脈ウィンドウを構築します。
   • これは固定半径であっても、境界の文の類似度が二次閾値を下回るまで外側に拡張する適応的なものでも構いません。これにより、シードが孤立して取得されるのではなく、解釈可能性のための十分な文脈を伴うことが保証されます。

3. チャンクレベルのスコア集約:

   • 無関係なノイズに囲まれた孤立した高スコア文を取得するのを防ぐため、QASC は各候補ウィンドウに対して集約関連性スコアを計算します。
   • このスコアは、ウィンドウ内の全文の類似度スコアの加重平均であり、重みはシードからの距離に応じて指数関数的に減衰します（$\alpha_i = \exp(-\lambda \cdot |i - r|)$）。
   • チャンクは、集約スコアが閾値（例：$0.6 \times \tau$）を超えた場合にのみ保持され、包括的な関連性が保証されます。

4. 境界解決とマージ:

   • 重複または隣接する候補ウィンドウは、冗長性を最小化するために反復的にマージされます。
   • 最終的なチャンクの境界は、論理的な流れと自己完結性を保証するために、自然な言語的区切り（段落、セクション）に合わせるように調整されます。

このアルゴリズムはクエリ実行時に動作し、チャンキングはインデックス作成時に事前計算されるのではなく、各特定のクエリに対して動的に実行されます。

3. 主な貢献

本論文は、4 つの主要な貢献を概説しています。

1. アルゴリズム設計: コサイン類似度を使用してシード文を特定し、文脈ウィンドウを拡張して関連性最適化されたチャンクを形成する、クエリ適応型アルゴリズム。
2. スコアリングメカニズム: 個々の文のスコアに依存するのではなく、パッセージの包括的な関連性を評価するチャンクレベルの集約メカニズム。これにより、文脈を欠いた取得のリスクが軽減されます。
3. 一貫性プロトコル: 重複するウィンドウを処理し、滑らかな遷移を確保してドキュメントレベルの一貫性を維持する、マージおよび境界解決プロトコル。
4. 包括的な評価: 100 件の技術ドキュメントと 200 件の多様なクエリを用いた、7 つのベースライン（5 つの固定粒度、再帰的分割、セマンティックチャンキング、エージェンティックチャンキングを含む）に対する厳密な実証評価。

4. 実験結果

評価は、4 種類（事実型、トピック型、比較型、マルチホップ型）の 200 件のクエリを用いた、100 件の技術ドキュメント（学術、ソフトウェア、ドメインレポート）のコーパスで行われました。

• 性能指標: QASC は F1 スコア 0.85 を達成し、以下の改善を示しました。
  • 固定チャンキングベースライン（最高：0.72）に対して 18–27% の相対改善。
  • セマンティックおよびエージェンティックチャンキングベースライン（セマンティック：0.76；エージェンティック：0.74）に対して 8–12% の相対改善。
• 忠実度: QASC は最高レベルの忠実度スコア（0.87）を達成し、ベースラインと比較して幻覚や根拠のない主張が大幅に減少したことを示しています。これは、取得されたチャンクの関連性密度が高いことに起因します。
• レイテンシ: クエリ実行時の処理により、QASC は固定チャンキング（110–120 ms）と比較して追加のレイテンシ（380 ms）を導入しましたが、埋め込みベースのセマンティックチャンキング（340 ms）と同程度であり、1 秒未満のインタラクティブな閾値の範囲内に収まっています。
• 人間による評価: 3 名の独立したアノテーター（コホエンの $\kappa = 0.82$）は、QASC をすべてのベースラインよりも有意に高く評価しました。関連性（4.4/5）、一貫性（4.2/5）、完全性（4.3/5）、回答の質（4.3/5）においてです。
• ロバスト性: QASC は、複雑さ（低、中、高）やクエリタイプが異なるドキュメント全体で、一貫した相対改善（+9 F1 ポイント）を示しました。

5. 意義と主張

本論文は、QASC が「チャンクしてから取得する」から**「クエリしてからチャンクし、取得する」へのパラダイムシフト**を表すと主張しています。

• トレードオフの解決: 関連性フィルタリング機能を取得段階からチャンキング段階へ移行させることで、QASC は固定チャンキングにおける精度と再現率の間の本質的な緊張関係を解決します。これにより、候補を事前フィルタリングし、検索器が無関係な材料の山から針を探すのではなく、「事前選択された針」をランク付けできるようにします。
• 文脈の整合: この手法は、情報検索の根本的な目的である「正しい質問に対して、正しい文脈で、正しい情報を届けること」とドキュメント処理を整合させます。
• 実用性: クエリ実行時のレイテンシを導入するものの、本論文は高品質な生成にとって必要なトレードオフであると論じています。また、初期取得のための事前チャンキングを行い、上位候補に対して QASC による再チャンキングを行うハイブリッドアーキテクチャを、生産環境でのスケーラビリティへの実現可能な道筋として提案しています。

著者らは、チャンキングを前処理の事後処置として扱うのではなく、RAG システムにおける重要な第一級の設計決定として扱うべきであると結論付けています。ユーザーの意図を分割に直接統合することで、QASC は取得の品質、生成の精度、およびシステム全体の忠実度を大幅に向上させます。