技術要約：テキストのチャンクサイズが検索拡張生成（RAG）のパフォーマンスに与える影響

問題提起

検索拡張生成（RAG）システムは、外部知識を検索してテキスト生成の根拠とすることで、大規模言語モデル（LLM）を強化し、ハルシネーションや情報の陳腐化といった問題を軽減する。しかし、RAGパイプラインにおける極めて重要でありながら十分に調査されていない構成要素が、**文書分割の粒度（チャンクサイズ）**である。チャンクサイズは理論的に、検索の精度、文脈の正確性、生成の質、および計算効率に影響を与えるが、厳密な評価なしに選択されることが頻繁にある。既存の文献では、文書のチャンキングを静的な前処理ステップとして扱ったり、検索後のリファインメントに焦点を当てたりすることが多く、他の要因から隔離された状態で、チャンクサイズという主要な変数が異なるテキスト構造に対してシステム全体のパフォーマンスにどのように影響するかを理解するという点において、空白が存在している。

研究手法

本研究では、チャンクの粒度を主要な変数として特定し、他のすべての要因を一定に保つことで、制御された実験設計を採用している。

• ソース資料: 研究者らは、セグメンテーション戦略に起因する差異をコンテンツの差異ではなく、純粋に分割戦略によるものにするため、同一のフルレングスの学部生向け教科書（数学および物語形式のテキストを各1冊）を使用した。
• セグメンテーション戦略: 文書を以下の4つの異なる粒度に分割した：
  • 文章（Sentences）: 個々の文章の境界。
  • 段落（Paragraphs）: 段落レベルの境界。
  • ページ（Pages）: ページレベルの境界。
  • 章（Chapters）: 章レベルの境界。
  • 実装に関する注記: 一部の戦略では正規表現（regex）を使用したが、本研究では、生のフォーマットによるアーティファクトに依存しない自然な境界を確保するため、段落および文章レベルにおいてエージェンティック・セグメンテーション（スライディングウィンドウを用いて反復的にセグメントを抽出するLLMの使用）を採用した。
• パイプライン構成:
  1. 前処理: 生のテキストをクリーニング（改行、ページ番号、ハイフネーションの除去）。
  2. 埋め込み（Embedding）: 各チャンクを事前学習済みの高密度埋め込みモデルを使用して埋め込み、それぞれの粒度に応じた個別のベクトルデータベースにインデックス化した。
  3. 検索: ユーザープロンプトを埋め込み、コサイン類似度検索によって上位$n$個の最も類似したチャンクを検索した。
  4. 生成: 検索されたチャンクをユーザープロンプトと結合し、LLMに投入して回答を生成させた。
• 評価指標:
  • 検索の有効性: **逆順ランク（Reciprocal Rank: RR）**を用いて測定。関連性エージェント（LLM）が、検索されたチャンクにプロンプトに答えるために必要な情報が含まれているかを検証した。
  • データセット: ChatGPTによって生成された、範囲、具体性、複雑さが異なる100個のプロンプトを、すべてのチャンキング戦略に対してテストした。

主な結果と分析

本研究により、最適なチャンクサイズはソーステキストの構造的性質に強く依存することが判明した。つまり、あらゆる媒体において単一の戦略が他を圧倒することはない。

• 構造化された／情報密度の高いテキスト（数学の教科書）:
  • 最良のパフォーマンス: 段落レベルのチャンキングが最も高い平均検索スコアを達成した。
  • 分析: 中規模のチャンクは、検索の精度と文脈の完全性の間で最適なバランスを提供した。文章レベルのチャンクは精度は高いが、時として十分な文脈を欠き、章レベルのチャンクはノイズを導入しすぎて精度を低下させた。
• 物語主導のテキスト（物語形式の教科書）:
  • 最良のパフォーマンス: 文章レベルのチャンキングが、他のすべての手法を大幅に上回った（平均RR 0.294）。
  • 分析: 物語の文脈では、関連する詳細は特定の台詞や描写の行に局在していることが多い。大きなチャンク（ページ、章、段落）は、これらの具体的な詳細を希釈してしまい、検索システムが有用な内容を分離することを困難にした。
• トレードオフ:
  • 小さなチャンク: 検索精度を向上させるが、ストレージ要件、インデックス作成時間、および埋め込みの数を増加させる。
  • 大きなチャンク: ストレージオーバーヘッドを削減するが、無関係な文脈（ノイズ）を導入し、検索の質を低下させるリスクがある。
  • エージェンティック・チャンキング: より意味のある境界を生成する一方で、前処理における計算コストを増大させ、スケーラビリティを制限する。

主な貢献

1. 変数の分離: 埋め込みモデルやドメイン固有の構造とチャンクサイズを混同しがちな先行研究とは異なり、本研究は同一のソース資料を用いることで、チャンクサイズの影響を厳密に評価した。
2. 文脈依存の最適化: 本論文は、「ワンサイズ・フィッツ・オール（万能型）」のアプローチが最適ではないことを示している。理想的な粒度は、テキストが構造化／情報密度が高いもの（段落を好む）か、物語／対話が多いもの（文章を好む）かによって変化するという経験的な証拠を提示している。
3. 包括的な評価: 検索の有効性（逆順ランク経由）と、その後の生成の質の双方を評価することで、チャンキングのトレードオフに関する包括的な視点を提供している。

意義と今後の方向性

本論文は、効果的なRAGシステムの設計には、固定されたセグメンテーション・パラメータを超えた取り組みが必要であると主張している。その意義は、チャンクサイズを、ソース資料の特定の構造に合わせて構成可能な設計要素として扱うべきであるという事実を確立した点にある。

著者らは、本研究の知見に基づき、以下の研究の方向性を提案している：

• 適応型／エージェンティック・チャンキング: 文書の構造、クエリの意図、または検索のフィードバックに基づいて、テキストを動的に分割するシステムの開発（例：事実に基づくクエリには小さなチャンクを、推論には大きなチャンクを使用する）。
• ハイブリッド・アプローチ: 複数のチャンクサイズを組み合わせる、あるいは原子的な単位から文脈を動的に組み立てる手法を探索し、静的なスキームに内在する「精度と文脈のトレードオフ」を緩和する。

本研究は、チャンキング手法をソース資料の構造に適合させることが、一貫性と効率性の両面において、検索の質と生成のパフォーマンスを向上させるために不可欠であると結論付けている。