論文「Adaptive Chunking: Optimizing Chunking-Method Selection for RAG」の技術的サマリー

本論文は、検索拡張生成（RAG）システムの性能向上において、ドキュメントのチャンキング（文書分割）戦略の重要性に焦点を当て、従来の「一律の手法」の限界を克服する**「Adaptive Chunking（適応型チャンキング）」**フレームワークを提案した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義

RAG の性能は、ドキュメントをインデックス化・検索可能な単位に分割する「チャンキング」の質に大きく依存します。しかし、現状には以下の課題が存在します。

• 「万能型」アプローチの限界: 従来の手法（ページ単位、文単位、再帰的分割など）は、ドキュメントの構造やセマンティクス（意味）を考慮せず、すべての文書に同じ分割戦略を適用します。これにより、論理的なつながりが切断されたり、文脈が失われたりする「コンテキスト保存のジレンマ」が発生します。
• 評価フレームワークの欠如: チャンキングの質を評価する際、多くの研究が検索精度や回答生成の正答率といった「外在的指標（Downstream performance）」に依存しています。これでは、チャンキング戦略自体の影響を独立して評価・比較することが困難です。
• 構造的・内容的な多様性: 法律文書、技術文書、社会科学文書など、ドキュメントの種類によって最適な分割方法は異なりますが、これを自動選択する仕組みが不足しています。

2. 提案手法：Adaptive Chunking

本論文は、各ドキュメントの特性に基づいて最適なチャンキング戦略を動的に選択するフレームワークを提案しています。

2.1. 5 つの内在的評価指標（Intrinsic Metrics）

ドキュメントレベルでチャンクの品質を直接評価するための 5 つの新規指標を導入しました。これらはドキュメントごとに計算され、最適な分割方法の選択基準となります。

1. References Completeness (RC): 実体（Entity）と代名詞（Pronoun）のペアがチャンク内で完結している割合。参照関係が切断されていないかを測定。
2. Intrachunk Cohesion (ICC): チャンク内の文の埋め込みと、チャンク全体の埋め込みとのコサイン類似度の平均。チャンク内の意味的一貫性を測定。
3. Document Contextual Coherence (DCC): 各チャンクが、その周辺の文脈（スライディングウィンドウ）とどの程度整合しているかを測定。孤立した理解を妨げないかを確認。
4. Block Integrity (BI): 段落、表、図、見出しと本文などの構造的なブロックが分割されていない割合。構造的な完全性を維持しているか。
5. Size Compliance (SC): チャンクのトークン数が所定の範囲（100〜1,100 トークン）内にある割合。埋め込みモデルの制約や検索効率を満たしているか。

2.2. 新規チャンキング手法

2 つの新しい分割アルゴリズムと、サイズ制約を強制するためのポスト処理を導入しました。

• LLM-Regex Splitter: LLM にドキュメントの構造分析を依頼し、最適な正規表現（Regex）パターンを生成させ、それを全文書に適用して分割します。法律文書など構造化されたテキストにおいて、自然な境界（条項の区切りなど）を保持するのに有効です。
• Split-then-Merge Recursive Splitter: 従来の再帰的分割（LangChain など）を改良した 2 段階アプローチです。
  1. Split: 優先順位のついた区切り文字（見出し→セクション→文→文字）を用いて、指定サイズ以下になるまで分割。
  2. Merge: 生成された小さなチャンクを、サイズ制限を超えない範囲で隣接するチャンクと貪欲に結合し、文脈の欠落を防ぎます。
• ポスト処理: 過大サイズのチャンクを再分割し、過小サイズ（100 トークン未満）のチャンクを隣接するものと結合する処理を行い、サイズ制約を厳格に守ります。

2.3. 適応的選択ロジック

各ドキュメントに対して、上記の複数のチャンキング手法（提案手法および既存のベースライン）を適用し、5 つの内在的指標の平均スコアに基づいて、そのドキュメントに最も適した手法を自動選択します。

3. 実験設定とデータセット

• データセット: Ekimetrics の CLAIR プロジェクトから収集した 33 件の PDF ドキュメント（法律、技術、社会科学の 3 つのドメイン）。フォーマット、語彙、長さが多様で、合計約 118 万トークン。
• 評価パイプライン: ハイブリッド検索（BM25 + 意味検索）→ リランキング → 生成（GPT-4.1）の構成。モデルやプロンプトは固定し、チャンキング手法のみを変えて影響を測定。
• 評価指標:
  • Retrieval Completeness: 検索されたコンテキストが正解を支持する度合い（0〜2 スコア）。
  • Answer Correctness: 生成された回答の事実的整合性（G-Eval による評価）。

4. 主要な結果

実験結果は、適応型アプローチが単一の固定手法を凌駕することを示しました。

• RAG 性能の向上:
  • 正答率: 62-64%（ベースライン）から 72% に向上。
  • 回答成功数: 99 件中 49 件（ベースライン）から 65 件 に増加（約 30% 増）。
  • 検索完全性: 8.6〜9.6 ポイント向上。
• 内在的指標の相補性:
  • 5 つの指標間の相関は弱く、それぞれが異なる側面を捉えていることが確認されました（例：小さなチャンクは ICC が高いが DCC は低いなど）。
  • 単一の手法がすべてのドキュメントで最高スコアを出すことはなく、ドキュメントごとの選択が重要であることが実証されました（例：ページ分割が有効な文書もあれば、再帰的分割が有効な文書もある）。
• ポスト処理の効果:
  • 小さなチャンクの結合や巨大なチャンクの再分割を行うことで、サイズ適合性（SC）が劇的に改善され、平均スコアも 6〜16 ポイント向上しました。
• 計算コスト:
  • 適応型パイプラインの初期化コストは高いですが（ドキュメントごとに複数手法を試すため）、インデックス作成時に一度行えばよく、検索時のオーバーヘッドはありません。

5. 結論と意義

本論文の主な貢献と意義は以下の通りです。

1. 「ドキュメント認識型」チャンキングのパラダイムシフト: すべてのドキュメントに同じ分割戦略を適用する従来の考え方を捨て、ドキュメントの構造や内容に応じて最適な手法を動的に選択するアプローチの有効性を証明しました。
2. 内在的評価指標の確立: 下流タスクの結果に依存せず、チャンク自体の品質（参照完結性、一貫性、構造的完全性など）を直接評価する 5 つの指標を提案し、RAG 開発におけるベンチマークの確立に貢献しました。
3. 実用性の高い改善: モデルやプロンプトを変更することなく、チャンキング戦略の最適化だけで RAG の性能を大幅に向上させることを示しました。これは、既存の RAG システムへの導入コストが低く、即効性のある改善策となります。

総じて、本研究は「文書に適した分割方法」を選択するメタ戦略と、それを評価するための堅牢な指標セットを提供することで、より頑健で信頼性の高い RAG システム構築への道筋を示しました。