論文要約：Coverage, Not Averages: Semantic Stratification for Trustworthy Retrieval Evaluation

この論文は、検索拡張生成（RAG）システムにおける検索評価の信頼性に関する重要な課題を提起し、従来の集計指標（アベレージ）の限界を克服するための新しいフレームワーク「セマンティック層別化（Semantic Stratification）」を提案しています。

以下に、問題提起、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題提起 (Problem Identification)

現在の RAG システムの評価は、主に BEIR などのベンチマークデータセットに依存していますが、これらには構造的なバイアスが存在します。

• 平均値の欺瞞: 従来の評価は、ヒューリスティックに構築されたクエリセットを用いて、単一の集計指標（例：平均 nDCG）を報告します。しかし、これは検索性能が文書コーパスのセマンティック空間全体で均一に分布しているという誤った前提に基づいています。
• カバレッジの欠如: 実証分析（NFCorpus ベンチマーク等）により、評価クエリがコーパス内の特定のセマンティック領域（例：医療分野の特定の専門用語や統計手法）を十分にカバーしていないことが明らかになりました。
  • 多くのドキュメントが存在するセマンティック領域であっても、評価クエリがほとんど存在しない「ゼロ・クエリ・クラスター」が存在します。
  • 逆に、評価クエリが集中している領域は、システムが比較的得意とする領域である傾向があります。
• バイアスと誤った結論: 評価セットが特定のセマンティック領域に偏っている場合、集計指標は実際のシステム性能を過大評価し、特定の領域での失敗（Failure Modes）を隠蔽してしまいます。また、評価セットの構成がランダムであるため、信頼区間の推定も不正確になります。

2. 手法：セマンティック層別化フレームワーク (Methodology)

著者は、検索評価を構造的な不均一性（Structured Heterogeneity）を持つ統計的推定問題として定式化し、コーパス構造に基づいた「セマンティック層別化」アプローチを提案しました。

2.1 統計的定式化

検索評価を、クエリ空間を「検索レジーム（Regime）」に分割した層別推定問題として捉えます。

• 従来の単純な平均推定量は、評価セットのレジーム構成（重み）が真の分布と異なる場合、偏り（Bias）を生じます。
• 真の性能を推定するには、各レジーム（層）内での性能（条件付き平均）を個別に評価し、それらを適切に集約する必要があります。

2.2 具体的な実装プロセス

評価データセットの構築は、以下の 3 つのステップで行われます。

1. コーパスレベルのセマンティック構造構築:

   • LLM を用いて各ドキュメントから「セマンティックエンティティ（名前と説明）」を抽出。
   • エンティティをベクトル化し、FAISS を用いて近似最近傍探索を行い、セマンティックグラフを構築。
   • Leiden アルゴリズムを用いてグラフをクラスタリングし、解釈可能な「セマンティック・クラスター（層）」を定義します。

2. クエリの層別化（Stratification）:

   • セマンティック層: 上記のクラスターに基づき、コーパスのセマンティック範囲全体をカバーするように定義。
   • 構造的層: 検索の難易度を特徴づける 2 つの指標でさらに分割。
     • 関連性の分散（Relevance Dispersion, $\Delta$）: 関連ドキュメントがどの程度複数のクラスターに散らばっているか（分散が高いほど検索が困難）。
     • クエリ - ドキュメントのセマンティック整合性（Semantic Alignment, $J$）: クエリと関連ドキュメントのセマンティック領域の一致度（Jaccard 類似度）。
   • これらを組み合わせることで、3x3 のグリッド（9 つの構造的レジーム）を形成し、各レジームの難易度特性を捉えます。

3. 評価データセットのキュレーション（カバレッジ意識型生成）:

   • 既存の評価セットの「カバレッジギャップ」を特定（どのクラスターや構造的レジームが不足しているか）。
   • LLM を用いて、不足している層（特にゼロ・クエリ・クラスターや高分散領域）をターゲットとした新しいクエリを生成。
   • 生成されたクエリと関連ドキュメント（LLM による検証済み）を評価セットに追加し、目標サイズに達するまで反復します。

3. 主要な貢献 (Key Contributions)

1. 問題の特定: 検索評価データセットが「クエリの均質性」を暗黙に仮定しているが、現実の検索レジームは構造的に不均一であることを指摘。これを無視することがバイアスと誤った結論を招くことを示しました。
2. 方法論的フレームワークの提案: 検索評価を「層別統計推定問題」として定式化し、コーパス構造に基づいたカバレッジ意識型の評価データセット構築フレームワークを提案しました。
3. 実証的検証と洞察: 複数のベンチマーク（NFCorpus, FiQA, SciDocs）と検索手法（Dense, BM25, Hybrid）を用いた実験により、以下の結果を示しました。
   • 従来のベンチマークは 40-50% のセマンティック領域を未評価のまま放置している。
   • 層別化評価は、集計指標では見えないシステムごとの強み・弱みや、コーパス構築自体の欠陥（アノテーションの不一致など）を可視化する。
   • 層別化評価に基づく意思決定は、より安定しており、透明性が高い。

4. 実験結果 (Results)

• カバレッジの劇的改善: 従来の BEIR ベンチマーク（NFCorpus）では、セマンティック・クラスターの約 51% しか評価されていませんでした（Minimum Semantic Coverage: 50.9%）。提案手法による層別化クエリ生成では、これを**90.3%**まで向上させました。
• 性能のばらつき: 異なるセマンティック層間で検索性能（nDCG@10）に最大 3 倍の差が生じていることが確認されました。
  • 例：「栄養専門家（Nutrition Expert）」という層は、すべての検索手法で性能が低く、システム固有の失敗ではなく構造的な難しさであることが判明。
  • 逆に「前立腺肥大（Prostate Enlargement）」は Dense 検索では上位ですが、疎な検索では低く、集計指標ではこの違いが隠されていました。
• 構造的信号の影響:
  • **分散（$\Delta$）**はランキング品質（nDCG）に、**整合性（$J$）**はカバレッジ（Recall）にそれぞれ強い影響を与えることが示されました。
  • 分散が高く、整合性が低い領域（高難易度）では、すべての検索手法で性能が低下します。
• 失敗モードの可視化:
  • セマンティック・レキシカル・ディスコネクト: クエリとドキュメントの用語が一致しない場合（例：研究名がドキュメントに明記されていないが関連と判断されるケース）など、検索システムではなくコーパス構築の問題である失敗が特定されました。
  • レジスターの不一致: 口語的なクエリと学術的なドキュメントの間のギャップによる構造的な困難さが特定されました。

5. 意義と結論 (Significance)

• 信頼性の向上: 単一の平均スコアに依存するのではなく、コーパスのセマンティック構造全体を網羅的に評価することで、RAG システムの真の能力と限界をより正確に把握できます。
• 意思決定の最適化: 実務者が検索システムを選択する際、特定のセマンティック領域（例：医療、金融）での性能を重視する場合、集計平均ではなく層別化された性能プロファイルに基づいて判断できるようになります。
• 評価手法のパラダイムシフト: 本研究は、RAG 評価において「カバレッジ（網羅性）」を「平均値」よりも優先すべきであることを示唆し、より透明性が高く、信頼性の高いシステム比較の基盤を提供します。

結論として、著者は「平均値ではなく、カバレッジ（Coverage）こそが重要である」と主張し、セマンティック層別化を用いた評価プロトコルの採用を推奨しています。