テクニカル・サマリー：マルチソースRAGにおける事実密度（Factual Density）の評価

問題提起

Retrieval-Augmented Generation (RAG) は、大規模言語モデル（LLM）を外部知識に基づかせるための業界標準となっている。しかし、標準的な検索メカニズム（具体的にはコサイン類似度による意味的近接性と、BM25による語彙的頻度）には、検索されたコンテンツの**事実の質（factual quality）**を測定する固有のメカニズムが欠けている。

本論文は、「エキスパート・ブラインドネス効果（Expert Blindness Effect）」と称される構造的な失敗モードを特定している。この現象は、標準的なRAGパイプラインにおいて、高密度で専門家によって検証されたエビデンス（例：特定の定量化された臨床結果を含むコクラン・システマティック・レビュー）が、語彙的に支配的ではあるが事実としては希薄なテキスト（例：特定のデータを提供することなくトピックに繰り返し言及する長文記事）よりも系統的に埋もれてしまうことで発生する。現在の評価フレームワークは、忠実性（モデルが検索されたコンテキストに対してハルシネーションを起こしていないか）に焦点を当てており、検索品質（検索されたコンテキストが、そもそも事実的に高密度であったか、あるいは専門家によって検証されたものであったか）には焦点を当てていない。

メソドロジー

1. コーパスの構築と前処理

本研究では、3つの階層の医学的エビデンスから派生した600チャンクのコーパスを利用した：

• コクラン・システマティック・レビュー (COCHRANE_SR): 200の構造化抄録。
• ランダム化比較試験 (CLINICAL_RCT): NLMタグによってフィルタリングされた200の抄録。
• 一般的なPubMed抄録 (SCIENTIFIC_PMC): 200の査読済み抄録。

インジェクション（取り込み）の前に、コーパスはNexusAgentics Ghost Audit前処理パイプラインを経ている。このパイプラインは以下を実行する：

• アトミック・クレーム抽出（Atomic Claim Extraction）: Gemini 2.5 Flashを用い、ヘッジ表現（断定を避ける表現）や逸話を排除し、一意で独立した検証可能な事実的言明を特定する。
• 確率的事実性スコアリング（Probabilistic Factuality Scoring）: 実証的な真実性ではなく、検証可能性と具体性に基づいて、prob_fact スコア（0.2から1.0）を割り当てる。

2. 事実密度 (FD*) の定式化

中核となる指標である事実密度 (Factual Density: FD)* は、検証されたアトミック・クレームの割合をトークン数に対して定義したものである。

• 初期定式化 ($FD_{raw}$): prob_fact スコアの合計をトークン数で除したもの。
  • 問題点: 実験1により、深刻な文書長による交絡（document-length confound）（ピアソンの相関係数 $R = -0.8636$）が明らかになった。これは、分母の効果により、短い文書が人工的に高いスコアを得てしまう現象である。
• 修正された定式化 ($FD^*$): これを解決するため、著者らは文書長ビン（Short, Medium, Long）内でのZスコア正規化を適用した。
  • $FD^*(d) = [(FD_{raw}(d) - \mu_{bin}) / \sigma_{bin}] \times a_{source}$
  • この補正により、長さの相関は非有意なレベル（$p = 0.0749$）まで減少し、FD*が長さから独立したシグナルであることを検証した。

3. 検索条件

HealthFCベンチマーク（750の専門家ラベル付きヘルス・クレーム）に対して、以下の3つの条件を評価した：

• 条件A: コサイン類似度（意味的検索）。
• 条件B: BM25（語彙的検索）。
• 条件C: FD-最適化検索。* 2段階のハイブリッド・パイプライン：
  1. コサイン類似度によるプリフィルタリング（上位20件）。
  2. 複合スコアによるリランキング：$0.5 \times \text{CosineSim} + 0.5 \times FD^*_{rescaled}$。

4. 評価の制約

本研究は、重大なコーパスとベンチマークの整合性制約に直面した。コーパスのイテレーションを2回繰り返したにもかかわらず、HealthFC評価セットに対するカバレッジは20%未満（最終イテレーションでは14%）にとどまった。その結果、計画されていた統計的検証（$n=50$ のクエリに対するウィルコクソン符号付順位検定）を実行することができなかった。結果は、利用可能なグラウンドトゥルースのマッピングに基づく方向的なエビデンスとして報告される。

主要な結果

1. スコアリングと補正の検証

• Ghost Audit: スコアリング・フレームワークがソースの階層間で意味のある分散（標準偏差 $\ge 0.10$）を生み出し、リランキングのシグナルが崩壊していないことを検証した。
• 長さの交絡: 素朴なトークン正規化密度指標が、文書長のバイアスに対して脆弱であることを確認した。ビン内のZスコア正規化が、計算コストの低い効果的な補正策であることが証明された。

2. エキスパート・ブラインドネス効果（単一クエリ監査）

運動と心血管リスクに関する特定のクエリにおいて、検索条件は明確に異なる結果を示した：

• コサイン類似度: コクラン・レビューを40%、RCTを60%検索した。
• BM25: コクラン・レビューを80%検索したが、それらを一貫して高くランク付けすることには失敗した。
• FD-最適化:* 上位5件の結果において**システマティック・レビューの飽和（100%）**を達成した。
  • メカニズム: FDは、意味的類似性のみではトップ10の外側にランクされていた高密度なエビデンス（例：コサイン・スコアが0.7308のコクラン抄録が、高いFDスコア 9.660 によりランク4に上昇した）を、正常に引き上げた。
• グラウンドトゥルース検証: FD*条件のトップ5の結果は、5つの異なるHealthFC支持クレームにわたる9つの確定事例にマッピングされ、すべて医学専門家によって「Supported（支持される）」とラベル付けされた。

3. コーパス整合性の知見

本研究は、シードされた事前チェック・サンプルが、コーパスのカバレッジを系統的に過大評価していることを特定した。12チャンクのサンプルでは38.62%の整合性を示したが、全600チャンクのコーパスではわずか14%であった。これは、ソースの選択において、全コーパスの検証なしに整合性を仮定してしまう、現在のRAG評価の実践における重大なギャップを浮き彫りにしている。

意義と貢献

本論文は、以下の2つの等価な貢献を提唱している：

1. 検索シグナルとしての事実密度 (FD):*
   FD*は、ソースに依存せず、長さの影響を受けず、計算コストの低い最適化シグナルとして提案されている。これは、埋め込みモデル、ベクトルストア、または検索インフラを変更することなく、既存のRAGパイプラインにコサイン類似度との50/50の複合値として統合できる。これは、意味的近接性が情報の集中度と相関しないというギャップに対処するものである。

2. エキスパート・ブラインドネス効果の文書化:
   本論文は、標準的な検索手法が、高権威のエビデンスを埋没させてしまう系統的なバイアスを正式に命名し、実証的に示した。これは、2,000語の記事をコクラン・レビューよりも優先して提示することが誤情報につながる可能性があるヘルスケア分野において、直接的な安全上の懸念となる。

3. RAG評価への方法論的貢献:
   本研究は、ヘルスRAGコーパス構築の前提条件として、二段階のフィルター・プリチェック・メソドロジー（コサイン類似度 $\ge 0.75$ かつキーワード重複 $\ge 2$ を要求）を導入している。また、コーパスとベンチマークの整合性は、RAG評価の妥当性における、しばしば見落とされがちな重要な前提条件であると主張している。

限界と今後の課題

著者らは、コーパスとベンチマークの整合性が低かったために、完全な $n=50$ の統計テストを実行できなかったことから、結果は予備的なものであることを明記している。「エキスパート・ブラインドネス効果」は単一のクエリで示されたものであり、統計的に一般化されたものではない。

今後の課題として以下を挙げている：

• HealthFCカバレッジが40%以上のコーパスを用いた正式な統計テストの実行。
• プレースホルダーではなく、最適なソース権威重み（$a_{source}$）の経験的な導出。
• エビデンス構造を事実密度と結合させるための、Graph RAGアーキテクチャにおけるアンカーノード・シグナルとしてのFD*の探索。

結論として、FD*は完全な解決策ではないものの、AIシステムが単なる語彙的な一致ではなく、事実を検索することを保証するための必要なステップである。