W-RAG: Source-Aware Retrieval for Enterprise Document Generation from Heterogeneous Knowledge Bases

技術要約：W-RAG – エンタープライズ文書生成のためのソース認識型リトリーバル

問題提起
Retrieval-Augmented Generation (RAG) は、外部知識を組み込むことで大規模言語モデル (LLM) の事実に基づいた根拠付けを向上させてきた。しかし、既存の RAG パイプラインは、異種混合の複数のリポジトリからのエビデンスを単一の類似性関数で評価できると仮定するグローバルなランキングメカニズムに依存している。この仮定はオープンドメインのリトリーバルには成立するが、エンタープライズ文書生成においては成立しない。企業環境において、ポリシー、規制、技術仕様、部門ガイドラインなどのナレッジベース (KB) は、それぞれ異なる役割を果たす。グローバルなランキングは、より大規模で高密度、あるいは語彙的に支配的なソースを優先する傾向があり、その結果、小さくても極めて重要なリポジトリが抑制されてしまう。これにより、コンテキストウィンドウの不均衡が生じ、生成された文書に特定のドメインからの必要なエビデンスが欠落し、複雑なエンタープライズ要件を満たせない不完全なドラフトが作成されることになる。

手法：W-RAG フレームワーク
著者らは、異種混合の KB にわたるエビデンス構成を制御するために設計された、ソース認識型リトリーバルフレームワークである W-RAG を提案している。本システムは、以下の 3 つの明確なステージで動作する：

1. オントロジー誘導型候補リトリーバル (Ontology-Guided Candidate Retrieval):
   単なる意味的類似性に頼るのではなく、W-RAG はドメイン・オントロジーを使用して入力クエリから構造化されたトピックを抽出する。システムは、ハイブリッド・スコアリング関数を用いて各 KB から候補となるテキストチャンクをリトリーバルする：
   $$R(c_{jk}) = f_{sim}(q, c_{jk}) + \lambda f_{ont}(T, c_{jk})$$
   ここで、$f_{sim}$ は意味的類似性（埋め込みのコサイン類似度）を測定し、$f_{ont}$ は抽出されたオントロジー・トピックとの整合性を測定する。これにより、候補が語彙的に関連しているだけでなく、ターゲット文書の要件にテーマとして合致していることを保証する。

2. ソース重み推定 (Source Weight Estimation):
   すべての候補を単一のグローバルランクに統合するのではなく、W-RAG は各 KB に対して特定の重み ($w_j$) を推定する。これは、入力トピックセットと KB のトピックインデックスを比較することによってリアルタイムで算出される。スコアは以下を組み合わせる：

   • トピックの重複度 (Topical Overlap): 主要な駆動要因であり、KB が入力トピックにどの程度一致するかを測定する。
   • ドキュメントの可用性 (Document Availability): より広いカバー範囲を持つ KB を優先する弱い事前分布。
   • カテゴリ・ボーナス (Category Bonus): 粗いドメインの整合性に対する報酬。
     これらのスコアは、各 KB が総コンテキスト予算 ($T_{total}$) のうち何パーセントを寄与すべきかを決定するために正規化される。

3. 重み付きコンテキスト構築 (Weighted Context Construction):
   推定された重みは、各 KB に対するトークン予算 ($T_j$) に変換される。システムは、各 KB のローカルにランク付けされた候補セットから、その KB の特定の予算が使い果たされるまで、上位ランクのチャンクを選択する。これらのチャンクは単一のコンテキストウィンドウ (SCW) に統合され、最終的なプロンプトが単一のリポジトリによる支配ではなく、ソース間のバランスの取れた構成を反映することを保証する。

主な貢献

1. 問題の定式化: 本論文は、既存の RAG システムにおける決定的な失敗モードを特定した。すなわち、異種混合の KB にわたるグローバルなランキングは、エンタープライズ文書生成に必要なソース構成を維持できないということである。
2. 手法の革新性: W-RAG は、オントロジー誘導型リトリーバル、各 KB 内でのローカルランキング、およびソースレベルの重み付けを組み合わせたフレームワークを導入し、エビデンス構成を制御する。
3. 新しいデータセットとベンチマーク: 著者らは、リトリーバルに基づくエンタープライズ文書生成のための新しいデータセットを導入した。これには、4 つのタイプ（ポリシー、製品発表、M&A デューデリジェンス、アカデミックプログラム）と 4 つのドメイン（AI/デジタルメディア、ヘルスケア、気候/サステナビリティ、金融）にわたる 100 の要件文書が含まれる。このデータセットは、マルチソースのエビデンス合成をテストするために、4 つの異種混合 KB（コーポレート、科学、規制、市場/ニュース）と対になっている。

実験結果
著者らは、GPT-4.1 を生成器として、Claude Sonnet 4.6 を LLM-as-a-judge として使用し、標準的な Vanilla RAG および Ontology-Guided RAG (OG-RAG) ベースラインと比較して W-RAG を評価した。主な知見は以下の通りである：

• 性能向上: W-RAG はベースラインを大幅に上回った。OG-RAG と比較して、要件充足度 (Requirement Satisfaction) で 58.1%、コンテキスト関連性 (Context Relevancy) で 39.1% 向上した。Vanilla RAG と比較すると、それぞれ 109.2% および 96.4% の向上となった。
• ソースの忠実度 (Source Fidelity): 研究では、生成された文書が意図されたソースの分布を反映しているかを判断するために「実現されたナレッジベース忠実度 (Realized Knowledge Base Fidelity)」を測定した。W-RAG は、規定されたリトリーバル重みと、生成されたテキストにおける実際のソース属性との間に強い整合性を示し、イェンセン・シャノン・ダイバージェンス・スコアは中程度から強い一致を示した。
• リトリーバル vs 生成: 結果は、高いリトリーバルの質だけでは高い文書の質を保証しないことを示している。つまり、複数のソースからのエビデンスの「構成」こそが、エンタープライズ要件を満たすために極めて重要である。

意義と主張
本論文は、標準的な RAG の仮定はエンタープライズ文書生成のタスクには適合していないと主張している。リトリーバルされたコンテキストがナレッジベース間でどのように分配されるかを明示的に管理することで、W-RAG はより忠実で完全な文書生成を可能にする。著者らは、マルチソースのエンタープライズ環境においては、「チャンクレベルのランキング品質」と同等に「ドキュメントレベルのエビデンス構成」が重要であると断じている。本研究は、ポリシー、契約、および技術文書の信頼できる合成を行うためには、グローバルな類似性ランキングを超えて、ソース認識型の割り当てへと移行する必要があることを示唆している。

限界
著者らは、彼らの評価が比較的規模の小さい合成データセットに依存しており、それが現実世界のエンタープライズ環境における規模やノイズを完全には捉えきれていない可能性があることを認めている。さらに、評価指標には部分的な主観性が含まれており、本手法はまだオープンドメインや、より構造化されていないリトリーバル環境では検証されていない。