技術要約：DIVERGE – オープンエンドな情報探索のための多様性強化型検索拡張生成

1. 問題提起

現在の検索拡張生成（RAG）システムは、あらゆるクエリに対して単一の事実的に正しい回答が存在するという仮定の下で設計されることが主流です。このパラダイムは、オープンエンドな情報探索（例：ブレインストーミング、意思決定支援、あるいは代替的な視点の探索）において、**知識の崩壊（knowledge collapse）**を引き起こします。こうしたシナリオでは、複数の妥当な回答が存在し得るためです。

本論文は、標準的なRAGシステムが多様な出力を生成することを妨げている3つの具体的な課題を特定しています。

• C1: 単一回答バイアス（Single-Answer Bias）: RAGのパラダイムは過剰に自信に満ちた生成を促し、モデルが代替的だが妥当な情報を無視して、限定的で高信頼なサブセットの検索コンテキストを優先させてしまう原因となります。
• C2: 多様性保持の欠如（Missing Diversity Preservation）: 既存のメカニズムには、複数の生成プロセスにわたって多様性を維持するための長期的な戦略が欠けています。その結果、たとえ検索されたコンテキストが多様であっても、大規模言語モデル（LLM）固有の傾向により、モデルは非常に類似した均質化された出力を生成してしまいます。
• C3: 実用的な適用性の制限（Limited Practical Applicability）: 最先端の多様性強化技術の多くは、トークンレベルのロジットや特定のデコーディング・ハイパーパラメータ（例：temperature、top-p）へのアクセスに依存していますが、これらはクローズドソースの最前線モデル（例：GPT-5、o3）では利用できないか、制限されています。

さらに、本論文は、単に検索の多様性を高めること（例：リランキングによる）が、必ずしも生成の多様性に直結しないこと、また既存のプロンプトベースの手法は、多様性を達成する代償として大幅な品質低下を招くことが多いことを指摘しています。

2. 手法：DIVERGEフレームワーク

著者らは、回答の品質を維持しながら、多様な視点を明示的にモデル化するように設計された、プラグアンドプレイ型のエージェント的RAGフレームワークであるDIVERGE（Diversity-Enhanced Retrieval-Augmented Generation）を提案しています。DIVERGEは、トークンロジットへのアクセスを必要とせずに反復的なプロセスを実行するため、クローズドソースのモデルを含む任意のLLMバックボーンとの互換性があります。

このフレームワークは、以下の3つのコアコンポーネントで構成されています。

A. 反省に基づいた視点生成（Reflection-Guided Viewpoint Generation）

単一回答バイアス（C1）を軽減するために、DIVERGEは潜在的なモデルの特徴を「視点（viewpoints）」として扱います。

1. 初期化: システムは初期のRAGレスポンスを生成し、それを要約して既存の視点を抽出します。
2. 反省（Reflection）: 後続のイテレーションにおいて、LLMはこれまでに探索された視点の集合について反省します。
3. 新しい視点の特定: モデルは、元のクエリに対して異なる視点を提供する、十分にカバーされていない新しい視点を特定します。これにより、生成プロセスが単一の支配的な立場へと崩壊することを防ぎます。

B. 視点認識型多様性検索（Viewpoint-Aware Diversity Retrieval）

仮説的な視点に対する事実的根拠の欠如（C2）に対処するため、DIVERGEは特定された視点に応じた証拠をウェブ上で検索するメカニズムを統合しています。

• クエリ生成: LLMは、新しい視点に基づいた条件付きのクエリを生成します。
• 多様性を考慮したリランキング: リトリーバーは、拡張された**最大周辺適合性（Maximal Marginal-Relevance: MMR）**の定式化を採用しています。これは、以下の要素に基づいてドキュメントをスコアリングします：
  1. 現在の視点に基づいたクエリへの関連性。
  2. 以前のイテレーションで取得されたドキュメントに対する多様性（メモリ）。
  3. 現在のイテレーション内で選択されたドキュメントに対する多様性。
     これにより、検索されたエビデンスが特定の視点を支持すると同時に、以前に探索された情報との冗長性を回避することを保証します。

C. 視点条件付き生成と洗練（Viewpoint-Conditioned Generation and Refinement）

特定の視点とユーザーの元の意図との間のギャップを埋めるために、DIVERGEは2段階の生成プロセスを採用しています。

1. 条件付き生成: LLMは、元のクエリとターゲットとなる視点の両方に明示的に条件付けられたレスポンスを生成します。
2. 洗練（Refinement）: 生成されたレスポンスは、論理的な一貫性、事実の正確性、および元のユーザーのクエリへの直接的な回答を確保するために洗練されます。これにより、導入された多様性を維持しつつ、過度な逸脱を防ぎます。

3. 評価指標

標準的な正解（グラウンドトゥルース）に依存する指標は、オープンエンドなタスクには適さないことを認識し、著者らは多様性と品質のトレードオフに焦点を当てた新しい評価スイートを導入しています。

• 意味的多様性（Semantic Diversity: $D_{sem}$）: 回答の埋め込みベクトル間のペアワイズ・コサイン距離を用いて、生成されたレスポンス間の意味の変化を測定します。
• 視点多様性（Viewpoint Diversity: $D_{view}$）: レスポンスを原子的な主張（視点）に分解し、一連のレスポンス間における相互に重複しない主張の割合を測定します。これは、意味的指標が見逃す可能性のある、レスポンス内の多様性を捉えます。
• 品質スコア（Quality Score）: LLM-as-a-Judgeパラダイムを用いて、事実の正確性、エビデンスによる裏付け、内部の一貫性、および質問への関連性を評価します。
• 統一多様性・品質調和スコア（Unified Diversity–Quality Harmonic Score: $U_{Q}$）: 正規化された多様性と品質のスコアの調和平均であり、異なる手法のトレードオフ性能を比較するための単一の指標を提供します。

4. 実験結果

フレームワークは、正解のないオープンエンドなクエリの現実世界のベンチマークであるInfinity-Chatを用いて評価されました。実験にはGPT-5-miniおよびGPT-5.1モデルが使用されました。

• パフォーマンス: DIVERGEは、すべてのメソッドおよびモデル構成において最高の**統一スコア（Unified Score）**を達成しました。
• 多様性の向上: 独立サンプリング（直接プロンプティング）と比較して、DIVERGEは意味的多様性を約2.5倍、視点多様性を約1.6倍向上させました。
• 品質の保持: 品質の大幅な低下を招いたプロンプトベースのベースライン（例：Verbalized Sampling）とは異なり、DIVERGEは同等の回答品質を維持し、品質スコアの低下はわずか（約0.04）でした。
• ベースライン比較: 標準的なRAGや単純な多様性強化戦略（例：コンテキストのシャッフル、マルチクエリ）は、多様性を有意に高めることができず、しば_しばより低い統一スコアとなりました。

5. 重要性と主張

本論文は、DIVERGEが現在のLLMベースのシステムにおける系統的な限界、すなわちオープンエンドな情報探索において多様な検索コンテキストを活用できないという問題に対処していると主張しています。

• 均質化の抑制: 反省と反復的な洗練を通じて多様性を明示的にモデル化することにより、DIVERGEは、モデルの内部状態（ロジット）へのアクセスや再学習を行うことなく、最前線モデルの均質化傾向を克服できることを示しています。
• 実用的な適用性: 本フレームワークは、デコーディング制御が制限されている環境でも即座に適用可能な、クローズドソースモデルとの互換性を持つ「プラグアンドプレイ」のソリューションとして設計されています。
• 倫理的および社会的影響: 著者らは、AIの回答における多様性を促進することは、支配的な社会的または文化的視点を過剰に代表する均質化された出力のリスクを軽減し、それによって、より公平で包括的な情報アクセスを支援し、人間の創造性を育むことに繋がると主張しています。

結論として、本研究は、オープンエンドなRAGシステムにおいて、レスポンスの多様性と事実的な信頼性という、しばしば相反する目的のバランスを取るための、明示的な多様性モデリングが有効な道であることを示しています。