💬 NLP

DIVERGE: Diversity-Enhanced RAG for Open-Ended Information Seeking

本文介绍了 DIVERGE，一种新颖的代理式 RAG 框架，该框架通过采用反思引导生成和记忆增强的迭代优化来克服标准系统的多样性局限，从而在开放式信息寻求中实现卓越的多样性-质量权衡。

原作者： Tianyi Hu, Niket Tandon, Akhil Arora

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Tianyi Hu, Niket Tandon, Akhil Arora

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对 DIVERGE 论文进行的解释。

问题所在：“回声壁”效应

想象一下，你向一位非常聪明、博学多才的图书管理员（AI）请教如何提高你的编程技能。你期望得到的是一系列不同的策略：比如一个人建议通过做小项目来练习，另一个人建议通过教别人来学习，第三个人则建议研究特定的算法。

然而，目前的 AI 系统往往表现得像个复读机。即使你给这位图书管理员一叠厚厚的、内容丰富的书籍（检索到的信息）供其参考，AI 往往也会忽略这些多样性，而仅仅给出它在没有这些书的情况下也会给出的那个“标准答案”。它会将所有不同的可能性压缩成一个“安全”且标准的响应。

论文将这种现象称为**“知识坍缩”（Knowledge Collapse）**。发生这种情况是因为 AI 被训练得追求自信和一致性，因此它会忽略搜索结果中那些虽然“混乱”但却有趣的替代观点。

解决方案：DIVERGE（“辩论俱乐部”模式）

作者创建了一个名为 DIVERGE 的新系统。DIVERGE 不仅仅是要求 AI “给出一个答案”，而是将过程转变为一个结构化的辩论俱乐部。

以下是它的工作步骤：

第一轮（基准）： AI 根据它找到的内容给出一个标准的答案。
反思（“等等，那……呢？”的时刻）： 系统会审视第一个答案，并询问：“我们遗漏了哪些观点？”它会明确识别出一个尚未被覆盖的新角度（例如：“我们谈到了技术技能，但那么软技能呢？”）。
针对性搜索（“特定任务”）： 系统不再重复搜索“编程技巧”，而是发送一个专门设计的新搜索查询，旨在为那个缺失的角度寻找证据。
精炼（“编辑”）： AI 根据那个特定的新角度生成一个新的答案，确保它不会只是重复第一个答案。
循环： 它重复这个过程，不断检查自己的“记忆”以确保没有重复，直到它拥有一套完整且多样化的答案。

类比：
把标准 AI 想象成一位只会做一种汤的厨师，即使你给了他一篮子 50 种不同的蔬菜，他也只会重复做同一种汤。
DIVERGE 则像是一位会观察篮子的厨师，他会说：“好吧，我做了一份番茄汤。现在，让我们看看蘑菇，做一份蘑菇汤，”然后他又看向辣椒，去做一份辣椒汤。它迫使厨房使用整个篮子里的食材，而不仅仅是第一种食材。

他们如何衡量成功

论文引入了一种新的 AI 评分方式。通常，我们只是问：“答案对吗？”
DIVERGE 则问两个问题：

它对吗？（质量）
它与其他答案不同吗？（多样性）

他们引入了一个“调和得分”（类似于 GPA），平衡了这两者。你既不想要 10 个虽然各不相同但却是错误的答案，也不想要 10 个虽然都完美但完全相同的答案。你想要的是 10 个既完美又各具特色的答案。

实验结果

当他们在现实世界的问题上（如“我该如何提升职业生涯？”或“最好的旅游目的地有哪些？”）测试 DIVERGE 时：

标准 AI + 搜索： 仍然给出重复性的答案。
试图追求多样性的 AI（未使用 DIVERGE）： 给出的答案确实非常不同，但往往质量低下或捏造事实。
DIVERGE： 达到了“金发姑娘区”（即恰到好处的状态）。它产生的答案在整体含义上具有 2.5 倍的多样性，在具体观点上也具有 1.6 倍的多样性，同时保持了与标准 AI 同样高的答案质量。

核心结论

论文声称，仅仅给 AI 更多信息并不足以让它进行创造性思考。你必须构建一个系统，明确地迫使 AI 去寻找不同的视角，并检查它自己的工作以确保它没有在原地打转。DIVERGE 正是这样做的，它让用户能够在不牺牲准确性的情况下，看到更广泛的有效可能性。

技术摘要：DIVERGE —— 用于开放式信息寻求的多样性增强检索增强生成

1. 问题陈述

目前的检索增强生成（RAG）系统主要是在“每个查询都有单一且事实正确答案”的假设下设计的。这种范式导致在开放式信息寻求场景（如头脑风暴、决策支持或探索替代视角）中出现了**知识坍缩（knowledge collapse）**现象，因为在这些场景中，存在多个合理的答案。

本文识别了阻碍标准 RAG 系统生成多样化输出的三个具体挑战：

C1：单答案偏差（Single-Answer Bias）： RAG 范式鼓励过度自信的生成，导致模型倾向于优先考虑一小部分高置信度的检索上下文，而忽略其他虽然合理但具有替代性的信息。
C2：缺乏多样性保持机制（Missing Diversity Preservation）： 现有的机制缺乏长程策略来跨多次生成保持多样性。因此，即使拥有多样化的检索上下文，由于大语言模型（LLM）固有的倾向，模型仍会产生高度相似、同质化的输出。
C3：实际应用性有限（Limited Practical Applicability）： 许多最先进的多样性增强技术依赖于对 token 级 logits 的访问或特定的解码超参数（如 temperature、top-p），而这些在闭源前沿 LLM（如 GPT-5、o3）中是无法获取或受到限制的。

此外，论文指出，仅仅增加检索多样性（例如通过重排序）并不能转化为多样化的生成，且现有的基于提示词（prompt-based）的方法往往以显著的质量下降为代价来换取多样性。

2. 方法论：DIVERGE 框架

作者提出了 DIVERGE（多样性增强检索增强生成），这是一个插件式（plug-and-play）的智能体 RAG 框架，旨在显式地建模多样化的观点，同时保持回答质量。DIVERGE 是一个迭代过程，不需要访问 token logits，因此能够兼容任意 LLM 后端，包括闭源模型。

该框架由三个核心组件组成：

A. 反思引导的观点生成（Reflection-Guided Viewpoint Generation）

为了缓解单答案偏差（C1），DIVERGE 将潜在的模型特征视为“观点”。

初始化： 系统生成初始的 RAG 响应并对其进行总结，以提取现有的观点。
反思： 在随后的迭代中，LLM 对之前探索过的观点集进行反思。
新观点识别： 模型识别出一个新的、覆盖不足的观点，该观点能为原始查询提供一个独特的视角，从而确保生成过程不会坍缩到单一的主导立场。

B. 观点感知型多样性检索（Viewpoint-Aware Diversity Retrieval）

为了解决假设性观点缺乏事实依据的问题（C2），DIVERGE 集成了一个检索机制，针对识别出的特定观点向开放网络查询证据。

查询生成： LLM 根据新观点生成一个条件查询。
多样性感知重排序： 检索器采用扩展的**最大边际相关性（Maximal Marginal-Relevance, MMR）**公式。它根据以下维度对文档进行评分：
1. 与当前以观点为条件的查询的相关性。
2. 相对于前序迭代中所检索文档的多样性（记忆）。
3. 相对于当前迭代内所选文档的多样性。
  这确保了检索到的证据既能支持特定的观点，又能避免与之前探索过的信息产生冗余。

C. 观点条件的生成与精炼（Viewpoint-Conditioned Generation and Refinement）

为了弥合特定观点与用户原始意图之间的差距，DIVERGE 采用了两步生成的流程：

条件化生成： LLM 在同时基于原始查询和目标观点的条件下生成响应。
精炼： 对生成的响应进行精炼，以确保其逻辑连贯、事实准确，并直接回应原始用户查询，防止在引入观点多样性的同时出现过度偏离。

3. 评估指标

意识到依赖地面真值（ground-truth）答案的标准指标不适用于开放式任务，作者引入了一套全新的评估套件，专注于多样性与质量的权衡（diversity–quality trade-off）：

语义多样性 ( $D_{sem}$ ): 使用答案嵌入之间的成对余弦距离，衡量生成响应在意义上的变化。
观点多样性 ( $D_{view}$ ): 将响应分解为原子命题（观点），并测量各响应集合之间互不重叠命题的比例。这捕捉了语义指标可能忽略的响应内多样性。
质量得分: 使用 LLM-as-a-Judge 范式进行评估，衡量事实准确性、证据支持度、内部一致性和问题相关性。
统一多样性-质量调和得分 ( $U_{Q}$ ): 归一化后的多样性得分与质量得分的调和平均数，提供了一个单一指标来比较不同方法的权衡性能。

4. 实验结果

该框架在 Infinity-Chat 上进行了评估，这是一个针对没有地面真值的开放式查询的真实世界基准测试。实验使用了 GPT-5-mini 和 GPT-5.1 模型。

性能： DIVERGE 在所有方法和模型配置中均取得了最高的统一得分（Unified Score）。
多样性增益： 与独立采样（直接提示）相比，DIVERGE 将语义多样性提高了约 2.5 倍，将观点多样性提高了约 1.6 倍。
质量保持： 与遭受显著质量下降的基于提示词的基线方法（如 Verbalized Sampling）不同，DIVERGE 保持了相当的回答质量，质量得分仅有微小的下降（~0.04）。
基线对比： 标准 RAG 和简单的多样性增强策略（如上下文打乱、多查询）未能显著提高多样性，且通常导致更低的统一得分。

5. 重要性与主张

论文声称 DIVERGE 解决了当前基于 LLM 的系统中的一个系统性局限：即无法利用多样化的检索上下文进行开放式信息寻求。

缓解同质化： 通过通过反思和迭代精炼来显式建模多样性，DIVERGE 证明了在无需重新训练或访问内部模型状态（logits）的情况下，可以克服前沿 LLM 的同质化倾向。
实际应用性： 该框架被设计为一个“插件式”解决方案，兼容闭源模型，使其能够立即应用于解码控制受限的现实部署场景。
伦理与社会影响： 作者认为，促进 AI 响应的多样性有助于减轻生成同质化输出的风险，这种输出往往过度代表了主流的社会或文化观点，从而支持更公平、更具包容性的信息获取，并促进人类创造力。

该研究结论指出，在开放式 RAG 系统中，显式建模多样性是平衡响应多样性与事实可靠性这两个经常冲突的目标的有效途径。