Bridging the Question-Answer Gap in Retrieval-Augmented Generation: Hypothetical Prompt Embeddings

想象一下，你正试图在一大堆杂乱无章的草堆中寻找一根特定的针。但这里有个转折：这堆草堆是由用正式、枯燥语言编写的百科全书条目组成的，而你对那根针的请求，则是一个充满好奇的青少年在兴奋地大声提问。这就是*检索增强生成（RAG）*的日常挣扎。把 RAG 想象成一个超级聪明的机器人图书管理员，它不只是凭自己的记忆来猜测答案（记忆可能会过时或编造事实），而是先跑到图书馆的书架旁寻找真实的文档，然后再回答问题。问题在于，机器人经常会感到困惑，因为人们提问*的方式（疑问式，例如“火山是如何运作的？”）与书籍陈述*事实的方式（陈述式，例如“火山是由……形成的”）完全不同。这种不匹配就像是试图把方榫头塞进圆孔里；机器人的搜索工具往往会错过那本正确的书，因为问题的“形状”与文本的“形状”并不匹配。

为了解决这个问题，科学家们尝试了各种技巧。一种流行的方法叫做 HyDE，它就像是要求机器人先假装回答问题，然后再去图书馆。它生成一个虚假的答案，将其转化为搜索查询，并希望图书馆能找到那本真实的书。但这样做既慢又贵，因为每当有人提出问题时，机器人都必须进行这种“假装”的过程。本文介绍了一种名为 假设性提示嵌入（Hypothetical Prompt Embeddings, HyPE） 的新想法。HyPE 不要求机器人在用户提问的那一刻进行“假装”，而是建议在任何人提问之前就完成所有的“假装”工作。这就像是在图书馆组织过程中，预先写好每一本书可能回答的所有问题，并将这些问题贴在书的脊背上。现在，当一个真实的问题进来时，系统只需进行“问题对问题”的匹配，这非常快速且通常更加准确。

问题所在：“风格差距”

在人工智能领域，存在着一个持久的头疼问题，被称为“风格差距”。当你向计算机提问时，你通常以问题的形式书写：“法国的首都是哪里？”但计算机搜索的文档通常是以陈述句的形式书写的：“法国的首都是巴黎。”

想象一下你在拥挤的房间里找朋友。你在寻找一个戴红帽子的人（问题），但房间里的每个人都穿着蓝色西装（文档）。即使你的朋友就在那里，你的搜索也可能会失败，因为你在寻找错误的“服装风格”。用技术术语来说，这意味着计算机的搜索引擎使用数学方法来衡量两段文本之间的相似度，但由于它们听起来太不一样，往往无法将问题与答案联系起来。

旧的解决方案：“假答案”技巧

研究人员之前尝试用一种称为 HyDE（假设性文档嵌入）的方法来解决这个问题。这个想法很聪明：当用户提出问题时，AI 会立即生成一个简短的虚假答案。然后，它利用这个虚假答案进行搜索。由于虚假答案听起来像真实的文档（两者都是陈述句），所以搜索效果更好。

然而，这种方法有一个巨大的缺点。这就像是每当有人走进门时，都要要求图书管理员写一份虚假的图书摘要。这会为每一个问题消耗额外的时间和成本（计算能力）。如果你有一个繁忙的图书馆，这会拖慢一切速度。

新的解决方案：HyPE（“预写问题”策略）

本文作者提出了一种更聪明的方法，称为 假设性提示嵌入（HyPE）。HyPE 不会在用户提问时才生成虚假答案，而是在“索引”阶段（即图书馆进行整理时）就完成繁重的预处理工作。

以下是 HyPE 的工作步骤：

1. 线下派对： 在任何用户到达之前，系统会提取图书馆中的每一块文本（每一份文档），并询问 AI：“这段特定的文本可以回答哪 5 到 10 个不同的问题？”
2. 标记： 系统随后将这些假设性的问题转化为数学“指纹”（嵌入），并将它们贴在文档上。
3. 匹配： 现在，图书馆不仅拥有文本，还拥有附着在其上的潜在问题列表。
4. 搜索： 当一个真实的用户提问时，系统只需将用户的提问与文档上预先写好的问题进行比较。这是一种 问题对问题 的匹配，因为双方都在提问，所以是完美的契合。

最棒的部分是什么？这是在线下完成的。一旦图书馆组织完毕，系统在用户提问时就不再需要进行任何额外的思考。它只需进行快速的标准搜索。

他们的发现：速度与准确性

研究人员使用六个不同的数据集（从普通的网页搜索到复杂的多步推理任务）测试了 HyPE 对标准方法和“HyDE”方法（即现场生成假答案）的效果。

结果非常令人期待：

• 更高的精确度： 与标准方法相比，HyPE 将找到正确上下文的精确度提高了高达 42 个百分点。简单来说，系统在第一次尝试时就能更好地挑选出确切的文档。
• 更高的召回率： 它将“声明召回率”（找到所有必要信息的能力）提高了高达 45 个百分点。
• 零延迟： 与每次提问都会减慢系统速度的 HyDE 不同，HyPE 为用户的等待时间增加了 零额外时间。沉重的体力活已经在预先完成了。

有趣的是，论文指出 HyPE 在一个名为 MS MARCO 的特定数据集上并没有表现出巨大的优势。作者认为这是因为 MS MARCO 数据集已经包含了非常短小、直接的段落，问题和答案的风格已经非常相似，因此“风格差距”本身就不大。但对于大多数其他数据集，尤其是那些具有较长、更复杂文本的数据集，HyPE 是一个明显的赢家。

这为什么重要

论文表明，HyPE 是一种灵活的升级方案。它并不取代其他酷炫的技术；它是与它们协同工作的。你可以将 HyPE 与其他高级搜索技巧（如重排序——再次检查前排结果，或将复杂问题拆分为较小部分）结合使用。

作者总结道，通过将“假装”的工作从提问时刻转移到组织时刻，我们可以构建出既快速又准确的 RAG 系统。这是一种从“问题对文档”匹配到“问题对问题”匹配的转变，弥合了我们提问方式与信息存储方式之间的鸿沟。虽然论文并未声称这解决了 AI 世界的所有问题，但实验强烈表明，这是一种让 AI 图书管理员更好地完成工作的、高效且极具成本效益的方法。