💬 NLP

QUBO-Optimized Evidence Selection for Retrieval-Augmented Question Answering with Unconventional Solvers

本文提出了一种用于检索增强问答的 QUBO 优化框架，该框架将证据选择建模为一个离散能量最小化问题，以高效识别针对多跳问题的紧凑且互补的段落子集，在保持具有竞争力的答案生成性能的同时，为高成本的基于大语言模型的选择器提供了一种可扩展的替代方案。

原作者： Rahul Singh, Madhav Vadlamani

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rahul Singh, Madhav Vadlamani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解开一个棘手的谜题，比如“登月时谁是总统？”为了得到正确答案，你不能只是随便抓取前三本提到“月球”或“总统”的书。你需要一组能够完美契合的特定线索：一本关于登月的书，一本关于总统任期的书，或许还有第三本用来将两者联系起来。如果你抓取的书太多，故事会变得混乱；如果你抓错了书，你就会陷入困境。

这正是加州大学圣塔芭芭拉分校和佐治亚理工学院的研究人员正在用一种新的**检索增强生成（RAG）**方法解决的问题。把 RAG 想象成一个超级聪明的机器人，它在回答问题之前会先阅读一整个图书馆的文档。通常，这个机器人只是根据一个简单的评分来抓取“前 3”个最相关的文档，就像图书管理员递给你三本封面上有最多“月球”词汇的书一样。但对于复杂的、多步骤的问题，这往往是不够的。机器人可能会错过一个关键的桥梁事实，或者被重复的信息所迷惑。

核心理念：将线索选择转化为一个谜题

作者们并没有要求一个庞大且昂贵的 AI（大型语言模型，简称 LLM）去阅读数百份文档并猜测该选哪些，而是建议将选择过程转化为一个被称为 QUBO（二次无约束二元优化）的数学谜题。

它是如何运作的，让我们用一个有趣的类比来说明：
想象你是一名侦探，正试图为一起案件构建完美的“证据板”。你面前有一堆 1 hope 100 个潜在的线索（段落）。

旧方法： 你只是挑选看起来最亮眼或关键词最多的 5 个线索。
新的 QUBO 方法： 你把每一个线索都看作一个开关，它可以是开启（1）或关闭（0）。你的目标是拨动这些开关，创造出一个“低能量”状态。

在这个谜题中，“能量”代表了你的证据板有多糟糕。你想要的是低能量，这意味着：

高相关性： 如果你选取的线索确实能回答问题，你会获得奖励（降低能量）。
全覆盖： 你会获得奖励，以确保问题的每一个部分至少被一个线索所覆盖。
无冗余： 如果你选取的两个线索表达的意思完全相同，你会受到惩罚（增加能量）。
互补性： 如果你选取的线索彼此不同但能共同解决整个谜题，你会获得奖励。
紧凑性： 如果你选取的线索过多，你会受到惩罚，从而保持证据板的整洁。

神奇之处在于，这整个平衡过程都被写成了一个单一的数学方程。一旦设置好方程，你就不需要让巨大的 AI 再次阅读文本。你只需要将方程交给一个专门的求解器（它可以是标准计算机、一种“量子启发式”机器，甚至是未来的量子计算机）来找到翻转开关的最佳组合。

论文实际发现了什么（以及没发现什么）

研究人员在 HotpotQA 上测试了这个想法，这是一个充满了棘手、多跳问题的基准测试。他们将这个 QUBO 侦探与几种其他方法进行了比较：

简单 Top-K： 仅仅抓取排名靠前的文档。
MMR（最大边际相关性）： 一种试图避免重复的方法。
SetR 式 LLM： 使用一个巨大的 AI 来显式地选择一组文档。

结果：
QUBO 方法表明它是一个非常强力的竞争者。在对 500 个示例的测试中：

QUBO 选择器实现了 0.6500 的精确匹配（EM）得分和 0.7866 的 F1 得分。
这与基于 LLM 的“SetR”方法极其接近，后者的得分分别为 0.6540 EM 和 0.7930 F1。
QUBO 方法在需求覆盖率方面实际上做得更好（达到了 0.9893，而 SetR 为 0.9847），这意味着它在确保涵盖问题所有部分方面略胜一筹。

至关重要的是，论文排除了你必须使用巨大的 LLM 来进行选择步骤这一观点。他们证明了你可以将“思考”（挑选正确的线索）与“回答”（撰写最终句子）这两个步骤分离。LLM 仍用于生成问题和最终答案，但挑选线索的繁重工作被交给了这个高效的数学求解器。

作者确定的是（以及他们只是在猜测的是）

在模拟中得到证实： 作者使用模拟退火求解器（一种模仿金属冷却寻找最优解的标准计算机算法）进行了这些测试。他们明确表示，虽然他们并不假设存在“普遍的量子加速”，但他们的方法旨在与未来的硬件（如量子退火器或数字退火器）兼容。
并非万能灵药： 论文承认 QUBO 方法并没有以巨大的优势“击败”基于 LLM 的选择器；它表现得非常“具有竞争力”。事实上，在某些特定的测试中，LLM 选择器在最终答案得分上略好一些，但 QUBO 方法在覆盖所有必要信息需求方面更加一致。
“为什么”很明确： 通过“消融实验”（即关闭数学方程中的某些部分），他们发现相关性和需求覆盖率是成功的最大驱动力。其他花哨的术语（如惩罚冗余）有助于使选出的线索集更紧凑、更有组织，即使它们并不总是能显著改变最终的答案得分。

底线

这篇论文提出了一种构建更聪明问答系统的新方法。与其让一个庞大的 AI 去猜测应该阅读哪些文档，我们可以将选择过程转化为一个结构化的优化谜题。这使得我们可以使用专门的、可能更快且更节能的硬件（如量子启发式机器）来挑选出完美的线索集，而将庞大的 AI 仅用于最后的表演——即撰写答案。

这就像雇佣一个超快速的机器人帮你从一百万份文件中筛选出完美的 5 份，以便那个昂贵的“天才”只需要阅读这 5 份并撰写报告。论文表明，这种方法在执行任务时几乎与要求“天才”亲自进行分类的效果一样好，但这为未来更快速、更廉价的系统打开了大门。

技术摘要：面向检索增强问答的 QUBO 优化证据选择

问题陈述

检索增强生成（RAG）系统依赖于选择合适的证据段落集，以辅助答案生成。然而，标准的检索流水线通常采用“检索后重排序”（retrieve-then-rerank）的方法，即根据单个相关性得分选择前 $k$ 个段落。这种策略在处理多跳问题（multi-hop questions）时往往表现不佳，因为这类问题需要结合分布在多个段落中的互补信息才能得出答案。虽然最近基于大语言模型（LLM）的方法将检索视为一个集合选择问题以解决此问题，但这些方法引入了高昂的计算成本和扩展性难题。此外，简单地增加检索段落的数量可能会由于上下文长度限制和“迷失在中部”（lost in the middle）现象而导致性能下降。核心挑战在于：如何选择一个紧凑、非冗余的段落子集，使其在不依赖昂贵的迭代式 LLM 推理进行选择步骤的前提下，能够共同满足多个信息需求。

方法论

作者提出将证据选择建模为一个**二次无约束二值优化（QUBO）**问题。该方法在检索与答案生成阶段之间引入了一个结构化的优化层。

1. 流水线概述：
所提框架分为五个阶段运行：

需求分解： 将输入查询分解为特定的信息需求。
候选池构建： 通过标准检索器（稀疏、稠密或混合检索）获取候选段落池。
评分： 针对相关性、需求支持强度、成对冗余度和互补性，为段落分配语义得分。
QUBO 公式化： 这些得分用于参数化 QUBO 目标函数。
求解器与生成： QUBO 求解器识别最优的二值段落子集，随后将其传递给下游语言模型进行答案生成。

2. QUBO 公式化：
问题定义在二值变量 $x_i \in \{0, 1\}$ 上，其中 $x_i=1$ 表示选中段落 $p_i$ 。目标函数 $E(x)$ 旨在通过平衡以下因素来最小化能量（最大化效用）：

相关性与支持度： 奖励具有高相关性得分（ $s_i$ ）以及能提供直接或部分支持的段落。
覆盖度： 鼓励选择能够覆盖所有生成的生成信息需求的段落，并区分部分支持与直接支持。
冗余性与互补性： 惩罚支持重叠需求的段落对（冗余），并奖励支持不同或互补需求的段落对（互补）。
紧凑性： 惩罚不支持任何需求的段落，并对总选定段落数（ $K$ ）实施预算约束。

通过引入松弛变量和针对约束（如覆盖一致性和预算限制）的惩罚项，将受限优化问题转换为无约束的 QUBO 形式。最终目标表示为 $\min v^\top Q v$ ，其中 $v$ 是包含段落选择、覆盖指标和松弛变量的二值变量向量， $Q$ 是系数矩阵。

3. 求解器兼容性：
通过将问题转化为 QUBO 形式，选择步骤可以兼容各种非常规求解器，包括模拟退火、量子退火器、数字退火器、相干伊辛机（Coherent Ising Machines）以及门控量子算法。这实现了组合选择逻辑与语义答案合成的解耦。

核心贡献

公式化： 本文首次将需求感知的 RAG 上下文选择表述为 QUBO 问题，将其视为离散二值子集选择问题，而非排序或提示任务。
统一目标： 推导出了一个单一的、求解器兼容的能量函数，该函数共同编码了段落相关性、需求覆盖度、支持强度、冗余减少、互补性、紧凑性以及选择预算约束。
模块化架构： 作者提出了一个解耦了语义预处理、组合上下文选择和答案生成的流水线，允许每个组件被独立替换。
硬件路径： 该工作为使用专门的 Ising/QUBO 硬件进行选择阶段开辟了路径，与重复的基于 LLM 的重排序相比，可能提供更低的延迟和更高的能效。

结果

所提 QUBO 选择器在 HotpotQA 干扰设置（多跳问答）上进行了评估，并与以下对象进行了对比：

基于 LLM 的基准模型： 使用 LLM 直接选择证据集的 SetR 型选择器（SetR 和 SetRO）。
非 LLM 基准模型： BM25、相关性 top- $k$ 、最大边际相关性（MMR）、混合词法-语义排序、贪婪覆盖以及随机选择。

主要发现：

性能 vs. LLMs： QUBO 选择器取得了与 SetR 型 LLM 选择器相当的精确匹配（EM）和 Token-F1 分数。具体而言，其 EM 分数与 SetR 基准值的差距仅为 0.004，F1 分数的差距为 0.0064。值得注意的是，QUBO 选择器在所有对比方法中实现了最高的需求覆盖度。
性能 vs. 非 LLMs： QUBO 选择器达到了非 LLM 基准中的最佳 EM 分数，并在 F1 分数上接近相关性 top- $k$ 和 MMR，显著优于 BM25 和随机选择。
消融实验：
- 答案层面： 相关性和需求覆盖度被确定为对下游答案准确性贡献最强的因素。虽然完整的 QUBO 目标函数包含了关于结构（冗余、互补）的项，但这些项并不总是比简单的仅相关性目标带来更高的精确匹配得分，这表明结构质量与即时答案指标之间存在权衡。
- 集合层面： 完整的 QUBO 目标函数成功控制了证据集的结构，与移除冗余或不支持段落惩罚的变体相比，选择了更紧凑、更高效的子集。

意义与主张

本文声称，多跳证据选择可以有效地转化为一个结构化的离散优化问题。其主要意义在于该方法的模块化：它允许将计算昂贵的组合选择步骤交给专门的 QUBO/Ising 求解器（经典或量子启发式），从而将 LLM 主要保留用于语义测量和答案生成。

作者保持了审慎的态度，指出虽然他们并不假设存在普遍的量子加速，但该公式化提供了一种“求解器兼容”的表示形式，这对于候选池和成对交互随语料库规模增长的大规模 RAG 流水线极具吸引力。这项工作表明，未来的检索流水线可以利用非常规硬件进行选择阶段，从而在不牺牲当前 LLM 选择方法所提供的竞争性答案质量的前提下，实现更低的延迟和潜在更高的能效。

技术摘要：面向检索增强问答的 QUBO 优化证据选择

问题陈述

方法论

核心贡献

结果

意义与主张

类似论文