技术摘要：面向结构化假设空间的量子启发式迹增强证据选择

1. 问题陈述

大语言模型（LLMs）在通用专家考试中已达到人类水平或更优的表现，但在法律等专业性强、证据密集型的领域仍然表现脆弱。在这些领域中，错误往往并非源于缺乏世界知识，而是源于对证据之间细微差别的辨别能力不足，以及对支持性事实的应用不一致。

目前提高推理能力的流行方法是通过采样多个思维链（Chain-of-Thought, CoT）迹并利用**多数投票（majority vote）**进行聚合。然而，对于证据密集型任务，多数投票存在根本性缺陷，因为它优先考虑最“流行”的答案，而不论其背后的证据是否最为有力。这种方法无法找回那些由高质量证据支持、但在迹的数量中仅占少数的正确答案（即“噪声多数”问题）。此外，前沿模型往往表现出潜在偏见（例如位置偏见），而简单的聚合无法缓解这些偏见。

本文认为，选择推理片段应当被视为一个显式的组合优化问题，而非统计投票练习。其目标是识别出一组证据片段，使其能够基于质量指标（相关性、特异性、区分度）而非频率来最大程度地支持某一假设，从而允许“虽为少数但有理有据”的假设能够超越“噪声多数”。

2. 方法论：EP-HUBO 框架

作者引入了 EP-HUBO（证据池高阶二元优化，Evidence Pool Higher-Order Binary Optimisation），这是一个旨在聚合推理片段并保留“少数但正确”假设的四阶段流水线。该框架被构建为一个高阶无约束二元优化（HUBO）问题，可在经典和量子硬件上求解。

第一阶段：局部迹生成

使用较小的开源权重本地 LLM（如 Qwen3.5-35B 或 OSS-20B）针对每个问题生成 $N$ 条独立的 CoT 迹。这一阶段具有成本效益，避免了使用前沿模型进行初始迹生成时的高昂 API 成本。

第二阶段：证据池化与片段评分

迹根据其提取的最终答案被分组到不同的证据池（$P_\ell$）中。每个池包含从得出特定假设的迹中提取出的推理片段。

• 片段提取： 使用确定性规则和质量过滤器（如最小字数、实体存在性）从原始文本中解析片段。
• 质量评分： 本地 LLM 从三个维度对每个片段进行评分：
  1. 相关性 ($r_i$)： 与问题的联系。
  2. 特异性 ($s_i$)： 具体事实、法规或命名实体的存在。
  3. 区分度 ($d_i$)： 不被其他片段所隐含的逻辑贡献。
• 权重分配： 至关重要的是，这些权重与流行度脱钩。它们不依赖于片段在迹中的出现频率，这与以往使用片段频率作为主要系数的 QUBO 方法（如 QCR-LLM）不同。

第三阶段：HUBO 优化

对于每个证据池，系统通过求解一个 HUBO 问题来选择证据片段子集 ($S_\ell$)，以最小化能量函数 $H_\ell(x_\ell)$：
$$H_\ell(x_\ell) = \sum w^{(1)}_i x_i + \sum w^{(2)}_{ij} x_i x_j + \sum w^{(3)}_{ijk} x_i x_j x_k$$

• 一体项 ($w^{(1)}$)： 源自质量评分 ($r, s, d$)。
• 二体项 ($w^{(2)}$)： 惩罚矛盾并奖励片段间的相互支持。
• 三体项 ($w^{(3)}$)： 奖励连贯性并惩罚对假设的削弱。
• 约束条件： 优化受基数约束（$\|x\|_1 = K$）限制，其中 $K$ 根据池内片段的多样性（Jaccard 距离）进行动态调整。
• 求解器： 该问题使用经典硬件上的**模拟退火（Simulated Annealing, SA）**或来自 Quantum Computing Inc. (QCi) 的 Dirac-3 光子熵量子机器进行求解。Dirac-3 允许直接求解高阶项，无需像 D-Wave 等门控或退火硬件那样进行二次化处理。

第四阶段：前沿模型裁决

仅调用一次强大的前沿 LLM（如 Claude Sonnet 4.6 或 Opus 4.6）。该模型接收问题、所有选项以及针对每个候选答案的 HUBO 选定的证据子集（并标注各自的假设）。前前沿模型充当裁决者，选择受优化后的证据集合支持最强的选项。

3. 核心贡献

1. 证据池 HUBO 框架： 本文定义了一种迹增强的问题形式化方法，将证据选择视为一个结构化的组合优化问题。它引入了逐假设优化的策略，使少数派假设能够有效地与多数派信号竞争。
2. 理论分析： 作者提供了理论分析，证明了：
   • HUBO 权重独立于迹池的大小（不同于基于频率的方法）。
   • 逐池分解在置换不变性下在数学上等同于联合优化。
   • 该框架可以在权重反映频率时恢复多数投票预测，但默认采用基于质量的选择。
   • 该方法为缓解裁决者偏见（如位置偏见）提供了下界。
3. 实证评估： 研究在两个法律基准测试（MMLU-Pro Law 和 LEXam）上评估了 EP-HUBO，使用了两种不同的本地迹生成器和两种前沿裁决器。

4. 实验结果

MMLU-Pro Law（普通法）上的表现

• 对比多数投票 (MV)： EP-HUBO 显著优于 MV。在使用 Opus 裁决器和 Qwen-35B 迹的情况下，实现了 +12.6 个百分点 (pp) 的增益。在使用 OSS-20B 迹时，增益为 +27.9 pp。
• 对比零样本 (Zero-Shot, ZS)： EP-HUBO 相比直接调用前沿模型提供了可衡量的提升。使用 Opus 时，它使 Qwen-35B 迹的 ZS 准确率提升了 +1.5 pp，使 OSS-20B 迹提升了 +0.7 pp。
• HUBO 精确度： 精确度（胜场数与 ZS 总分歧数的比率）在大多数配置下都超过了 50%，这表明当 HUBO 与零样本模型产生分歧时，它更有可能是正确的。

LEXam（瑞士/国际法）上的表现

LEXam 是一个低污染基准，对于前沿模型而言训练数据有限。

• 偏见缓解： 零样本下的 Claude Sonnet 4.6 表现出严重的位置偏见，在 87.7% 的问题中选择了选项 "E"（而实际情况约为 13%），导致准确率为 22.3%。
• EP-HUBO 的影响： 通过选择证据，EP-HUBO 减轻了这种偏见。使用 Qwen-35B 迹时，HUBO+Sonnet 实现了 42.5% 的准确率（比 ZS Sonnet 提升了 +20.2 pp），且 HUBO 精确度达 92.0%。
• 对比多数投票 (MV)： 在 LEXam 上，由于本地模型在该领域的难度较高，MV 表现通常较弱。使用 OSS-20B 迹的 EP-HUBO+Opus 相比 MV 实现了 +23.2 pp 的提升。

量子求解 vs. 经典求解

• LEXam： Dirac-3 量子求解器产生的效果与经典模拟退火（SA）相当。在某些配置下（如 Qwen-35B + Opus），量子求解器略微超过了经典 SA（+1.0 pp）。
• MMLU-Pro Law： 量子求解器的表现比经典 SA 低 5–8 pp。作者将其归因于 Dirac-3 在处理三阶目标时存在 135 个变量的限制。当片段池超过此限制时，系统必须截断交互图，而经典求解器则能在完整的、未截断的 HUBO 景观上运行。

5. 重要性与主张

本文声称 EP-HUBO 提供了一种聚合推理片段的原则性方法，能够保留“虽为少数但正确”的假设，这在模型尚未吸收基准材料的低污染领域中特别有价值。

• 脱离流行度： 其核心意义在于将聚合逻辑从“什么最常见”转向“什么支持最好”，从而允许系统超越噪声多数。
• 暴露偏见： 该框架揭示并缓解了特定的前沿模型特性，例如在处理瑞士法问题时观察到的 Claude Sonnet 严重的位置偏见。
• 量子效用： 该工作展示了量子启发式 HUBO 求解器在特定领域可以与经典方法竞争，前提是管理好硬件约束（如变量限制）。然而，作者对量子优势的描述较为审慎，指出目前其表现与经典 SA 相当，且受限于硬件容量。
• 实际部署： 作者强调，虽然 EP-HUBO 提高了准确性并减少了偏见，但它并不能消除受监管行业中对人工介入审查的需求，因为透明度和所选证据的审计日志仍是至关重要的安全保障。

文章总结道，当本地迹生成器能产生多样化的证据池，且前沿裁决器足够强大以合成优化后的证据，但又不是强到已经记住了基准内容（低污染）时，该方法最为有效。