技术摘要：超越置信度：通过检索锚定实现多轮搜索智能体的测试时缩放

1. 问题陈述

现代大语言模型（LLMs）越来越多地作为多轮搜索智能体发挥作用，它们检索外部文档并基于检索到的上下文进行推理。虽然基于置信度的投票（通过内部信号如 token 对数概率对并行展开进行加权）已被证明在单轮推理中非常有效，但本文证明了这种方法在多轮搜索智能体上的迁移效果很差。

识别出的核心问题是复制膨胀（copy-inflation）。当检索到的文档被附加到智能体的上下文中时，模型生成输出中从这些文档复制的 token 会接收到系统性膨胀的对数概率。这种现象之所以发生，是因为模型本质上是在“鹦鹉学舌”已存在于其上下文窗口中的文本。因此：

• 在单个问题内，置信度分数会趋于平坦，因为正确和错误的展开由于都从上下文中复制内容，都会获得相似的高置信度。
• 加权多数投票会退化为简单的多数投票，失去了区分高质量和低质量轨迹的能力。
• 投票信号会被环境衍生的上下文所污染，而不是反映模型真实的推理置信度。

现有的解决方案，如轨迹感知聚合器（需要额外的 LLM 调用）或基于强化学习（RL）的重校准（需要微调），未能解决根本原因，或引入了难以承受的推理成本。

2. 方法论：检索锚定投票 (RGV)

为了解决复制膨胀问题，作者提出了检索锚定投票（Retrieval-Grounded Voting, RGV），该方法将投票信号从受污染的模型上下文转移到其外部，具体利用了检索日志（retrieval log）。

核心机制

RGV 不使用 token 对数概率，而是根据智能体最终答案的文本内容与其在该特定轨迹中检索到的文档之间的词汇重叠度来为每个展开评分。

• 评分计算： 对于一个具有答案文本 $P_i$ 和检索文档 $D_i = \{d_1, \dots, d_{m_i}\}$ 的展开 $i$，权重 $w_i$ 定义为最大文本召回率：
  $$w_i = \max_{d \in D_i} \frac{|T(P_i) \cap T(d)|}{|T(P_i)|}$$
  其中 $T(\cdot)$ 表示归一化的 token 集合（转为小写、去除标点/Markdown、去除停用词）。
• 设计选择：
  • 文档最大值（Max-over-docs）： 评分基于单个最佳匹配文档，而非所有文档的并集。这可以防止无关文档稀释强支撑性段落的信号。
  • 文本侧归一化（Prose-side Normalization）： 分母是答案文本的大小，而非答案与文档的并集。这确保了得分对文档长度具有不变性，无论支持文本的长短，都能奖励那些有据可查的答案。
• 投票规则： 计算出的权重被用于标准的加权多数投票。答案字符串在经过轻量级归一化（转小写、合并空格、去除冠词）后进行聚类，以确定最终输出。

关键特性

• 外部信号： 该信号源自环境的检索日志，使其独立于模型的隐藏状态。
• 高效性： RGV 无需额外的 LLM 调用，无需提取对数概率，也无需微调。它产生的 CPU 开销极低（每个展开约 0.3 毫秒）。

3. 核心贡献

1. 诊断复制膨胀： 本文识别并量化了“复制膨胀”这一导致基于置信度的投票在搜索智能体中失效的机制。研究表明，复制的 token 携带了膨胀的对数概率（比非复制 token 高出 0.50 nats），从而压缩了问题内的置信度方差，使加权投票失效。
2. 检索锚定投票 (RGV)： 作者提出了一种投票层解决方案，通过从被污染的上下文之外读取信号。通过衡量答案在检索文档中的词汇锚定程度，RGV 完全绕过了对数概率的膨胀问题。
3. 实证验证： 在四个基准测试和五种 LLM 上的广泛实验表明，RGV 始终优于简单的多数投票和基于对数概率的置信度投票（DeepConf）。

4. 实验结果

作者在四个多轮搜索智能体基准测试（BrowseComp-Plus, BrowseComp, GAIA, FRAMES）上评估了 RGV，使用了五种 LLM（包括 Tongyi-DeepResearch, GPT-OSS-120B, MiniMax-M2.7, Kimi-K2.5, GLM-5.1）。

• 整体性能： RGV 在所有 20 个“基准测试 $\times$ 模型”配置中均达到了最高准确率。
• 准确率提升： RGV 比最佳基线（DeepConf）在绝对准确率上高出高达 +5.4%。
• 少数正确问题： 最显著的提升出现在“难以投票”的问题上，即正确答案仅出现在 8 次展开中的 1 或 2 次（少数正确）。在这些问题上，RGV 比 DeepConf 提高了 +35% 的准确率。这是因为 DeepConf 由于复制膨胀无法区分正确的少数派和错误的多数派，而 RGV 能正确识别出具有最强锚定性的展开。
• 缩放效率： RGV 在 4 次展开时的准确率即可匹配 DeepConf 在 8 次展开时的表现，有效地将等效性能所需的展开预算减半。
• 信号有效性： 分析确认，RGV 的信号是由稀有实体匹配（数字、大写实体）而非常见词或冗余度驱动的。RGV 得分与金标准文档召回率高度相关（$r=0.57$），表明它成功衡量了检索质量。

5. 重要性与主张

本文声称，当上下文被检索到的证据污染时，环境衍生信号（检索日志）比模型内部信号（对数概率）能为多轮搜索智能体的测试时缩放提供更可靠的基础。

• 泛化性： 对复制膨胀的诊断不仅限于投票；作者指出，任何依赖 token 级置信度（例如早期停止、路由、幻觉检测）的机制在多轮搜索智能体中都容易受到同样的失效模式影响。
• 成本效益： RGV 提供了一种高性能的替代方案，无需像聚合器那样增加额外的 LLM 调用，也无需像强化学习（RL）那样进行微调，其计算开销微乎其微。
• 局限性： 作者指出 RGV 继承了检索系统的质量；如果检索失败，RGV 无法恢复。此外，RGV 衡量的是表面重叠而非蕴含关系，这意味着它可能会被“锚定良好但错误”的答案误导，即模型正确地复制了一个包含事实错误内容的文档。该方法目前仅在英语任务上进行了评估。

总之，本文认为对于多轮搜索智能体，投票层必须看向模型上下文之外，以避免复制膨胀带来的混淆效应，并且检索文档中的词汇锚定是衡量答案正确性的一个鲁棒且低成本的代理指标。