技术摘要：LLM 搜索代理的推理时预算控制

1. 问题形式化

本文解决了在明确的、硬性的双重预算下部署大语言模型（LLM）搜索代理的挑战：工具调用次数限制（$B_{tool}$）和输出令牌数限制（$B_{tok}$）。虽然先前的工作已通过重复采样或自我优化探索了测试时扩展，但这些方法通常将计算视为仅基于令牌的资源。然而，对于搜索代理而言，如果未明确管理，额外的预算可能导致冗余检索、浪费的分支以及脆弱的上下文增长。

核心问题被形式化为一个两阶段推理时控制问题：

1. 搜索时动作分配：在每一步，代理必须决定如何在异构动作之间分配剩余的双重预算：检索证据（SEARCH）、分解问题（DECOMPOSE）或提交答案（ANSWER）。这些动作在成本和潜在回报上各不相同，且最优选择取决于当前的证据状态和剩余预算。
2. 答案时最终化：搜索终止后，代理必须决定是保留轨迹的基础答案（$a_{base}$）还是用优化后的候选答案（$a_{ref}$）替换它。这一决策必须在精确性的潜在提升与“干预危害”的风险之间取得平衡——即通过不必要的重写抹除正确的桥接结构或改变比较语义。

目标是在双重预算约束和答案替换带来的预期危害约束（$E[L_{harm}] \leq \rho_{harm}$）下，最大化预期奖励 $E[R(\hat{a}, y)]$。

2. 方法论

所提出的方法 VOI（信息价值） 是一个无需训练的两阶段控制器，构建在通用的树搜索骨干（受 BAVT 启发）之上。

阶段 1：搜索时预算分配

控制器通过任务级 VOI 分数对可行选项进行评分，从而选择下一个动作。该分数是对单位预算边际任务价值的操作性估计，区别于香农信息增益或学习到的价值模型。

• 效用构建：对于每个动作 $k$，计算任务级效用 $u_t(k)$ 如下：
  $$u_t(k) = \hat{\Delta}_t(k) + \Psi_t(k) - \Pi_t(k; b_t)$$
  • $\hat{\Delta}_t(k)$：由批评器（critic）导出的进展信号。
  • $\Psi_t(k)$：结构信号（例如，桥接结构、循环压力、就绪状态）。
  • $\Pi_t(k; b_t)$：一个依赖预算的惩罚项，当剩余预算紧张时，该惩罚项会对 SEARCH 和 DECOMPOSE 动作增加，作为神谕影子成本的代理。
• 归一化与防护：效用通过特定动作的预算尺度进行归一化，以生成 VOI 分数 $r_t(k)$。随后，确定性防护算子 $G_t$ 调整该分数，以强制执行保守行为（例如，抑制过早的答案，强制对组合性问题进行最低限度的搜索）。
• 选择：选择并执行具有最高受防护可执行分数的动作。

阶段 2：答案时最终化

一旦搜索结束，一个选择性、基于证据的最终化器评估是否重写答案。

• 收益 - 风险权衡：最终化器比较基础答案 $a_{base}$ 和基于相同轨迹构建的优化候选答案 $a_{ref}$。仅当预期精确度收益超过损害答案的风险时，才进行干预。
• 安全集（$S_{safe}$）：重写仅限于低风险场景，例如纠正是/否极性、二元选择、类型槽位不匹配，或补全有支持的琐碎事实。
• 弃权：如果轨迹包含未解决的桥接结构、比较语义或缺乏直接支持，系统则放弃重写，因为在这种情况下激进的重写往往会损害正确性。
• 零开销：此阶段不增加新的工具调用或 LLM 推理调用；它是对现有候选答案的确定性选择策略。

3. 主要贡献

1. 两阶段形式化：本文将 LLM 搜索代理中感知预算的推理形式化为一个耦合问题，即在硬性双重预算下，涉及搜索时动作分配和受控风险的答案最终化。
2. 任务级 VOI 控制：引入了一种无需训练的评分器，根据估计的单位预算边际任务价值对动作进行排序，无需学习价值模型即可整合依赖预算的惩罚项和结构信号。
3. 受控风险最终化：提出了一种保守的答案选择器，仅针对局部答案形式错误进行干预，明确避免破坏正确的多跳推理路径。
4. 实证验证：该方法在四个多跳问答基准（HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle）、三个 LLM 骨干（Qwen3-32B, Qwen3.5-122B, GPT-5.4-Mini）以及四个预算级别下进行了评估，并接受了严格的共享硬性预算审计。

4. 实验结果

• 总体增益：在测试设置中，VOI 在四个经审计的基线（BAVT, BATS, AFlow, Search-o1）上均产生了正向的总体增益。在 Qwen3-32B 上，它在 16 个数据集 - 预算单元格中的 7 个实现了最佳 F1 分数，并在另外 2 个中并列最佳，分别在 14/16、10/16、16/16 和 15/16 个单元格中优于基线。
• 预算敏感性：最显著的改进发生在低预算和较低中预算区间，在此区间内，谨慎的动作分配对于避免在低收益动作上耗尽资源至关重要。
• 组件消融：
  • 搜索时控制：移除依赖预算的惩罚项会导致最大的性能下降，证实了感知预算的动作分配是增益的主要驱动力。
  • 最终化：阶段 2（最终化）提供了显著增益（在 MuSiQue 上高达总增益的 41.9%），主要是在搜索轨迹充足但包含局部答案形式错误时。在错误属于结构性的数据集（如 MuSiQue）上，其贡献较小。
• 效率：与 BAVT 相比，VOI 控制器平均将推理时间减少了 27.2%，因为它避免了原本会消耗预算的低价值操作。

5. 意义与主张

本文主张，推理时预算控制对于 LLM 搜索代理至关重要，它既管理预算在搜索期间的消耗方式，也管理最终答案的提交方式。

• 非单调扩展：结果表明，更大的预算并不总是产生更好的答案；如果没有明确控制，增加的预算可能导致冗余搜索和更嘈杂的最终化。
• 边界条件：该方法的有效性并非均匀分布。它在更强的骨干网络（如 Qwen3.5-122B）上显示出边际收益递减，并且在高预算区间内，像 BATS 这样的基线仍具有竞争力。
• 安全性与可部署性：通过明确建模答案替换的风险并执行硬性预算审计，该方法使代理行为更加可预测和可检查，这对于在成本受限或延迟敏感的环境中部署至关重要。

作者强调，他们的方法并不声称搜索树的全局最优性，而是提供了一种局部的、决策级的控制机制，能够在严格的资源约束下显著提升性能。