🤖 AI

Exploit More, Explore Smarter for Budget-Constrained Agentic Search

本文介绍了 ExTS，一种新颖的树搜索策略，它通过判别式奖励塑造、随机虚拟子节点和质量条件分支，将扩展视为一种信息价值决策，从而优化了受预算约束的智能体搜索，与标准方法相比，在多种任务中实现了持续的性能提升。

原作者： Haoyang Fang, Bernie Wang

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoyang Fang, Bernie Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，出现了一类新的系统，它们不仅能回答问题，还能主动寻找解决方案。这些“智能体”（agentic）系统就像数字探险家，提出想法、测试想法，并一遍又一遍地优化其最佳猜想。无论是编写计算机代码、设计化学化合物，还是解决复杂的逻辑谜题，这些智能体都依赖于一个“生成与验证”的循环：它们创建一个候选方案，通过测试来观察其效果如何，然后利用反馈来创造更好的版本。然而，这个过程是昂贵的。每当系统生成一个新想法或运行一次测试时，它都会消耗一种有限的资源：计算预算。在许多现实场景中，这种预算非常紧张，仅允许进行几十次或几百次尝试，之后系统就必须停止。研究人员面临的核心挑战在于，如何明智地使用这笔有限的预算。如果系统将尝试浪费在死胡同里，它就无法找到最优解；如果它过于谨慎，它可能会错过就在极具前景的路径前方几步之遥的突破。

多年来，导航这些搜索树的标准方法一直是一种借鉴自游戏算法的策略，该策略平衡了两种相互竞争的本能：探索（exploration）与利用（exploitation）。探索意味着尝试未经测试的新路径以观察其是否具有潜力，而利用则意味着深入挖掘那些已经显示出良好结果的路径。传统方法对搜索树中的每一个新分支都保持一定程度的好奇心，通常在致力于任何单一路径之前，会先扩展所有可用的选项。当有充足的时间和资金去探索一切时，这种方法效果很好。但在现代 AI 智能体这种高风险、预算受限的世界里，这种“尝试一切”的方法往往会失败。它将有限的资源过度分散在宽而浅的树结构中，导致最有希望的想法无法得到充分开发。系统最终得到的是一张包含许多平庸方案的宽泛地图，而不是对少数优秀方案的深度理解。

为了解决这个问题，亚马逊 AGI（Amazon AGI）的研究人员引入了一种名为 ExTS 的新搜索策略。与其盲目地扩展每一个分支，这种新方法将创建新分支的决策视为一种精算的投资。它在花费任何预算之前都会问一个关键问题：创建一个新路径的潜在价值是否值得其成本？系统通过观察自身成功与失败的历史来实现这一点。如果某条推理线路产生了许多失败的尝试，系统就会学会停止扩展该路径，转而将精力集中在那些已经奏效的线条上进行深化。它有效地过滤掉了噪声，忽略了那些在旧系统中会消耗宝贵资源的死胡同。

研究人员在四个截然不同的领域测试了这种方法：优化语言模型的指令、生成计算机代码、从光谱数据中推导分子结构以及设计自动化工作流。在每种情况下，他们都给了新系统与旧方法相同的紧凑预算。结果是一致的。通过更聪明地决定在哪里花钱，新系统始终比为每个特定任务设计的专门方法找到了更好的解决方案。例如，在优化问答问题的提示词任务中，与之前的最佳方法相比，新方法的准确率提高了 10% 以上。在代码生成方面，它解决了更多困难的问题，找到了旧方法错过的解决方案。即使是在高度技术化的分子结构鉴定领域（即系统必须根据光谱特征推断分子的形状），新方法在相同尝试次数下也实现了更高的准确率。

这一成功背后的一个关键洞察是，新系统不仅看单次尝试的分数，还观察分数的模式。在许多这类任务中，好方案与卓越方案之间的差异非常微妙，分数可能彼此非常接近。旧方法难以分辨，将所有选项视为大致相等。新系统使用一种技术来放大这些微小的差异，使其能够区分出一个稍好的路径和一个真正优秀的路径。它还使用了“虚拟子代”（virtual child）的概念来模拟如果创建新分支可能会发生什么。通过对以往成功经验的采样，它可以在不实际消耗预算构建新路径的情况下，估算新路径的价值。如果模拟表明新路径不太可能取得成果，系统就会跳过它，转而深入研究已证实的路径。

研究人员还发现，并非所有的搜索问题都是相同的。有些任务容易频繁失败（大多数尝试都会导致错误），而有些任务则比较稳定。有些任务的分数会随着新发现而剧烈波动，而有些则保持稳定。新系统足够灵活，可以适应这些不同的景观。通过运行一个小型的初步测试来了解问题的性质，系统可以调整其策略以匹配特定任务的挑战。这种适应性使其能够在各种领域中表现出色，而无需为每个领域设计一套全新的设计。

这项研究表明，AI 智能体如何使用其计算预算，与其拥有的智能水平同样重要。通过将搜索过程重新设计得更具选择性，并对自身进展的质量保持更高觉察，系统可以用同样的努力实现显著更好的结果。这种方法为构建更高效的 AI 智能体提供了实践指南，使它们能够在不需要无尽计算能力的情况下解决复杂问题。研究结果表明，在未来，最有效的 AI 系统不一定是那些尝试最多的系统，而是那些准确知道哪些事情值得一试的系统。

技术总结：在预算受限的智能体搜索中，实现“更多利用，更聪明探索”

问题定义

本文探讨了预算受限的智能体搜索（budget-constrained agentic search），即大语言模型（LLM）智能体必须在严格的评估预算下，迭代地提出并优化候选对象（例如提示词、代码、分子结构）的情境。在这些场景中，验证过程成本高昂，生成过程需要多次模型调用，或者两者兼而有之。总预算通常被限制在数十次或数百次调用以内。

作者指出，标准的蒙特卡洛树搜索（MCTS），特别是应用于树结构的置信区间上界（UCT）策略，在这一机制下表现不佳，主要由于三个结构性局限：

探索奖励占主导地位（Exploration-bonus dominance）： 在访问次数较低时，探索项占据主导，导致算法将无前景的节点视为与有前景的节点同样具有吸引力。
强制全量扩展（Forced full expansion）： 标准 MCTS 强制在深化一条有前景的链之前先扩展所有兄弟节点，从而在无前景的分支上浪费预算。
评分无关的分支决策（Score-agnostic branching）： 扩展决策独立于节点质量；算法不会根据节点的得分是否值得投入成本来进行分支控制。

现有的解决方案通常侧重于“框架”（包裹搜索的框架）或针对特定任务类型开发定制算法（例如用于代码的汤姆森采样、用于提示词的帕累托前沿选择），缺乏一种能够适应多样化智能体问题的统一策略。

方法论：ExTS

作者引入了 ExTS（Exploit More, Explore Smarter，即“更多利用，更聪明探索”），这是一种通过重新设计节点选择和扩展决策来协同工作的树搜索策略。ExTS 将扩展本身视为一个**信息价值（Value-of-Information, VOI）**决策。它通过三个核心机制运行：

1. 判别式奖励塑造（Discriminative Reward Shaping）

为了解决原始验证得分聚集在狭窄范围内的现象（导致节点看起来吸引力相当），ExTS 对奖励应用了一个非线性塑造函数 $\phi$ 。

机制： 它使用一个受温度控制的凸函数 $\phi(r) = \frac{e^{\hat{r}/T} - 1}{e^{1/T} - 1}$ （其中 $T < 1$ ）来压缩低分并放大高分。
成功率加权： 它结合了成功率权重 $(n^+_v / n_v)^\alpha$ ，以对那些子树产生大多无效输出（失败）的节点进行惩罚。
结果： 这创造了有效的选择信号，即使在原始得分紧密聚集的情况下，也能让算法区分不同的候选对象。

2. 通过虚拟子节点进行 VOI 估计（VOI Estimation via the Virtual Child）

ExTS 将扩展重新定义为在“深化现有链”与“创建新分支”之间的决策。

机制： 在任何内部节点处，ExTS 会计算一个**虚拟子节点（virtual child）**得分。这个虚拟子节点代表了创建一个新分支的预期价值。
采样： 虚拟子节点的得分通过从父节点的奖励历史（包括父节点自身的得分）中采样 $k$ 个得分，并应用塑造函数来估计。采样数 $k$ 与“公平份额（fair-share）”访问次数成正比，捕捉了有限样本的不确定性。
决策： 算法将最佳真实子节点的得分与虚拟子节点的得分进行比较。如果虚拟子节点的得分更高，算法会选择当前节点进行扩展（创建新分支）；否则，它会递归进入最佳的真实子节点。这使得搜索能够在不先完全扩展无前景兄弟节点的情况下，深化有前景的链。

3. 基于质量的分支控制（Quality-Conditioned Branching）

ExTS 根据节点质量限制扩展，以防止预算浪费。

扩展门控（Expansion Gate）： 非根节点仅在验证得分超过总体得分的 $\tau$ -分位数时才被允许扩展。低于阈值的节点仍可被访问和更新，但不能产生新的子节点。
质量门控的渐进式拓宽（Quality-Gated Progressive Widening）： 只有当节点的质量足以证明其成本合理时（即高于 $\gamma$ 分位数的节点），最大分支因子才会随着访问次数的增加而增长（渐进式拓宽）。低分节点的 branching factor 保持在较小的初始值 $M_0$ 。

核心贡献

统一策略： ExTS 提供了一个单一的固定配置，在提示词优化、代码生成、分子结构阐明和智能体工作流优化四个不同领域中，均能与特定任务的基线方案竞争或实现超越。
结构性重构： 不同于以往仅调整探索常数的做法，ExTS 引入了结构化机制（虚拟子节点、质量门控）来决定何时以及何处进行扩展，而非仅仅决定如何探索。
试运行诊断（Pilot-Run Diagnostics）： 作者引入了四种诊断指标（ $\hat{\sigma}_A$ , $\hat{\sigma}_f$ , $\kappa$ , $\rho$ ）来表征任务的搜索景观。这些指标解释了为什么不同的任务会对不同的配置做出不同反应，并为调整超参数（例如，针对低漂移任务调整温度 $T$ ，或针对高失败率任务调整成功指数 $\alpha$ ）提供了实践指导。

实验结果

ExTS 在四个领域进行了评估，使用了单一固定配置以及基于试运行诊断调整了 1-2 个超参数的改进版本（ $ExTS^*$ ）。

提示词优化 (HotpotQA, HoVeR)： ExTS 在 HotpotQA 上比 GEPA Pareto 基线提升了 10.8%（方差降低了 6.4 倍），并在 HoVeR 上表现持平。经过调整的 $ExTS^*$ 在 HotpotQA 上进一步提升至 66.00%。
代码生成 (LiveCodeBench)： 在“困难（hard）”拆分集上，ExTS 实现了 19.1% 的 pass@1，优于 AB-MCTS-A (17.1%) 和标准 MCTS (18.1%)。固定配置实现了 46.2% 的总 pass@1，而改进版 ( $ExTS^*$ ) 达到了 47.4%。
分子结构阐明 (K-MSE)： ExTS 比 K-MSE 基线在精确匹配准确率上提升了 1.3%（91.0% 对比 89.8%）。
智能体工作流优化 (DROP)： ExTS 实现了帕累托支配（Pareto dominance），平均准确率为 90.96%（具有最低的方差和成本），优于 CoT 和 AFlow 基线。改进版 ( $ExTS^*$ ) 将平均准确率进一步提升至 91.54%。
预算缩放（Budget Scaling）： ExTS 展示了更高效的“预算-性能”转化能力，特别是在迭代优化至关重要的困难实例上。在低预算（如 $B \approx 8$ ）时，它就已超越标准 MCTS，并随着预算增加，差距不断扩大。

重要性与主张

本文声称 ExTS 代表了从“调整探索常数”向**“搜索策略结构性重构”**的转变。作者认为，在预算受限的机制下，决定“是否”进行扩展与决定“访问哪个”子节点同样重要。

泛化性： 一个单一的固定配置即可在结构迥异的领域中表现出色，这表明奖励塑造、虚拟子节点估计和质量门控等机制解决了 MCTS 在验证密集型搜索中的根本局限。
适应性： 试运行诊断提供了一个理解智能体搜索问题“形状”的实用框架，解释了为什么没有一种配置能普遍占优，并为轻量化适配提供了路径。
效率： 通过将扩展建立在质量门控之上，并将其视为 VOI 决策，ExTS 将预算从广度优先探索转向选择性精炼，从而以相同或更低的计算成本实现了更优的性能。

作者也指出了局限性，包括由于 API 成本原因在每个领域仅依赖单一模型，以及试运行诊断描述的是特定配置视角下的景观而非本质的领域属性。然而，他们证明了即使在不进行试运行适配的情况下，ExTS 依然优于或匹配了专门化的基线方案。