💻 computer science

Scalable Batch Bayesian Optimization Via Subspace Acquisition Functions

本文提出了一种可扩展的批量贝叶斯优化方法，该方法通过从轴对齐子空间中选择点来提高大批量下的收敛效率，并展示了其相对于现有算法具有竞争力的性能。

原作者： Dawei Zhan, Zhaoxi Zeng, Shuoxiao Wei, Ping Wu

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Dawei Zhan, Zhaoxi Zeng, Shuoxiao Wei, Ping Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在座庞大且雾气弥漫的城市中，寻找一个设立柠檬水摊的最佳位置。你无法同时看到整座城市，而检查每一个角落既耗时又耗钱。这就是科学家们所说的“昂贵黑盒优化问题”（expensive black-box optimization problem）。

贝叶斯优化（Bayesian Optimization）就像拥有一张能随着你的探索而不断学习的智能地图。它会根据你已经发现的情况，来推测哪里可能是最好的柠檬水摊位。通常情况下，这张智能地图会建议你一次只检查一个地点。但如果你有一整支由朋友组成的团队（并行计算），准备好同时去检查多个地点呢？你会希望让他们以“批次”（batch）的形式出发。

问题所在：“选择太多”的陷阱

论文解释说，虽然让你的团队一起出发听起来很棒，但现有的多数方法在团队规模变得过大时就会崩溃。

你可以这样理解：如果你要求智能地图一次选出 100 个地点，它必须考虑整座城市中所有可能的 100 个地点的组合。这些组合的数量会变得极其巨大（就像试图在沙漠中寻找一颗特定的沙粒），导致地图变得不堪重负并变得极其缓慢。这就像是在解一个谜题，每增加一个人，谜题碎片数量就会翻倍。

解决方案：“子空间”捷径

作者提出了一种处理大型团队的聪明新方法，称为子空间采集（Subspace Acquisition）。

他们不再要求智能地图一次从整个城市中挑选 100 个地点，而是告诉地图去观察一些小的、特定的街区（子空间）。

以下是类比：

旧方法： 你问你的团队：“去全城范围内找出最好的 100 个地点！”他们会感到困惑，因为城市实在太大了。
新方法（子空间）： 你告诉你的团队：“我们分头行动。A 组，你们只看南北走向的街道。B 组，你们只看东西走向的街道。C 组，你们负责公园区域。”
- 每个团队成员（或小组）专注于城市中一个微小且易于处理的切片（一个“子空间”）。
- 因为每个切片都更小，智能地图可以轻松找到该切片内的最佳地点。
- 你通过这种方式处理许多不同的切片，突然之间，你就得到了一份包含 100 个待查地点的绝佳清单，而地图从未感到不堪重负。

实际运作方式

论文描述了一种方法，其中计算机会随机挑选不同的“问题切片”（比如挑选不同的维度或坐标来关注）。

它挑选一个切片（例如：“我们只改变前两个变量，并保持其余变量不变”）。
它找到该切片中的最佳地点。
它针对许多不同的切片重复此过程，以构建出一批点集。

实验结果显示

作者在 60 个不同规模的“城市”（数学问题）上测试了这个想法。

小规模团队： 当团队规模较小时，他们的新方法与旧方法表现一样出色。
大规模团队： 当团队规模变大（例如同时有 128 人进行检查）时，旧方法开始失效或变得缓慢。新的“子空间”方法则能保持高效运行并找到更好的解决方案。
高维情况： 当“城市”非常复杂（高维）时，该方法表现尤为出色。通过将问题分解为更小的切片，它避开了“维度灾难”（即变量过多的问题）。

核心结论

论文声称，通过将一个巨大的、复杂的搜索问题分解成许多个更小、更易于处理的“街区”（子空间），你可以更有效地利用并行计算。这是一个简单且无需参数的技巧，它让你在不被问题的庞大规模所拖累的情况下，实现优化工作的规模化扩展。

作者还指出，这个技巧不仅适用于他们主要的方法，还可以应用于其他流行的搜索策略，这使得它成为任何试图优化昂贵流程的人手中通用的工具。

技术摘要：基于子空间采集函数的可扩展批量贝叶斯优化

问题陈述

贝叶斯优化（BO）是解决昂贵、黑盒优化问题的强大框架。虽然标准的 BO 是顺序执行的，即一次只选择一个样本点，但当并行计算资源可用时，这种方法效率较低。为了利用并行性，需要批量贝叶斯优化算法来同时评估多个样本。

然而，现有的批量方法随着批量大小（ $q$ ）的增加面临显著的可扩展性问题：

多点期望改进（qEI）： 虽然在理论上是完善的，但优化 qEI 涉及维度为 $d \times q$ 的搜索空间（其中 $d$ 是问题维度）。随着 $q$ 的增长，评估多元累积分布函数的计算成本以及优化采集函数的难度呈指数级增加，使得 qEI 及其变体（如 FqEI、qLogEI）在处理大批量（通常 $q > 10$ ）时变得不切实际。
启发式方法（例如 Kriging Believer、Constant Liar、Local Penalization）： 这些方法通常依赖于“伪”点或人工惩罚函数来模拟批量效应。随着批量大小的增加，这些人工点的累积会降低高斯过程（GP）模型的准确性，可能误导搜索方向并降低优化效率。
多目标与多模型方法： 训练多个代理模型或求解多目标优化问题的方法往往会产生高昂的计算成本，无法很好地扩展到大规模批量。

本研究解决的核心挑战在于设计一种在面对大规模批量评估时仍能保持计算可行性且有效的批量采集策略，而不受维度灾难或模型退化的影响。

方法论

作者提出了一种名为子空间采集函数的新方法，该方法将现有的采集函数（特别是期望改进 EI，但也适用于 PI 和 UCB）扩展到在随机选择的轴对齐子空间内运行。

核心概念：子空间期望改进（SSEI）

该方法不是同时在全 $d$ 维设计空间中搜索 $q$ 个点，而是：

选择子空间： 随机选择一组轴对齐子空间。一个 $k$ 维轴对齐子空间通过从原始 $d$ 个维度中选择 $k$ 个坐标来定义，同时将剩余的 $d-k$ 个坐标固定为当前最优解（ $x_{min}$ ）的值。
局部优化： 对于每个选定的子空间，标准采集函数（如 EI）仅在 $k$ 个活跃变量上进行优化。未被选择的变量保持在 $x_{min}$ 处固定。
生成批量： 从每个唯一的子空间中选取一个查询点。如果要求的批量大小 $q$ 超过了可用子空间的数量（ $N = 2^d - 1$ ），该方法则采用子空间多点期望改进（SSqEI），在单个子空间内优化多个点。

计算框架

所提出的算法（算法 1）运行如下：

初始化： 生成初始样本并训练 GP 模型。
子空间选择： 随机抽取一个整数 $k \in [1, d]$ ，然后随机组合 $k$ 个坐标以形成一个子空间。这避免了枚举所有可能子空间的计算开销。
采集优化：
- 如果 $q \le N$ ：选择 $q$ 个不同的子空间，并在每个子空间中优化标准 SSEI 以找到一个点。
- 如果 $q > N$ ：将 $q$ 个点分配到可用的 $N$ 个子空间中（通过 SSqEI 在每个子空间内优化多个点）。
评估： 并行评估生成的 $q$ 个点。
更新： 使用新的观测值更新 GP 模型并重复上述过程。

采集函数的优化维度从 $d \times q$ 降低到大约 $k \times 1$ （或对于 SSqEI 为 $k \times q_i$ ），其中预期维度 $E[k] \approx d/2$ 。这显著降低了采集优化的复杂度。

核心贡献

可扩展的批量策略： 本文引入了一种方法，通过将批量选择解耦为独立或低维的子空间优化，将贝叶斯优化扩展到大批量，从而避免了 qEI 的指数级复杂度。
简洁性与通用性： 该方法不需要额外的超参数，并且适用于广泛的采集函数（已在 EI、PI 和 UCB 上得到验证）。其概念非常简单：“抽取子空间，局部优化，聚合”。
对维度的鲁棒性： 通过将搜索限制在锚定于当前最优解的轴对齐子空间中，该方法自然地平衡了探索（通过随机子空间选择）与利用（通过在 $x_{min}$ 附近的局部搜索），使其在高维空间中特别有效。

实验结果

作者在 60 个合成基准问题（GPMean、SumSquares、Rosenbrock 等）上，针对维度 $d \in \{2, 4, 8, 10, 20, 30\}$ 和批量大小 $q \in \{1, 2, 4, 8, 16, 32, 64, 128\}$ ，将所提出的方法（SSEI）与十种最先进的批量算法（包括 qEI、qLogEI、FqEI、TuRBO、MSMR、MACE、PEI、EIMI、KB 和 Random Search）进行了对比评估。

性能 vs. 顺序 BO： 当 $q=1$ 时，SSEI 在低维问题上表现出与标准 EI 相似的性能，但在高维问题（ $d \ge 8$ ）上显著优于后者。作者将其归因于顺序 EI 在高维空间中难以优化采集函数，而 SSEI 的局部子空间搜索能找到更好的采集函数局部最优解。
随批量大小的可扩展性：
- 中小批量（ $q \le 32$ ）： SSEI 在以墙钟时间（迭代次数）衡量时实现了近乎线性的加速，同时在以函数评估次数衡量时，保持了与其他批量方法相当或更好的性能。
- 大批量（ $q = 128$ ）： SSEI 显著优于所有对比的批量算法，包括在这一规模下表现失效或显著退化的 qEI 变体。所提方法收敛更快，并能找到更好的最终解。
与特定算法的比较：
- vs. qEI/qLogEI/FqEI： SSEI 表现更优，尤其是在 $d$ 和 $q$ 增加时，因为它避免了 $d \times q$ 的维度灾难。
- vs. TuRBO： SSEI 具有竞争力，在低到中等维度上通常优于 TuRBO，在高维度上与之持平。
- vs. 基于惩罚的方法（PEI、EIMI、KB）： SSEI 一致优于这些方法，因为后者随着批量大小的增加会遭受模型退化。
泛化能力： 子空间方法成功应用于概率改进（SSPI）和置信上限（SSUCB），展示了与其多点对应版本（qPI、qUCB）类似的性能提升。

重要性与主张

论文声称，所提出的子空间采集函数为批量贝叶斯优化提供了一种简单、高效且可扩展的解决方案。其主要意义在于，能够在不产生现有方法所带来的计算瓶颈或精度退化的情况下，利用大规模并行计算资源（大 $q$ ）。

作者强调：

该方法有效地缓解了采集函数优化中的维度灾难。
它在全局探索（通过随机子空间选择）和局部利用（通过固定未选变量）之间提供了实用的权衡。
它是一种“即插即用”的扩展，可以应用于各种采集函数，对于并行评估可行的昂贵优化问题特别有价值。

研究结论认为，从多个不同子空间中选择查询点是实现大规模批量贝叶斯优化的一种极具前景的策略，与当前最先进的方法相比，在收敛速度和解的质量方面均有显著提升。