🤖 machine learning

B3O: Scalable Boltzmann Batch Bayesian Optimization

本文介绍了 B3O，这是一个可扩展的贝叶斯优化框架，它通过将批量生成重新定义为从采集函数的玻尔兹曼分布中进行直接采样问题，从而在保持理论遗憾保证的同时，克服了现有方法的计算瓶颈和多样性限制，并在复杂的工程任务中展示了卓越的性能。

原作者： Maximilian Bloor, Liyuan Xu, Hrvoje Stojic, Victor Picheny

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Maximilian Bloor, Liyuan Xu, Hrvoje Stojic, Victor Picheny

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正试图为新菜品寻找完美配方的厨师。你的食材（时间与金钱）有限，而且每次烹饪一批次（batch）都需要很长时间来品尝结果。你的目标是尽可能快地找到最完美的配方。

在计算机科学和工程领域，这被称为贝叶斯优化（Bayesian Optimization, BO）。这是一种聪明的寻找问题最优解的方法，而无需尝试每一个可能的选项。

通常情况下，你会一次只测试一个配方。但现代计算机非常强大，可以同时烹饪许多个配方（即一个“批次”）。挑战在于：如何挑选出一组既能足够不同以探索新想法，又足够相似以确保极具潜力的配方？

现有方法的缺陷

论文指出，现有的挑选批次的方法主要有两个缺陷：

速度太慢： 一些方法试图一次性计算出所有配方的完美组合。随着批次规模的增长，数学计算变得极其沉重，甚至会导致计算机崩溃（就像试图同时解开一个拥有百万块拼图碎片的谜题）。
容易陷入局部最优： 其他方法为了追求速度而选择逐个挑选配方，但这会导致选出的配方都非常相似（比如你选了100种不同版本的“香辣意面”，却完全错过了“甜点”）。这被称为缺乏多样性（Diversity）。

解决方案：B3O（玻尔兹曼批量贝叶斯优化）

作者提出了一种名为 B3O 的新方法。B3O 不去试图“计算”出完美的批次，而是将其视为一场抽奖或一次天气预报。

以下是使用简单类比的核心思想：

想象“采集函数”（Acquisition Function）是一张山脉地图。最高的山峰代表着最好的配方（最有希望的解决方案）。

旧方法试图通过为每一位登山者计算最陡峭的路径来攀登。这非常耗费体力，且往往导致整个团队都聚集在同一个山峰，从而错过了其他山脉。
B3O 使用了玻尔兹曼分布（Boltzmann Distribution）的概念。你可以把它想象成笼罩在地图上的神奇迷雾。
- 迷雾在最高峰处最浓厚（代表最好的位置）。
- 但在低矮的小丘甚至山谷中，依然存在着一些薄雾。
- “温度”控制着迷雾的浓度。
  - 高温： 迷雾很稀薄且分布广泛。人们四处游走，探索整张地图。
  - 低温： 迷雾很浓厚，紧紧聚集在最高的山峰周围。人们会停留在最好的地方。

B3O 仅仅是从这种迷雾中进行随机采样。

因为迷雾在山峰处自然更浓厚，所以你更有可能选到好的位置。
因为迷雾并不只存在于山峰，所以你仍然会选到一些小丘的位置，从而确保不会错过隐藏的宝藏。
神奇之处： 你挑选 1,000 个人（一个巨大的批次）所花费的时间，仅相当于以前挑选 10 个人所需的时间。它能够完美扩展，因为你不需要为每个人进行复杂的数学计算；你只需要让“迷雾”发挥作用即可。

为什么这很重要？

论文声称取得了三大胜利：

快速且可扩展： 无论你是想测试 10 个还是 1,000 个配方，B3O 都能轻松应对。它不会被复杂的数学运算所困。
具备理论智慧： 作者在数学上证明了这种“抽奖”方法几乎与完美的、缓慢的计算方法一样出色。通过这种采样方式，你并不会损失多少效率。
具有灵活性： 它适用于各种问题。
- 电池设计： 他们利用它来设计更好的锂离子电池，平衡能量与功率。
- 赛车调校： 他们用它来调校一辆 Formula E 赛车，其中包含连续变量（如重量）和离散变量（如档位比）。

“秘密武器”：温度

让这一切奏效的关键是**温度（Temperature）**参数。

在开始阶段，当你对情况一无所知时，保持高温。这会让算法进行广泛探索，就像一个在陌生城市里到处游览的游客。
随着你了解得越多，你可以降低温度。这会让搜索更加聚焦，就像一个正在锁定最佳餐厅的游客。
有趣的是，作者发现你甚至不需要随时间改变温度。保持恒定的温度通常同样有效，这使得该方法非常易于使用。

总结

B3O 是一种运行并行实验的新方法。它不再试图通过解决复杂的数学谜题来挑选下一个测试批次，而是利用一种统计学上的“迷雾”，自然地筛选出一组既具有多样性又充满潜力的测试方案。它更快、能处理超大规模批次，并且适用于从设计电池到调校赛车的所有领域，同时在数学上被证明是高度高效的。

技术摘要：B3O（可扩展玻尔兹曼批次贝叶斯优化）

1. 问题定义

本文解决了在需要对昂贵黑盒函数进行大规模并行评估的场景下，批次贝叶斯优化 (Batch Bayesian Optimization, BO) 面临的挑战。在现代工程工作流（例如，基于模拟的设计、分子筛选）中，每个迭代步需要同时查询 $B$ 个候选点。

现有策略面临着可扩展性与多样性之间的权衡：

联合后验方法（如 q-EI, q-UCB）： 这些方法在联合后验上优化多点采集函数。虽然它们隐式地捕捉了多样性，但需要评估涉及 $O(B^3)$ 次 Cholesky 分解的高维期望，并在 $B \cdot d$ 维空间上进行优化，这使得大规模 $B$ 的情况变得难以处理。
贪婪/排斥启发式方法（如局部惩罚法/Local Penalization）： 这些方法通过序列化选择将复杂度降低到 $O(B)$ ，但依赖于往往无法有效捕捉联合不确定性的启发式算法，导致生成的批次出现聚集且次优的情况。
可扩展汤姆森采样 (Scalable Thompson Sampling, TS)： 该方法优化独立的后验轨迹。然而，依赖于谱近似（如随机傅里叶特征/Random Fourier Features）的实际实现会遭受方差匮乏 (variance starvation) 问题，即轨迹会坍缩到一组狭窄的模态上，无法有效地探索采集景观。此外，这些方法通常受限于平稳核和高斯过程 (GP) 代理模型。

核心问题在于开发一种能够随批次大小 $B$ 线性扩展、保持多模态探索能力，并且对特定代理模型或采集函数保持不可知性的批次 BO 算法。

2. 方法论：B3O

作者提出了 B3O (Boltzmann Batch Bayesian Optimization)，它将批次生成重新定义为一个纯采样问题，而非优化问题。

核心机制

B3O 不再优化采集函数 $\alpha_t(x)$ 或采样后验轨迹，而是直接从由边际采集函数定义的 玻尔兹曼（吉布斯）分布 中抽取 $B$ 个独立同分布 (i.i.d.) 的样本：
$p_t(x) = \frac{\exp(\lambda_t \alpha_t(x))}{Z_t(\lambda_t)}$
其中：

$\alpha_t(x)$ 是点向采集函数（例如 UCB, LogEI, EHVI）。
$\lambda_t$ 是控制探索（多样性）与利用（exploitation）权衡的反温度参数。
$Z_t(\lambda_t)$ 是归一化常数。

关键设计选择

边际 vs. 联合： 通过从边际采集密度而非联合后验中采样，B3O 避免了 $O(B^3)$ 的计算瓶颈。生成批次仅需 $B$ 次 i.i.d. 抽取，实现随 $B$ 线性扩展。
温度调度： 文中探讨了两种 $\lambda_t$ $λ_{t}$ 的机制：
- 调度型 (Scheduled)： $\lambda_t$ 随时间增加（例如 $\lambda_t \propto \sqrt{t \log t}$ ），以鼓励初期的多样性和后期的收敛。
- 恒定型 (Constant)： 全程使用固定的 $\lambda$ 。实证结果表明，这种方式通常足够且鲁棒。
采样器不可知性 (Sampler Agnosticism)： 该框架将 BO 循环与采样机制分离。
- 对于连续空间，使用 DEFER（递归划分）等全局采样器。
- 对于混合连续-离散空间，可以通过更换为 Metropolis-Hastings 变体来使用，而无需改变核心 BO 逻辑。
代理模型不可知性 (Surrogate Agnosticism)： 由于该方法仅依赖于边际采集函数的点向评估，因此它兼容任何提供边际预测的代理模型（如稀疏变分高斯过程、贝叶斯神经网络），这与通常需要特定核分解的基于轨迹的 TS 不同。

3. 理论贡献

本文针对与上置信界 (UCB) 采集函数结合的 B3O-UCB 提供了有限时间累积遗憾分析。

遗憾界限 (Regret Bound)： 在序列设置下 ( $B=1$ )，作者证明了从玻尔兹曼分布中采样仅会产生相对于贪婪最大化的微不足道的加性惩罚。
速率： 使用反温度调度 $\lambda_t = O(\sqrt{t \log t})$ 时，累积遗憾的上界为 $O(\sqrt{T} + \sqrt{C_1 T \beta_T \gamma_T})$ 。这恢复了标准的 GP-UCB 遗憾速率（仅差一个微不足道的项），从理论上验证了用采样代替最大化并不会显著损害优化性能。
假设： 证明假设从真实的玻尔兹曼分布进行精确采样，并且在最大值附近采集函数的曲率存在二次下界。

4. 实证结果

作者通过合成基准测试、多目标设计以及混合变量优化对 B3O 进行了评估。

合成基准测试

设置： 在 Shekel-4D、Ackley-5D 和 Hartmann-6D 上进行了测试，批次大小分别为 $B=100$ 和 $B=5$ 。
表现：
- 在所有基准测试中，所有 B3O 变体均优于可扩展汤姆森采样 (TS) 和随机搜索。
- 在多模态函数（Ackley, Hartmann）上，B3O 变体的表现达到或超过了序列化期望改进 (Seq-EI)，展示了对并行资源的有效利用。
- 使用恒定温度的 LogEI 在 Ackley 和 Hartmann 上始终获得批次方法中最低的遗憾。
- 使用调度温度的 UCB 在 Shekel 上对于逃离深层局部极小值最为有效。
- 在小批次场景 ( $B=5$ ) 下，B3B 能够与 q-EI 和局部惩罚法竞争，后者在面对噪声代理模型时，在处理高维内部优化和排斥启发式方面表现挣扎。

现实应用

多目标电池电极设计：
- 任务： 使用基于物理的模拟器，最大化锂离子电池的比能量和功率。
- 设置： 在 600 次评估预算内与 NSGA-II 和序列化 EHVI 进行比较 ( $B=50$ )。
- 结果： B3O 仅用 12 个批次迭代就达到了与序列化 EHVI 基准相当的帕累托前沿（Pareto front）。恒定温度变体比调度变体展现出更优的多样性和最终超体积（hypervolume）。
混合变量赛车配置：
- 任务： 为一辆 Formula E 赛车最小化圈速和能耗，包含 4 个连续变量和 2 个离散变量。
- 设置： 与可扩展 TS 和序列化混合变量 LogEI 基准进行比较。
- 结果： B3O 变体的收敛速度明显快于 TS（TS 需要数百次迭代），并实现了更低的最终目标值。这突显了 B3O 在无需重新设计 BO 循环的情况下，通过更换采样器即可处理混合空间的能力。

5. 重要性与主张

本文声称 B3O 提供了一个统一且可扩展的框架，用于解决批次贝叶斯优化中固有的“可扩展性-多样性”权衡问题。

可扩展性： 它通过将复杂的联合优化或轨迹采样替换为单一的采样步骤，实现了线性 $O(B)$ 的扩展。
鲁棒性： 它对代理模型、采集函数和搜索空间类型（连续、约束、多目标或混合）均具有不可知性。
理论基础： 它提供了基于玻尔兹曼采样的批次 BO 的首次遗憾分析，表明该方法保留了标准的收敛速率。
实用性： 作者强调，简单的恒定温度调度通常就足够了，这使得该方法易于部署，无需复杂的超参数调优。

论文总结道，B3O 有效地规避了基于轨迹方法的“方差匮乏”问题以及联合后验方法的计算瓶颈，使其成为大规模并行黑盒优化的鲁棒解决方案。未来的工作建议包括自适应温度方案以及将遗憾分析扩展到一般批次大小 $B > 1$ 的情况。