🤖 machine learning

Bridging Spherical Black-Box Optimizers

本文将进化策略、基于共识的优化以及通过积分进行的优化统一到一个基于适应度聚合与共识范围的通用理论框架中，从而能够创建出在各种高维任务中有效平衡性能、鲁棒性和多峰搜索能力的混合优化器。

原作者： Johannes Ackermann, Stefano Peluchetti

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Johannes Ackermann, Stefano Peluchetti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个广袤且大雾弥漫的地形中寻找最低点。你看不清整张地图，也没有指南针（梯度）来告诉你哪边是下坡。你只能迈出一步，检查一下高度，然后决定下一步往哪走。这就是**黑盒优化（Black-Box Optimization）**的世界。

长期以来，研究人员一直在使用不同的“探险队”来解决这个问题，但这些队伍很少互相交流。这篇论文充当了一个翻译官，展示了这些不同的团队实际上在做非常相似的事情，只是规则略有不同。通过理解这些联系，作者构建了更擅长寻找最佳位置的新型“混合型”团队。

以下是使用简单类比对论文思想的拆解：

1. 两大主要探险队

论文识别出了人们尝试寻找谷底底部的两种主要方式：

“云团”团队（参数化方法）： 想象一个围绕着一个猜测值展开的、巨大的、模糊的探索者云团。他们向四周扩散，检查地形，然后整个云团向他们发现的最佳位置移动。
- 例子： 进化策略（ES）和基于积分的优化（OVI）。
- 缺陷： 他们擅长快速找到一个好的位置，但容易困在仅仅一个山谷里。如果存在多个山谷，他们可能会错过其他的。此外，取决于他们如何计算“最佳”位置，他们可能会偏好宽阔平坦的山谷（安全但可能不是绝对最深），或者尖锐狭窄的峰值（最深但具有风险）。
“人群”团队（非参数化方法）： 想象一大群散布在景观中的个体探索者。他们彼此交流。如果看到邻居表现出色，他们就会向邻居靠拢。
- 例子： 基于共识的优化（CBO）。
- 缺陷： 他们擅长同时寻找多个不同的山谷（多峰性）。然而，在极高维度的景观中（比如一个1,000维的迷宫），人群会感到混乱并在协调上遇到困难。

2. “主方程”：通用翻译器

作者发现这两个团队实际上都在遵循同一个基本配方，他们称之为主更新（Master Update, MU）。你可以把它看作一本通用的说明书。

这个配方有两个主要的旋钮，决定了团队的行为：

“锐度”旋钮（适应度聚合）： 他们如何定义什么是“好”？
- 他们是平均得分（偏好宽阔、平坦的山谷）？
- 还是集中关注极高的分数（偏好尖锐、深邃的峰值）？
“范围”旋钮（共识范围）： 团队听谁的？
- 他们是听取组内所有人的声音（全局共识）？这会导致产生一个单一的赢家。
- 还是只听从他们的邻居（局部共识）？这允许小组分裂开来，寻找多个不同的赢家。

3. 新型混合探险者

通过调节这两个旋钮，作者创造了结合了旧团队优点的新型“混合”方法。

混合 A：“金发姑娘”优化器 (ES-OVI)

问题： 有时你想要一个极其完美（锐利）的方案，但有时你想要一个鲁棒（稳健）且在环境发生轻微变化时不会失效（平坦）的方案。
解决方案： 作者构建了一种方法，让你可以在“ES”（偏好平坦、安全的山谷）和“OVI”（偏好尖锐、深邃的峰值）之间滑动调节。
现实世界测试： 他们在机器人控制任务（如让机器人跳跃或奔跑）上测试了该方法。他们发现，通过调节滑块，可以在性能（机器人的速度）和鲁棒性（机器人处理噪声或错误的能力）之间进行权衡。如果机器人的传感器噪声很大，你就选择一个更“平坦”的设置来提高稳定性。

混合 B：“带大脑的集群” (CBO-OVI / AdaPol)

问题： “人群”团队（CBO）擅长寻找多个解，但在高维空间会失败。而“云团”团队（OVI）在高维空间表现出色，但只能找到一个解。
解决方案： 他们创建了一种方法，首先像“云团”团队一样快速缩减范围，锁定到地图中一个有潜力的区域。一旦接近，就切换到“人群”模式，以便在该区域内分裂并寻找多个不同的优选方案。
现实世界测试： 他们将此用于AI模型合并。想象你有三个不同版本的聊天机器人，每个版本各有所长。你想把它们混合在一起以获得最好的效果。这种“如何混合”的景观充满了许多局部陷阱。他们的混合方法成功找到了多种良好的混合配方，而旧方法则会陷入其中一个。

4. 为什么这很重要

这篇论文不仅仅是在说“我们做了一个新工具”。它是在说，“我们意识到这些工具其实是同宗同源的”。

对于从业者： 如果你正在尝试解决一个问题，现在你知道你不必只选一种工具。你可以混合使用。如果你需要鲁棒性，请调高“平坦度”旋钮。如果你需要寻找多个选项，请调高“局部交互”旋钮。
对于未来： 作者表明，通过理解底层的数学逻辑，我们可以构建比其组成部分更聪明的优化器。他们证明了这不仅适用于标准的数学谜题，也适用于机器人控制任务，甚至是在复杂的大语言模型合并领域。

简而言之： 这篇论文将两种不同的探索哲学——一种专注于单一、平滑路径的探索，以及一种专注于分散、多路径搜索的探索——结合在一起，并展示了它们其实是同一枚硬币的两面。通过混合它们，他们创造出的探险者能够比以往更好地处理高精度的挑战以及复杂的、多选项的问题。

技术摘要：桥接球面黑盒优化器

问题陈述

在无法或难以计算梯度信息的情况下（例如通过模拟器、外部 API 或强化学习进行优化），黑盒优化（Black-Box Optimization, BBO）方法至关重要。目前的 BBO 文献被划分为不同的家族：参数化方法（如进化策略 ES、通过积分优化 OVI）和非参数化、基于粒子的方法（如基于共识的优化 CBO 及其变体）。虽然这些方法已被独立研究并与梯度下降联系起来，但它们的理论联系仍有待深入探索。因此，从业者缺乏一个统一的框架来理解这些方法之间的差异，或如何结合它们的优势，例如参数化方法的高维效率与基于粒子的多模态能力。

方法论

作者提出了一个以单一主更新（Master Update, MU）方程为核心的统一框架。该框架证明了 ES、OVI、CBO、极化 CBO (pCBO)、聚类 CBO (cCBO) 和扩散进化 (DE) 都是该主方程的特例，其主要区别在于两个设计选择：

适应度聚合 ( $\Psi(F)$ )： 控制对尖锐极小值与平坦极小值的偏好。
- ES 使用线性期望（平滑掉尖锐极小值）。
- OVI 和 CBO 使用 log-sum-exp 聚合（保留或强化尖锐极小值）。
共识范围 ( $K_{i,j}$ )： 控制交互范围和模态。
- 全局共识（所有粒子相互影响）导致单模态收敛。
- 局部或聚类共识（粒子仅与邻居或聚类中心交互）实现多模态优化。

基于这些见解，作者推导出了两种混合优化器：

1. ES-OVI（参数化混合）

该方法通过对它们的梯度进行凸组合，在 ES 和 OVI 之间进行插值：
$\nabla J_\alpha(\theta) = \alpha \nabla J_{OVI}(\theta) + (1-\alpha) \nabla J_{ES}(\theta)$
其中 $\alpha \in [0, 1]$ 。

机制： $\alpha=0$ 恢复为 ES（偏好平坦极小值），而 $\alpha=1$ 恢复为 OVI（偏好尖锐极小值）。
目标： 显式控制性能（找到真实的极小值）与鲁棒性（找到泛化能力更好的平坦极小值）之间的权衡。

2. CBO-OVI 混合（AdaPol & SchedPol）

这种方法架起了参数化方法（OVI）的高维效率与基于粒子的方法（cCBO）的多模态搜索之间的桥梁。

机制： 作者观察到共识跳跃（Consensus Hopping, CH）等价于 OVI。他们提出了一种自适应策略（AdaPol）或固定调度策略（SchedPol），通过转换吸引参数 $\lambda$ $λ$ 来实现过渡。
- 从 $\lambda=1$ （CH/OVI 行为）开始，以在高维空间中快速到达有前景的区域。
- 过渡到 $\lambda < 1$ （cCBO 行为），以实现多模态探索并发现多个最优解。
目标： 在高维任务中实现具有竞争力的性能，同时保留发现多个解的能力，从而解决困扰基于粒子的方法的“维度诅咒”。

核心贡献

统一的理论框架： 本文确立了多样化的 BBO 方法（ES、OVI、CBO、DE 等）均源自同一个主更新方程，其区别仅在于适应度聚合和交互范围。
等价性证明： 作者正式证明了：
- 随机平滑（SS）和自然 ES（NES）在球面高斯分布下是等价的。
- 共识跳跃（CH）等价于 OVI。
- 扩散进化（DE）是 pCBO 的非齐次时间实现。
新的混合算法：
- ES-OVI： 允许显式控制最优解的平坦度，从而实现可调的性能与鲁棒性权衡。
- AdaPol/SchedPol： 结合了 OVI 的可扩展性与 cCBO 的多模态搜索，成功在高维空间中找到了多个最优解。
实证验证： 这些方法在标准 BBO 基准测试（BBOB）、高维运动任务（Brax）以及一种针对大语言模型（LLM）的进化模型合并的新颖应用中得到了验证。

结果

BBO 基准测试 (BBOB)： 在 2D 及更高维度的标准 BBOB 任务中，混合方法 ES-OVI 通常优于其组成方法（ES 和 OVI）本身，特别是在像“吸引扇区”（Attractive Sector）这样一种方法可能失败的多模态任务中。
高维控制 (Brax)： 在维度 $d \approx 1000$ 的任务中，AdaPol（自适应 CBO-OVI 混合方法）优于其他 CBO 变体。虽然 ES-OVI 显示出强大的初始性能，但有时与纯 OVI 或 CMA-ES 相比，其最终收敛结果较差，这凸显了插值参数 $\alpha$ 的敏感性。
鲁棒性分析： 在 Acrobot 任务的实验表明，ES-OVI 可以调节解对噪声的敏感度。较低的 $\alpha$ 值（更接近 ES）产生的解对动作和观测扰动更具鲁棒性，而较高的 $\alpha$ 值（更接近 OVI）则能产生更高的峰值性能，但鲁棒性较低。
进化模型合并： 在使用有限评估预算进行 LLM 合并的背景下，该问题被建模为一个多模态优化任务。SchedPol 和 AdaPol 方法在小型训练子集上成功识别了多个最优解（包括过拟合的和泛化的）。在全量数据集上评估时，这些方法找到了与单模态 OVI 相当的解，而单纯的 cCBO 由于初始化较差而表现不佳，而 OVI 本身则无法找到多样化的解。

意义与主张

本文声称，通过统一球面黑盒优化器的理论基础，研究人员和从业者可以更好地理解不同算法固有的权衡。其主要意义在于能够通过插值这些方法来定制优化器以满足特定需求：

为了鲁棒性： 从业者可以使用 ES-OVI 来显式寻求平坦极小值，从而提高强化学习和监督学习中的泛化能力。
为了高维中的多模态性： CBO-OVI 混合方法（AdaPol/SchedPol）提供了一条路径，可以在传统基于粒子的方法失效的高维空间中寻找多个最优解。

作者总结道，这些视角可以指导方法选择和未来的算法设计，使其超越将这些优化器视为孤立启发式算法的现状。他们也承认了局限性，指出其框架目前仅涵盖球面高斯分布（不包括像 CMA-ES 这样的协方差自适应方法），并且引入了需要调优的新超参数（ $\alpha$ , $N_G$ ）。