🤖 machine learning

Beyond Objective-Based Improvement: Stationarity-Aware Expected Improvement for Bayesian Optimization

本文提出了基于梯度范数的期望改进（EI-GN），这是一种新颖的贝叶斯优化采集函数，它通过将一阶平稳性条件纳入改进准则来提升搜索效率，从而解决了传统期望改进在目标值改进信号消失的区域中所存在的局限性。

原作者： Joshua Hang Sai Ip, Georgios Makrygiorgos, Ali Mesbah

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Joshua Hang Sai Ip, Georgios Makrygiorgos, Ali Mesbah

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你试图在一片广阔而雾气弥漫的山脉中找到最高的山峰，但你每次只能迈出几步，且每一步都消耗大量体力。这就是贝叶斯优化所做的：它试图在不浪费时间去测试每一种可能性的情况下，找到复杂问题（例如调整机器人参数或设计新材料）的最佳解决方案。

用于此目的的最常见工具称为期望改进（Expected Improvement, EI）。将 EI 想象成一位只关注地面高度的徒步者。如果某处比当前位置高，他们会兴奋并前往；如果更低，他们便忽略它。

问题：“平坦地带”陷阱

该论文指出了这种“仅关注高度”策略的一个缺陷。想象你正站在一个宽阔平坦的高原上。在你左右两侧，地面的高度与你所站立的位置完全相同。

旧方法（EI）： 徒步者环顾四周，未见更高之处，心想：“移动毫无意义。”移动的信号消失了。徒步者陷入循环，反复检查同一处平坦地点，或者漫无目的地徘徊，因为“高度”这一指标未能提供任何有用信息。
实际情况： 即使高度没有变化，坡度却可能存在变化。你可能正站在一个平坦的点上，而这实际上是一座小山丘的顶部；或者你可能正处在一段平坦地带，它正通向一座更宏伟的山脉。旧方法忽略了坡度。

解决方案：EI-GN（“懂坡度”的徒步者）

作者提出了一种新工具，称为EI-GN（基于梯度范数的期望改进）。

EI-GN 不再只问“这个地点更高吗？”，而是提出两个问题：

“这个地点更高吗？”（旧问题）。
“这个地点更平坦吗？”（新问题）。

“平滑度惩罚”的类比：
想象你正在寻找一个完美的地点来搭建帐篷。

旧方法： 你只关心视野（高度）。如果视野相同，你便不在意。
新方法（EI-GN）： 你关心视野，但如果地面完全平坦且稳定，你还会获得奖励。如果你发现一个地点比当前位置略低，但地面异常平坦（意味着你非常接近山顶或一个稳定的山谷），EI-GN 会说：“嘿，这实际上是一个巨大的改进，因为它如此稳定！”

通过重视平坦度（数学家称之为“平稳性”），即使视野尚未改变，徒步者也能被引导至山丘顶部。它使搜索在旧方法会放弃的平坦区域中保持移动。

工作原理（无需数学）

论文解释说，他们为每个位置创建了一个新的“分数”。该分数结合了山的高度以及对地面“崎岖程度”的惩罚。

如果地面崎岖（坡度陡峭），分数会降低。
如果地面平坦（接近山顶），分数会升高。

他们从数学上证明，这个新分数可以快速且轻松地计算出来。他们还表明，这并不需要构建更复杂的地形图；它只是改变了徒步者决定下一步走向何处的方式。

他们的发现

作者在几个“人造山脉”（标准计算机测试问题）上测试了这种新方法，发现：

在崎岖复杂的地形中： 它比旧方法表现更好，能更快地找到最高峰。
在平坦地形中： 它不会陷入停滞。当旧方法因高度未变而停止移动时，EI-GN 仍继续移动，因为它在追逐“平坦度”信号。
在机器人控制测试中： 他们用此方法教机器人如何平衡一根杆子。使用 EI-GN 的机器人比使用旧方法或标准机器人学习技巧的机器人学得更快。

核心结论

该论文提出了一种更智能的搜索最佳解决方案的方法。它不再仅仅寻找“更高”的结果，同时也寻找“更平坦”的结果。这防止了搜索在枯燥的平坦区域陷入停滞，并帮助其更高效地找到真正的最佳地点，即使“高度”看似没有变化。

技术摘要：面向贝叶斯优化的平稳性感知期望改进

问题陈述
贝叶斯优化（BO）是优化昂贵黑盒函数的标准框架，通常依赖期望改进（EI）作为主要的采集函数（AF）。尽管 EI 在经验上表现成功，但其本质上对一阶最优性条件不敏感，仅依赖于目标函数值的潜在改进。因此，在目标函数平坦或接近平稳的区域，EI 信号可能消失，导致对局部极小值区域的过度开发，并无法有效引导探索。尽管在实际场景中（例如控制中的策略梯度、偏微分方程中的伴随灵敏度、机器学习中的超梯度），梯度信息往往可以以可忽略的成本获取，但现有的梯度增强型 BO 方法主要侧重于将梯度融入代理模型以提高预测精度。这种方法由于需要建模函数值与导数之间的交叉相关性，往往导致极高的计算复杂度。相反，直接在采集函数中利用梯度信息的研究仍显不足。

方法论
作者提出了基于梯度范数的期望改进（EI-GN），这是一种新颖的采集函数，将改进原则扩展以纳入一阶平稳性。

辅助目标：该方法不修改探索启发式规则，而是推广“改进”的定义。它定义了一个辅助目标函数 $g(x)$ ，在原始目标 $f(x)$ 的基础上增加了对梯度范数的软惩罚：
$g(x) = f(x) - \alpha \|\nabla f(x)\|_2^2$
其中 $\alpha \geq 0$ 是超参数。该公式将梯度范数视为对偏离平稳性的软惩罚，促使搜索倾向于高绩效区域或接近平稳点的区域。
采集公式：该方法定义了对该辅助目标的期望改进，记为 $EI_g$ 。然而，由于函数值与梯度范数的耦合，直接计算 $EI_g$ 是不可行的。作者利用正部不等式推导出了一个可处理的下界：
$EI_g(x) \geq EI_f(x) - \alpha E I_s(x)$
其中 $EI_f$ 是目标上的标准期望改进， $EI_s$ 是一个类似 EI 的项，用于衡量平稳性的改进（即梯度范数的降低）。
可处理近似（EI-GN）：为了使该方法具有实用性，作者推导出了平稳性项 $E I_s$ 的可处理近似的闭式表达式。通过假设目标函数及其偏导数采用独立的高斯过程（GP）模型（避免了联合模型中 $O((d+1)^3N^3)$ 的复杂度），他们利用白化变换解耦了基于范数的截断。这使得期望值可以通过可分离的截断矩进行计算，从而得到最终的采集函数：
$EI\text{-}GN(x) = EI_f(x) - \alpha E I_s(x)$
该公式提供了两条改进路径：提高目标函数值或降低梯度范数。

主要贡献

新颖的采集函数：本文引入了 EI-GN，将改进原则应用于平稳性感知的辅助目标，将基于改进的采集扩展至超越纯粹目标函数值的标准。
理论推导：作者推导出了辅助目标上期望改进的下界，并提供了一个可处理的闭式表达式（EI-GN），在高斯后验下实例化了这些原则。
计算效率：通过利用目标函数和梯度的独立 GP 模型，该方法避免了联合导数建模的计算负担，同时仍能利用梯度信息重塑采集景观。

实验结果
本文在多个实验场景下评估了 EI-GN：

合成基准：在具有不同维度的标准函数（Shekel、Hartmann、Griewank、Ackley）上，EI-GN 始终优于或匹配基线方法（EI、LogEI、UCB、CMA-ES）。它在具有平坦或振荡结构的函数中表现出显著优势，在这些函数中标准 EI 信号往往会消失。
GP 样本：在模型内（理想化）和模型外（超参数不匹配）的比较中，EI-GN 均显示出相对于标准 EI 族基线的稳健性能提升。这证实了即使代理模型不完美，基于梯度的信号也能有效引导优化。
梯度消融：与将梯度融入代理模型（联合 GP）的方法相比，将梯度融入采集函数的方法显示出正交性。结合两者（dEI-GN）产生了最强的结果，表明采集层面的改进和代理层面的改进解决了优化问题中互补的方面。
策略搜索：在强化学习任务（Acrobot 和 CartPole）中，将 EI-GN 与局部梯度方法（REINFORCE）和标准 EI 进行了比较。EI-GN 实现了更高的样本效率和更可靠的收敛至高奖励策略，特别是在局部方法陷入局部极小值区域的场景中。

意义与主张
本文主张，EI-GN 通过将向平稳性的进展嵌入采集标准，提供了一种更丰富、信息量更大的改进概念。作者断言，这种方法使得采集景观即使在标准 EI 提供极少信号的区域（例如平坦区域或接近平稳点）也能保持信息丰富。该方法被呈现为 EI 框架的原则性扩展，它利用了可用的梯度信息，同时避免了复杂联合代理建模的计算开销。实证结果表明，EI-GN 相对于基线方法提供了持续的提升，特别是在传统基于目标函数值的改进标准不足的具有挑战性的景观中。