🤖 machine learning

Constrained Bayesian Optimisation with Multiple Information Sources

本文提出了一种用于约束贝叶斯优化的通用多源框架，该框架通过扩展最大值熵搜索（Max-value Entropy Search），即使在辅助数据源与真实目标仅为弱相关的情况下，也能通过利用这些数据源来高效地识别可行且最优的解。

原作者： Hauke Maathuis, Roeland De Breuker, Saullo Castro, Maike Osborne

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Hauke Maathuis, Roeland De Breuker, Saullo Castro, Maike Osborne

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一座巨大的、大雾弥漫的城市中，寻找一个设立柠檬水摊的最佳地点。你有两个目标：

销量最大化： 你想要人流量最大的地方。
保持安全： 你必须避开非法（如在高速公路上）或危险（如在建筑工地）的地点。

问题在于，检查一个地点是非常昂贵的。

“真实”检查： 派一个人在那里站一个小时来统计人数并检查是否有警察，这非常昂贵且缓慢。
“虚假”检查： 查看一张模糊、低分辨率的地图，或者询问一位可能略有偏差的当地人，这很便宜且快速，但并非 100% 准确。

这就是该论文所解决的核心问题：如何利用廉价且不完美的地图来辅助判断，从而用尽可能少的昂贵检查，找到那个既好又安全的最佳地点？

旧方法 vs. 新方法

旧方法（传统的贝叶斯优化）：
大多数以往的方法表现得像一个谨慎的探险家，只信任昂贵的、真实的检查。如果“安全区域”（即你可以合法售卖柠檬水的区域）非常微小或隐藏得很深，这个探险家就会浪费大量的钱去检查随机的地点，往往会困在迷雾之中。他们忽略了那些廉价的地图，因为这些地图并不完美。

新方法 (MS-CMES)：
作者提出了一种名为 MS-CMES 的新策略。把这想象成一个聪明的探险队。

团队构成： 他们拥有一个“高保真”专家（昂贵、准确）和若干个“低保真”助手（便宜、快速，但有时会出错）。
策略： 团队并没有忽略助手，而是利用他们快速扫描整个城市。助手们指出了“有潜力的街区”。
安全网： 团队知道助手们可能会对规则判断失误（例如，他们可能认为高速公路是安全的）。因此，团队使用了一种特殊的数学技巧（称为方差修正）来表达：“好吧，地图显示这个点是安全的，但由于地图很模糊，我们在做出承诺之前，应该对此保持一点怀疑，并仔细检查它。”

它是如何运作的（隐喻说明）

1. “置信区域”（手电筒）
想象你在一个黑暗的房间里。你不是试图一次性绘制出整个房间的地图，而是用手电筒照亮一个小区域。你彻底探索这个小区域。如果你发现了一些好的东西，你就把手电筒的光束移近它。如果你什么也没发现，你就缩小手电筒的光束以观察得更细致，或者将光束移向另一个有潜力的地点。

在论文中： 这被称为置信区域 (Trust Region)。它阻止了算法将钱浪费在检查城市中随机且无用的部分。它将昂贵的检查集中在最有可能的“获胜”区域。

2. “盲点”修正
有时，廉价地图的表现非常糟糕，甚至几乎毫无用处。如果你盲目跟随它们，你可能会掉入悬崖。

在论文中： 该方法计算了一个“相关性得分”。如果廉价地图与现实的关系很弱，系统会自动增加一个“安全缓冲”（膨胀不确定性）。它本质上是在说：“这些廉价数据很不靠谱，所以我不会完全信任它，但我仍会利用它来获得一个大致的方向。”

3. “信息增益”（寻宝游戏）
算法不仅仅是在寻找最好的地点，它还在寻找那个能教给它最多知识的地点。

在论文中： 它在问：“如果我用廉价地图检查这个点，它是否比检查另一个点能提供更多关于最佳位置的信息？”它在检查的成本与新信息的价值之间进行权衡。

他们发现了什么？

作者在多个“城市”（数学问题）上测试了该方法，范围从小型城镇到拥有数千条街道的巨型大都市（高维空间）。

结果： 他们的这种新方法 (MS-CMES) 比旧方法更能有效地找到“安全”区域。
惊喜之处： 即使当廉价地图非常模糊且与现实关系很弱时，新方法仍然能利用它们更快地找到解决方案。旧方法往往会放弃或陷入困境，因为它们甚至无法找到一个可以开始搜索的单一安全点。
效率： 通过使用廉价地图来引导搜索，并仅使用昂贵的检查来确认最佳地点，他们以更少的总检查次数找到了最优解。

总结

这篇论文介绍了一种解决复杂优化问题的更聪明的方法。它没有仅仅依赖于昂贵、完美的数据，而是巧妙地融合了廉价、不完美的数据，以实现更快速的空间探索。它使用“手电筒”方法来聚焦有潜力的区域，并使用“安全缓冲”来确保廉价数据不会误导你。结果表明，即使在规则复杂且数据稀缺的情况下，该系统也能更快地找到最佳且安全的解决方案。

技术摘要：具有多信息源的约束贝叶斯优化

问题陈述

贝叶斯优化（BO）是优化昂贵黑箱函数的标准框架，但在处理未知约束和小可行区域时面临显著挑战。在高维空间中，由于数据稀疏（例如碰撞安全性设计），即使是发现一个可行点都非常困难。现有方法通常依赖于单一的信息源（“地面真值”/ground truth），而这种信息源的评估频率往往在计算上是难以承受的。

虽然许多工程和科学应用拥有辅助信息源（例如粗糙的模拟、简化的物理模型或解析近似），这些来源的评估成本较低，但可能存在偏差或噪声，将其集成到约束 BO 中仍是一个尚未得到充分探索的领域。大多数现有的多源（或多保真度）方法要么仅解决约束问题，要么仅解决多个信息源的问题。目前缺乏一种可扩展的框架，能够利用廉价且弱相关的辅助源来引导约束环境下的早期探索，同时又不损害最终解的精度。

方法论：MS-CMES

作者提出了多源约束最大熵搜索（MS-CMES），这是一个统一的框架，将最大熵搜索（MES）扩展到了具有多个信息源和黑箱约束的场景中。

1. 多源高斯过程建模

该框架对目标函数 $f$ 和约束 $c_i$ 在一组信息源 $S = \{0, \dots, L\}$ 上进行建模，其中 $L$ 是目标（昂贵、精确）源，而 $0$ 是最便宜的辅助源。

MISO 框架： 该方法并未假设严格的层级保真度结构（如 Kennedy-O'Hagan 模型）或共享的潜在结构（如多任务 GP），而是采用了**多信息源优化（MISO）**方法。
加性结构： 每个特定源的函数被建模为 $u^{(\ell)}(x) = u^{(L)}(x) + \Delta^{(\ell)}(x)$ ，其中 $u^{(L)}$ 是潜在的目标函数， $\Delta^{(\ell)}$ 是由独立高斯过程（GP）建模的源特定偏差。
联合推理： 这种加性结构允许对潜在函数和偏差进行联合推理，在捕捉源间相关性的同时，保持了对弱相关或未知相关源的灵活性。

2. 采集函数：带有方差修正的熵搜索

该方法的核心是一个采集函数 $\alpha_n(x, \ell)$ ，它在关于约束最优解 $f^*$ 的信息增益与评估成本 $\lambda(x, \ell)$ 之间进行权衡。

目标： 最大化关于约束最优解 $f^* = \max_{x \in \mathcal{X}_f^{(L)}} f^{(L)}(x)$ 的期望信息增益。
变分下界： 由于互信息 $I(u^{(\ell)}; f^*)$ 是难以计算的，该方法使用了改编自 Takeno 等人 (2022) 的变分下界。这涉及通过离散汤普森采样（Thompson sampling）对约束最优解 $f^*$ 进行采样，并估计新观测值落在由 $f^*$ 定义的可行集内的概率。
方差修正： 一个关键的创新是方差修正机制。由于可行集是在目标源 $L$ 处定义的，而观测值可能来自源 $\ell$ ，因此存在伪可行性的风险。作者引入了一个基于辅助源与目标源之间相关系数 $\rho(x, \ell)$ 的修正因子。该因子会放大弱相关源预测的方差，防止算法过度自信地选择那些在廉价源上表现可行但在目标源上不可行的点。

3. 通过信任区域实现可扩展性

为了处理高维输入空间（ $d \ge 40$ ），采集函数的优化被限制在一个动态更新的**信任区域（Trust Region, TR）**内，该区域以观察到的最佳可行点（若不存在可行点，则以约束违反最小的点为中心）为中心。这防止了搜索漂移到无望的区域，并提高了计算效率。

核心贡献

统一框架： 第一个将多个信息源集成的约束 BO 原理化信息论框架。它结合了廉价的辅助样本和信任区域启发式方法，以扩展到高维空间。
方差修正： 一种通过根据源间相关性修正预测方差来处理源间差异的系统化方法，确保了即使在辅助数据弱相关时也具有鲁棒性。
系统性比较： 对缩放多源 GP 模型（MISO vs. KOH vs. MTGP）进行了严格评估，证明了加性 MISO 结构比层级或严格的多任务方法对变化的 correlation 强度更具鲁棒性。
实证验证： 在维度高达 $d=100$ 的合成及物理基准测试中进行了广泛实验，结果显示其性能持续优于最先进的约束 BO 方法。

实验结果

作者在五个基准问题（压力容器、Rosenbrock、Rastrigin、旋转 Rastrigin、不同幂次函数）上评估了 MS-CMES，维度范围从 4 到 100。

可行性发现： 在高维、稀疏可行区域（如 Rastrigin 变体）中，大多数基准方法（包括 CMFBO、VBO 和随机搜索）都无法找到单个可行点。MS-CMES 在初始实验设计阶段后便成功识别出了可行区域。
优化性能： 与 SCBO、FuRBO 和 CMES-IBO+ 等基准方法相比，MS-CMES 始终能获得更低的最终目标值。
对相关性的鲁棒性： MISO 模型即使在辅助源不相关或弱相关时也能保持高精度，而层级模型（KOH）在这种情况下性能显著下降。
消融研究： 信任区域启发式方法被证明对于高维情况下的效率至关重要，且该方法对用于熵估计的蒙特卡洛采样数量（ $K$ ）表现出鲁棒性。

意义与主张

论文声称 MS-CMES 通过提供一个针对存在多个信息源时的约束优化的可扩展解决方案，填补了文献中的关键空白。

早期探索： 该方法在可行区域未知的优化早期阶段特别有效。通过利用廉价且可能存在偏差的数据，它可以填充设计空间，并比单源方法更有效地引导搜索向可行性靠拢。
通用适用性： 该框架不假设严格的保真度层级，使其适用于多样化的现实场景，例如辅助数据（如简化模拟、存档数据）在结构上可能与目标源存在差异的情况。
实际影响： 作者强调了该方法在从工程设计（如碰撞安全性、空气动力学）到药物发现等领域的应用潜力，在这些领域中，平衡高保真度实验与低保真度模拟的成本至关重要。

作者也谦虚地指出了局限性，特别是假设目标函数和约束在同一源处进行联合评估，以及依赖于用户指定的成本函数。然而，他们认为所提出的框架为使约束贝叶斯优化在复杂、高维且数据稀疏的工程问题中变得实用迈出了重要一步。