技术摘要：利用多尺度灰盒贝叶斯优化中的可分性

问题定义

本文研究的是灰盒优化问题，其中决策变量自然地分为两类：

1. 黑盒变量 ($x_{BB}$)：作为昂贵且不可微函数 $f_{BB}$ 的输入（例如，密度泛函理论模拟或复杂实验的输出）。
2. 白盒变量 ($x_{WB}$)：受已知、可微闭式方程控制的变量（例如，质量/能量平衡、热力学关系），这些变量依赖于黑盒函数的输出。

目标是在满足白盒等式约束 $f_{WB}(x_{WB}, y) = 0$ 和不等式约束 $g(x_{WB}, y, x_{BB}) \leq 0$ 的条件下，最小化函数 $J(x_{WB}, y, x_{BB})$，其中 $y = f_{BB}(x_{BB})$。

识别出的核心挑战是，标准的单体代理模型优化（将整个系统视为单一黑盒）迫使代理模型必须同时学习未知的黑盒结构和已知的白盒物理特性。这种冗余导致了“维度灾难”，需要通过构建一个覆盖组合空间 $[x_{WB}, x_{BB}]$ 的准确模型，来进行更多昂贵的评估。此外，标准方法通常通过惩罚函数或机会约束来处理约束，这可能导致不可行解或近似误差。

方法论：双层重构

作者提出了一种双层贝叶斯优化 (BO) 框架，该框架利用了问题的可分性结构。该方法依赖于假设 1，即对于任何固定的黑盒输入 $x_{BB}$，由此产生的关于白盒变量 $x_{WB}$ 的优化是一个良定义的非线性规划 (NLP) 问题，且可以求解至全局最优。

优化过程被分解如下：

• 外层循环（贝叶斯优化）： 高斯过程 (GP) 代理模型仅构建在低维黑盒空间 $x_{BB}$ 上。该代理模型对标量值函数 $x_{BB} \mapsto J(x_{WB}^*, y, x_{BB})$ 进行建模，其中 $x_{WB}^*$ 是内层问题的最优解。采集函数（期望改进，Expected Improvement）用于选择下一个候选 $x_{BB}$。
• 内层循环（全局 NLP 求解器）： 对于外层循环提出的每一个候选 $x_{BB}$，先评估黑盒函数以获得 $y$。然后，全局优化器（具体为使用 SLSQP 本地最小化的 Basin-Hopping，或多起点 SLSQP）精确求解白盒子问题：
  $$\min_{x_{WB}} J(x_{WB}, y, x_{BB}) \quad \text{s.t.} \quad f_{WB}(x_{WB}, y) = 0, \quad g(x_{WB}, y, x_{BB}) \leq 0$$
  如果内层问题对于给定的 $y$ 是不可行的，则向外层循环返回一个极大的惩罚值。

关键技术特性：

• 降维： GP 代理模型在 $\mathbb{R}^{n_{BB}}$ 空间而非 $\mathbb{R}^{n_{WB} + n_{BB}}$ 空间内运行。
• 精确约束满足： 每当内层求解器收敛到可行点时，白盒约束都会被精确满足，从而消除了在代理模型中使用惩罚函数、矩近似或机会约束的需求。
• 标量代理： 不同于对中间输出 $y$ 进行代理的方法（需要多输出 GP），本方法直接对最终的最优目标函数进行代理。

核心贡献

1. 双层重构： 一种新颖的分解策略，将代理维度从 $n_{WB} + n_{BB}$ 降低到 $n_{BB}$，同时确保在不使用惩罚函数的情况下实现白盒子问题的精确约束满足。
2. 基准测试集： 创建了一个包含 13 个可分灰盒问题 的综合套件（涵盖从合成函数到 CSTR 设计、换热器和膜分离等工程应用）。该套件包含 2–5 个总变量和 0–3 个约束，并具有经过验证的全局最优解。
3. 实证证据： 在 8,450 次独立优化运行（8,190 次 BO 运行，130 次 NLP 运行，130 次 Basin-Hopping 运行）中进行了广泛测试。研究系统地评估了超参数（初始样本量、探索参数）以及内层求解器的选择。

结果

所提出的双层 BO 策略相较于标准黑盒 BO 和全局搜索基准表现出显著的性能提升：

• 遗憾度 (Regret) 降低： 在所有 13 个问题上，双层 BO 比黑盒 BO 实现了 11 倍至 108 倍更低的遗憾度。对于 SLSQP 内层求解器变体，其几何平均改进倍数为 3,192 倍。
• 效率： 该方法能以更少的黑盒评估次数达到高质量解。在 13 个问题中的 10 个问题上，双层 BO 在使用不到 10% 的评估预算时，即可达到黑盒 BO（在 250 次评估后）的最终性能。
• 可行性： 双层 BO 在 12 个有约束问题中的 8 个上实现了 100% 的可行性，而黑盒 BO 在不可行查询上浪费了 6%–72% 的预算。
• 鲁棒性： 这种优势在不同的初始化规模和探索参数下均成立。
• 求解器对比： 虽然多起点 SLSQP 内层求解器对于窄可行域通常更快且更鲁棒，但 Basin-Hopping (BH) 内层求解器在处理具有高度多峰内层景观（如 Rastrigin）的问题时表现出更优越的性能，尽管它在处理窄可行域（如 Small-Feasible-Region 1）时可能会遇到困难。

重要性与主张

论文声称，观察到的主要优势源于结构性而非算法性。增益完全来自于利用了可分的题目结构——即降低代理维度并精确满足约束——而非来自新型的采集函数或核函数选择。

作者认为，单体代理模型“在学习已知内容上浪费样本”。通过精确求解已知的子问题（白盒），并仅对未知部分（黑盒）进行近似，该方法克服了高维灰盒问题中固有的维度灾难。论文将这种双层分解定位为一种原则性的方法，适用于那些昂贵模拟（黑盒）作为输入并馈入成熟宏观模型（白盒）的多尺度工程设计领域。

这项工作并不声称解决了非可分复合函数的问题，也不打算取代依赖不确定性传播进行风险规避决策的方法（如 COBALT 或 BOCF），并指出那些方法处理的是可分性假设不成立的情景。相反，它为存在变量可分性的特定类别问题提供了一种高性能的专门化解决方案。