技术摘要：基于狄利克雷过程混合高斯过程的机制自适应贝叶斯优化 (RAMBO)

1. 问题陈述

标准的贝叶斯优化 (BO) 依赖于高斯过程 (GP) 代理模型，这些模型假设在整个搜索空间内具有均匀的平滑性和平稳的噪声特性。这种假设经常在科学设计问题中被违背，这类问题具有多机制结构 (multi-regime structures)，即目标函数由具有局部连贯性但被尖锐边界分隔的截然不同的区域组成。

本文指出三个此类局限性至关重要的主要领域：

• 分子构象搜索： 可旋转键产生了由扭转势垒分隔的截然不同的能量盆地；每个盆地在局部是平滑的，但全局景观包含数百个不相称的曲率盆地。
• 药物发现： 化学景观跨越不同的分子支架进行碎片化，不同的化学家族表现出根本不同的结构-活性关系 (SAR)。
• 核聚变反应堆设计： 等离子体几何变化会穿越性质迥异的稳定性机制，在稳定与不稳定配置之间存在突发性的转变。

在这些场景中，单一的全局 GP 要么会过度平滑尖锐的转换，要么会在平滑区域幻化出噪声，导致不确定性校准失准。现有的非平稳核方法（例如输入依赖的长度尺度或深度 GP）通常对变化的函数形式进行先验建模，无法捕捉现实科学景观中离散且突发的异质性。

2. 方法论：RAMBO

作者提出了 RAMBO（机制自适应混合贝叶斯优化），它使用 狄利克雷过程混合高斯过程 (DPMM-GP) 取代了单体 GP 代理模型。这种非参数化贝叶斯框架能够根据数据直接推断出未知数量的机制，从而对搜索空间进行自适应划分。

2.1 生成模型

目标函数被建模为一系列独立的 GP 的可数混合。其生成过程包括：

1. 碎棒构造 (Stick-Breaking Construction)： 通过 $\beta_k \sim \text{Beta}(1, \alpha)$ 生成混合权重，其中 $\alpha$ 是浓度参数。
2. 机制分配： 每个观测值 $i$ 根据权重被分配到一个潜在机制 $z_i$，该权重遵循分类分布。
3. 局部建模： 每个机制 $k$ 由一个独立的 GP 进行建模，并具有局部优化的超参数 $\theta_k = \{\sigma^2_{f,k}, \ell_k, \sigma^2_{n,k}\}$（信号方差、长度尺度和噪声方差）。
4. 先验： 超参数遵循逆伽马先验 (Inverse-Gamma)，以确保数值稳定性及有限矩。

2.2 通过折叠吉布斯采样进行推理

为了解决优化离散机制分配和跨维度参数空间的难解问题，作者推导出了一个折叠吉布斯采样器 (collapsed Gibbs sampler)。

• 解析边缘化： 潜在函数值 $f$ 被解析地边缘化掉，将状态空间缩减到仅包含离散分配 $z$ 和超参数 $\Theta$。与直接对 $f$ 进行采样的方法（如 HMC）相比，这显著提高了混合效率。
• 分配采样： 基于中国餐馆过程 (CRP) 先验和条件 GP 似然来更新机制分配。
• 超参数更新： 通过经验贝叶斯（使用 Adam 最大化边际对数似然）或 Metropolis-Hastings 步骤来更新活跃机制的超参数。

2.3 空间调节预测分布

一个关键创新是处理预测分布的方式。标准的 DPMM 根据全局流行度 ($\pi_k$) 聚合机制，而这种流行度与输入无关。对于多机制景观，这会在特定测试点处平均掉无关的机制。

• 提出的解决方案： 作者引入了空间调节预测权重 $w_k(x^*)$。这些权重结合了全局流行度 ($\pi_k$) 与源自 GP 后验方差 ($\sigma^{-1}_{*,k}(x^*)$) 的空间置信项。
• 合理性说明： 这种权重方案基于两个视角得到证明：(i) 该组件自身预测下的期望后验责任感，以及 (ii) Jeffreys 无尺度参考度量。它在不引入新的可学习门控参数的情况下，抑制了在 $x^*$ 处不确定的机制。

2.4 自适应浓度参数调度

浓度参数 $\alpha$ 控制创建新机制的倾向。论文引入了一种自适应调度策略（对数平方根调度），其中 $\alpha_t = \alpha_0 \cdot \frac{\sqrt{t}}{\log(t+e)}$。

• 原理： 在优化初期，数据稀疏；较小的 $\alpha$ 可以防止过早的碎片化。随着数据的积累，$\alpha$ 会增加，以允许发现细粒度的机制结构。这模拟了探索-利用的权衡，但其操作层面是在模型复杂度上进行的。

2.5 采集函数

该框架推导出了 DPMM-GP 后验的闭式期望改进 (EI)。采集值是各组成 GP 组件的 EI 的加权和，其中权重是空间调节的 $w_k(x)$。这自然地将不确定性分解为：

• 机制内方差： 特定机制内的偶然不确定性 (aleatoric uncertainty)。
• 机制间分歧： 由不同机制之间的分歧引起的认知不确定性 (epistemic uncertainty)。

论文还概述了利用推导出的混合矩对其他采集函数（UCB, Thompson Sampling, MES, KG, PES）的扩展。

3. 核心贡献

1. DPMM-GP 代理模型： 开发了一个完整的用于 BO 的 DPMM-GP 代理模型，该模型通过折叠吉布斯采样来解析地边缘化潜在函数，从而提高了推理效率。
2. 自适应 $\alpha$ 调度： 引入了一种动态调度机制来控制浓度参数，以平衡模型的简洁性与表达能力。
3. 机制感知采集： 推导了闭式期望改进，该方法将不确定性分解为机制内和机制间成分，从而实现对多机制目标的鲁棒处理。
4. 空间调节： 这种预测建模选择在不引入额外门控参数的情况下，为混合权重引入了空间依赖性，确保预测与局部搜索空间相关。

4. 实验结果

作者在合成基准测试和现实世界的科学应用中评估了 RAMBO，并将其与包括标准 SGP、TuRBO、SAASBO、BAxUS、ALEBO、HEBO 等在内的最先进基准方法进行了比较。

• 合成基准： 在 Levy 和 Schwefel 函数（6D 和 10D）上，采用自适应调度的 RAMBO 始终能匹配或超越基准方法。它在崎岖的 Levy 函数上收敛速度明显更快，并在具有欺骗性的 Schwefel 景观中避免陷入次优盆地。
• 分子构象优化 (12D)： 在 200 次迭代后，RAMBO 比最佳基准 (SAASBO) 在能量降低方面实现了 39.73% 的提升，能够高效地在不同的转动异构体盆地之间导航。
• 虚拟药物筛选 (50D)： 在优化针对某种癌症相关蛋白的对接评分时，RAMBO 比 TuRBO 在预测结合亲和力方面提高了 4.06%，成功地将化学空间划分为特定支架的机制。
• 核聚变反应堆设计 (80D)： RAMBO 发现了对应于不同磁拓扑结构的 3–5 个机制，实现的约束质量值比竞争对手中的最佳方法高出约 51.55%。它避开了嵌入式方法（假设低秩结构）和置信区域方法（在稳定性边界处达到平台期）的失效模式。

5. 重要性与主张

论文声称 RAMBO 解决了标准 BO 的一个根本局限：即无法建模科学设计问题中的离散异质性和突发转换。通过使用非参数化混合模型取代平稳代理模型，RAMBO 捕捉了现实世界景观的“拼贴”特性，即不同的机制展现出局部连贯但全局不相称的属性。

作者强调，该方法不需要预先指定非平稳性的函数形式。相反，机制边界和机制数量是直接从数据中推断出来的。在各种高维、多模态基准测试中的持续改进表明，RAMBO 提供了一个鲁棒的框架，用于加速科学发现，特别是在函数评估成本高昂且底层物理或化学表现出复杂、非平稳结构的领域。

这项工作被呈现为一种减少达到高质量解所需的昂贵模拟或实验次数的方法，从而降低了计算科学工作流的资源和能源足迹。作者指出，虽然该方法加速了优化过程，但它产生的是带有不确定性的点建议，因此在涉及安全至上的应用场景时，决策者应将采集值视为决策过程的输入，而非事实上的排名依据。