技术摘要：BEACON

问题定义

本文探讨了在化学、材料科学和分子设计等常见的昂贵、高噪声、黑盒系统中，新颖性搜索 (Novelty Search, NS) 所面临的挑战。与传统的优化（寻求单一标量最优解）不同，这里的目标是在有限的评估预算内，发现一组多样化的可实现系统行为（结果）。

形式上，该问题涉及一个向量值黑盒函数 $f: \mathcal{X} \to \mathcal{O}$，其中 $\mathcal{X} \subset \mathbb{R}^d$ 是输入空间，$\mathcal{O} \subset \mathbb{R}^n$ 是结果（行为）空间。目标是最大化可达性 (reachability)，其定义为在对结果空间进行有限划分后，所发现的不同行为区域的比例。

现有的 NS 方法（通常基于进化算法等元启发式算法）通常样本效率较低。在每次函数评估（例如模拟或物理实验）都非常昂贵的场景下，它们难以应对。此外，标准的贝叶斯优化 (BO) 不适用于此类问题，因为它会将多种结果坍缩为一个单一的效用函数，从而可能忽略具有科学价值的中间或罕见行为。

方法论：BEACON

作者提出了 BEACON（用于结果新颖性的贝叶斯探索算法），这是一种受贝叶斯优化原理启发并针对新颖性搜索进行改进的高样本效率策略。

核心组件

1. 多输出高斯过程 (MOGP) 代理模型：
   BEACON 不仅仅是对标量目标进行建模，而是直接在输入到结果的映射 $f$ 上建立概率代理模型。该框架利用多输出高斯过程来建模完整的向量值函数。在大多数实验中，作者采用了独立输出 GP 模型（为每个输出坐标拟合一个标量 GP）以保持简洁性，尽管该框架也支持相关输出和面向特定领域的化学感知核（如 Tanimoto-fragprint）。

2. 基于汤普森采样 (Thompson Sampling) 的采集函数：
   BEACON 引入了一种新型采集函数，根据候选输入的可能结果与已观测结果的去噪存档之间的距离对候选输入进行评分。

   • 去噪： 使用后验均值预测 ($\mu_D$) 代替原始观测值，以减轻观测噪声的影响。
   • 不确定性量化： 算法从 MOGP 后验中抽取一个样本函数 $g(x)$（使用汤普森采样）。
   • 评分： 候选 $x$ 的新颖性得分 $\alpha_{NS}$ 是采样结果 $g(x)$ 与去噪存档中 $k$ 个最近邻之间的平均距离：
     $$\alpha_{NS}(x | g, D) = \frac{1}{k} \sum_{i=1}^{k} \text{dist}(g(x), \mu_D(x_i^*))$$
   • 优化： 该采集函数使用带有多次重启的梯度下降法（如 L-BFGS-B）进行优化。通过对 $k$-最近邻计算中的排序操作使用可微松弛技术，实现了高效的梯度上升最大化。

3. 扩展：

   • 高维扩展： 对于高维输入空间，BEACON 集成了 SAAS (稀疏轴对齐子空间) 先验以诱导 GP 长度尺度的稀疏性，或利用化学感知代理模型（如分子核）处理结构化离散输入。
   • 用户引导约束 (UG-BEACON)： 该框架允许用户定义结果空间的划分，以排除已探索区域或将搜索重点放在感兴趣的特定区间。

主要贡献

论文概述了四项主要贡献：

1. 算法开发： 引入了 BEACON，这是一种专门为噪声大、昂贵的黑盒系统设计的新型 NS 算法，旨在提高有限评估下的行为空间可达性。
2. 新型采集策略： 一种基于汤普森采样的采集函数，可在连续的结果空间中运行。它考虑了预测不确定性和观测噪声，而无需直接在固定的、离散化的行为划分上进行优化。
3. 可扩展性： 通过引入诱导稀疏性的先验和领域特定的代理模型（如分子图），实现了向高维设置的扩展。
4. 实证验证： 通过合成基准测试、材料发现（金属有机框架 MOFs）、分子属性发现以及强化学习任务，证明了该算法的有效性。

结果

作者将 BEACON 与多种基准方法进行了对比，包括进化新颖性搜索 (NS-EA)、距离已探索区域搜索 (NS-DEA)、最大方差采样以及随机搜索。

• 合成基准测试： 在 Ackley、Rosenbrock 和 Styblinski-Tang 函数上，BEACON 始终实现了最高的可达性，尤其是在高维输入空间（高达 12 维）中。在处理具有长尾分布的合成多输出问题时，它也优于基准方法，有效地覆盖了其他方法错过的低密度尾部区域。
• 材料发现： 在涉及金属有机框架 (MOFs) 中氢气吸收、氮气吸收以及 CO2/CH4 联合吸收的任务中，BE学家 BEACON 在评估预算内实现了离散行为空间的完全覆盖，表现优于适用的基准方法。
• 分子发现： 对于水溶性、ESOL（具有 2,133 维输入的二维水溶性）和 LogD 任务，BEACON 展示了卓越的覆盖能力。使用特定任务的核函数（Tanimoto-fragprint）和 SAAS 先验对于在高维分子空间中的性能至关重要。
• 欺骗性景观： 在具有欺骗性奖励景观的强化学习迷宫导航任务中，BEACON 是唯一能在所有重复实验中一致解决该任务的方法，而奖励驱动的方法（如期望改进法）和其他新颖性基准则未能逃离局部陷阱。
• 用户引导发现： 在受限任务（MNIST 数字发现和吸油材料设计）中，UG-BEACON 成功地结合了用户偏好，比无约束版本更快地发现了目标行为。

意义与主张

论文声称 BEACON 使新颖性驱动的探索在传统进化方法样本效率过低的领域变得切实可行。通过利用贝叶斯代理模型，BEACON 可以引导评估向未探索的结果空间区域进行，同时严格考虑模型不确定性和噪声。

作者将 BEACON 定位为低数据发现场景下的工具，在这些场景中，科学目标是广泛覆盖可实现的属性，而非寻找单一最优解。他们认为，这种方法对于化学和材料科学中的自主实验工作流特别有价值，因为在这些领域，发现此前未见的现象与优化已知目标同样重要。

论文承认了在面对“剧烈变化”的结果空间（例如相变）时的局限性，即代理模型可能会过度平滑突发跳跃，并指出在这种情况下，如果不存在可学习的结构，发现过程仍可能依赖于广泛的探索或随机采样。然而，他们认为该框架足够灵活，可以结合混合策略（如空间填充初始化）来缓解这些问题。