技术摘要：贝叶斯优化中用于超参数优化的动态先验

问题陈述

贝叶斯优化（BO）是超参数优化（HPO）的一种标准方法，然而现有方法通常将用户的干预限制在初始化阶段。尽管最近的研究引入了指定初始先验的接口（例如 $\pi$BO）或拒绝候选评估的方法，但这些方法缺乏在优化过程中进行连续、动态用户引导的能力。在迭代式机器学习工作流中，从业者会随着模型的演进获得新的见解或改变优先级，但目前的 BO 框架无法在不重启或显著改变过程的情况下纳入这些不断变化的信念。此外，现有的整合用户先验的方法往往缺乏针对误导性或“欺骗性”用户输入的鲁棒性，这可能会降低性能。

方法论：DynaBO

作者提出了 DynaBO，这是一个旨在通过在运行时集成动态先验来实现对 BO 过程进行连续用户控制的框架。该方法由三个核心组件组成：

1. 动态先验加权采集函数

与仅应用于初始化的静态先验不同，DynaBO 将采集函数泛化为接受在不同时间步 $\{t^{(m)}\}$ 提供的序列化用户指定先验 $\{\pi^{(m)}\}_{m=1}^M$。

• 机制： 标准采集函数 $\alpha_{\hat{f}}(\lambda)$ 通过一系列衰减的先验权重进行增强：
  $$\alpha_{\hat{f}}^{dyna}(\lambda) := \alpha_{\hat{f}}(\lambda) \cdot \sum_{m=1}^{M} \pi^{(m)}(\lambda)^{\beta/(t - t^{(m)})}$$
• 衰减： 每个先验的影响力随时间（$t \to \infty$）而衰减，确保先验权重收敛至 1。这保留了原生 BO 的渐近收敛保证，同时允许在特定时间内向用户指定的区域产生偏差。
• 聚合： 该框架使用求和而非乘法来组合多个先验。作者认为，乘法代表了信念的交集（如果先验之间存在分歧，可能会抵消有效区域），而求和则代表了并集，能够保留由多样化用户输入诱导的多模态结构。
• 候选选择： 为了优化修改后的采集函数，DynaBO 调整了候选采样策略。它不仅从当前最优值（incumbent）的邻域中抽取局部搜索（爬山法）的起始点，还从以所提供的先验为中心的分布中抽取起始点，从而确保显式地探索用户建议的区域。

2. 先验拒绝保护机制

为了应对误导性先验可能减慢优化速度的风险，DynaBO 引入了一种数据驱动的检测机制。

• 评估： 在接收到新先验 $\pi^{(m)}$ 时，系统会从先验分布（$F_{\pi^{(m)}}$）和当前最优值周围的正态分布（$N_{\hat{\lambda}}$）中进行配置采样。
• 比较： 系统使用二级采集函数 $\xi$（例如下置信界 LCB）来比较这些区域的预期质量。
• 决策： 只有当先验区域的预期质量超过最优值区域的阈值 $\tau$ 时，该先验才会被接受：
  $$\mathbb{E}_{\lambda \sim F_{\pi^{(m)}}}[\xi_{\hat{f}}(\lambda)] - \mathbb{E}_{\lambda \sim N_{\hat{\lambda}}}[\xi_{\hat{f}}(\lambda)] \geq \tau$$
• 灵活性： 如果先验被拒绝，系统可以向用户发出警告，允许进行“人机协同”式的覆盖，从而促进协作优化。

3. 理论保证

作者为以下属性提供了形式化证明：

• 几乎处处收敛： 即使存在动态且可能具有误导性的先验，DynaBO 也会随着 $T \to \infty$ 以概率 1 收敛到全局最优解，因为先验的影响力在渐近意义上会消失。
• 鲁棒性： 即使在存在欺骗性先验的情况下，DynaBO 的渐近简单遗憾（simple regret）仍与原生 BO 保持一致。
• 加速： 如果提供的具有信息量的先验能将采样集中在包含最优解的区域 $U_\epsilon$ 内，DynaBO 通过减少有效搜索空间和信息增益需求，在有限时间设置下实现加速收敛。

实验结果

作者在多种 HPO 基准测试（包括 PD1、LCBench 和 XGBoost 场景）中，使用各种代理模型（随机森林和高斯过程）以及采集函数（EI 和 LCB）对 DynaBO 进行了评估。

• 对比基准： 将 DynaBO 与 Vanilla BO、$\pi$BO（静态先验）以及用于交互式 HPO 的概率电路（PCs）进行了比较。
• 性能表现：
  • 信息量丰富的先验： DynaBO 在专家级（Expert）、高级（Advanced）和局部（Local）先验类型中始终优于所有竞争对手，展示了在寻找最优配置方面的显著加速。
  • 欺骗性先验： 虽然欺骗性先验降低了 $\pi$BO 和 PCs 的性能，但 DynaBO 的拒绝机制成功过滤掉了大部分误导性输入。在发生拒绝的场景中，DynaBO 恢复到了与 Vanilla BO 相当甚至更好的性能水平。
  • 鲁棒性： 即使多次注入欺骗性先验，该框架仍能保持 Vanilla BO 的优化品质。
• 开销： 拒绝机制的计算开销极小（在 26 小时的运行背景下约为每运行 12 秒），使其在实际工作流中具有实用性。

意义与主张

本文声称推进了协作式、以人为中心的 HPO 范式。其主要贡献在于：

1. 连续控制： 它是第一个支持在优化过程中任何时间点注入先验的 BO 框架，弥合了全自动化与手动控制模型开发之间的鸿沟。
2. 安全性与协同性： 通过结合针对误导性输入的保护机制与一种能使用户信念与代理模型信念产生协同作用的机制，DynaBO 提供了一种可靠的方式来整合专家直觉，且不会损害 BO 的理论保证。
3. 理论严谨性： 该工作首次证明了动态先验在保持渐近收敛性和对欺骗性鲁棒性的同时，具有有限时间加速的特性。

作者总结道，DynaBO 实现了可靠且高效的协作式 BO，允许从业者随着新见解的出现动态地引导优化过程，从而在降低人类错误风险的同时，使先进的 HPO 工具变得更加普及。