🤖 machine learning

Elicitation-Augmented Bayesian Optimization

本文提出了一种人机回环贝叶斯优化框架，该框架利用成对比较来提取隐性专家知识，并采用一种成本感知的信息价值采集函数，动态平衡直接观测与专家查询，以提升样本效率。

原作者： Alvar Haltia, Ville Hyvönen, Samuel Kaski

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Alvar Haltia, Ville Hyvönen, Samuel Kaski

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个巨大且雾气弥漫的城市中，找到建造新公园的绝对最佳地点。你希望该地点拥有最多的阳光、最好的土壤以及最少的噪音。然而，核实这些条件既昂贵又缓慢：你必须派遣一支科学家团队去实地挖坑并测量日照（我们将此称为“直接评估”）。每次检查都会花费你5美元。

但你还有一位非常了解这座城市的当地专家。他们无法提供精确的数值，但可以轻松比较两个地点，并说：“我有90%的把握认为A地点优于B地点。”向专家征求这种意见既快速又廉价，仅需花费1美元。

旧方法的问题

以往寻找最佳地点的方法存在一个重大缺陷：它们假设专家能够提供精确的地图或具体数值（例如“最佳地点位于北纬45度”）。但在现实生活中，人类专家往往拥有“直觉”或“隐性知识”。他们未必总能将直觉量化为数字，但他们非常擅长比较两件事物。

新方案：EA-BO

这篇论文介绍了一种名为“ elicitation 增强的贝叶斯优化（Elicitation-Augmented Bayesian Optimization, EA-BO）”的新方法。你可以将其想象为一位聪明的项目经理，懂得如何将昂贵的科学检测与廉价的专家意见相结合，从而节省开支并更快地找到最佳地点。

以下是其工作原理，使用了简单的类比：

1. “品尝测试”与“实验室报告”

直接评估（实验室报告）： 这是昂贵的高精度数据。它能告诉你确切的事实，但速度缓慢。
成对比较（品尝测试）： 这是廉价且带有噪声的数据。专家品尝两碗汤后说：“A汤比B汤好。”这并非完美的测量，但它提供了强烈的线索。

2. 聪明的预算管理者

核心创新在于一条“成本感知的信息价值”规则。想象项目经理拥有一笔固定预算（例如150美元）。他们必须决定：此刻是应该花5美元做实验室测试，还是花1美元征求专家意见？

游戏初期： 管理者知之甚少。此时，专家廉价的“品尝测试”极具价值，因为它们能迅速排除糟糕的区域。管理者会将大部分预算用于这些廉价比较，以缩小搜索范围。
游戏后期： 一旦管理者将范围缩小到几个有希望的地点，廉价的比较就不足以区分两个非常相似的地点了。此时，管理者会切换到昂贵的“实验室报告”，以获取精确的最终答案。

该方法会自动判断何时从廉价猜测切换到昂贵事实，无需人类指示其何时执行。

3. “凸包”成就

论文声称，该方法如此出色，以至于它本质上绘制了一条线，连接了“仅使用专家”和“仅使用实验室”的最佳性能。

如果比较很廉价，它就成为比较的大师。
如果比较充满噪声或成本高昂，它就成为实验室测试的大师。
它绝不会表现得比最佳单一方法更差；它总能找到结合两者的方法以获得最佳结果。

他们的测试内容

研究人员在几个具有不同复杂度的“虚拟城市”（数学基准）上测试了该方法。

结果： EA-BO 始终比仅使用实验室或仅使用专家的方法更快地找到更优的解决方案。
对比： 它击败了另一种也试图利用专家意见的旧方法（CoExBO），但旧方法在决定何时使用专家而非实验室方面效率较低。

核心结论

这篇论文提出了一种工具，旨在通过倾听那些无法提供数值但能够比较事物的专家意见，来帮助你优化昂贵的流程。它将专家的“直觉”视为有效数据，将其与硬数据混合，并自动决定如何最有效地利用预算以找到最佳解决方案。

技术摘要： elicitation 增强的贝叶斯优化（EA-BO）

问题陈述

贝叶斯优化（BO）是一种用于优化昂贵黑盒函数的样本高效框架。虽然人机回环（HITL）BO 方法旨在通过利用领域专业知识来提高成本效益，但现有方法通常假设专家能够明确量化其知识（例如，通过指定先验分布或精确定位查询位置）。然而，人类专业知识往往是隐性的且定性的；人类通常更擅长对候选方案进行排序，而非分配校准后的数值。

本文解决了通过成对比较（对两个设计方案进行排序）而非直接量化来将隐性专家知识纳入 BO 的挑战。核心问题是开发一种方法，能够：

结合直接函数评估（昂贵、高保真）与成对比较（廉价、低保真、含噪）。
在已知效用函数下处理单目标和多目标优化。
根据这两种信息源的相对成本和信息量，动态分配固定预算。

方法论

1. 代理模型：混合似然稀疏变高斯过程

作者提出了一种高斯过程（GP）代理模型，将直接观测值和成对比较均视为关于目标函数 $f$ 的含噪证据。

直接观测值：采用标准高斯似然建模： $y = f(x) + \epsilon_{eval}$ 。
成对比较：采用 probit 链接函数建模。二元判断 $d \in \{0, 1\}$ 表示基于效用差 $\Delta = U(f(x)) - U(f(x'))$ ， $x$ 是否被排在 $x'$ 之上。其似然为 $p(d=1) = \Phi\left(\frac{\Delta}{\sqrt{2}\sigma_{comp}}\right)$ 。
推断：该模型采用**稀疏变分推断（SVGP）**来近似后验。证据下界（ELBO）可分解为观测项和比较项的独立部分。
- 观测项允许闭式高斯解。
- 比较项涉及 $\log \Phi(\cdot)$ 的期望。对于线性效用函数，效用差服从高斯分布，允许通过一维高斯 - 埃尔米特求积计算该期望。非线性效用则通过矩匹配处理。

2. 采集函数：成本感知的信息价值（VoI）

该方法采用短视的一步前瞻策略来选择下一个动作。动作空间包括直接评估（ $x \in \mathcal{X}$ ）和成对查询（ $(x, x') \in \mathcal{X}^2$ ）。

目标：最大化成本归一化的信息价值： $\frac{\alpha(a; D)}{c(a)}$ ，其中 $\alpha$ 是预期效用增益， $c(a)$ 是成本。
直接评估 VoI（ $\alpha_{eval}$ ）：对于线性效用，退化为知识梯度。使用带有幻想点的“单次”重构进行优化。
成对比较 VoI（ $\alpha_{comp}$ ）：作者针对具有已知效用的多输出目标，在 probit 似然下推导出了闭式幻想后验更新。这将成对知识梯度（Wu 和 Gardner, 2026）扩展到了多输出情况。VoI 被精确计算为对二元结果的离散期望，避免了比较步骤中的蒙特卡洛近似。
优化：两种采集函数均与候选输入一起，利用单次重构和 Adam 优化器进行联合优化。

主要贡献

混合似然稀疏变分高斯过程：一种原则性方法，通过将高斯观测似然与 probit 比较似然耦合来更新 GP 后验，产生具有可处理项的可分解 ELBO。
成本感知采集规则：推导了成对比较下多输出目标的闭式后验均值更新，实现了成本归一化的 VoI 采集函数，无需人工调度即可平衡直接评估和成对查询。
统一框架：单一算法（EA-BO）通过将成对排序视为关于可观测目标函数值的证据，统一处理单目标和多目标优化。

实验结果

该方法被命名为elicitation 增强的贝叶斯优化（EA-BO），在标准单目标和多目标基准（Branin, Hartmann6, BraninCurrin, VLMOP2）上进行了评估，使用了线性和切比雪夫效用函数。

与单源性能对比：EA-BO 趋近于各独立信息源轨迹的凸包。
- 当成对比较非常廉价（例如，比评估便宜 5 倍）时，EA-BO 将大部分早期预算分配给比较，实现了与仅比较方法（KG-Comp）相当的快速初始收敛。
- 随着后验变得尖锐或比较变得含噪，EA-BO 转向直接评估，恢复了仅评估 BO（KG-Eval）的渐近精度。
与 HITL 基线对比：EA-BO 显著优于CoExBO（Adachi 等人，2024），后者是使用成对比较的最接近的现有 HITL 方法。与 CoExBO 使用比较通过辅助模型指导候选选择不同，EA-BO 直接将其作为似然证据纳入。
敏感性：
- 成本比：当成对比较比评估更昂贵时，EA-BO 自动放弃比较；随着成本比增加，其分配比例随之增加。
- 噪声：当比较具有信息量时，该方法优先进行比较。随着比较噪声增加，算法逐渐转向直接评估。有趣的是，在中等噪声水平下，性能会出现非单调下降，因为短视 VoI 在完全放弃高噪声比较之前，仍赋予含噪比较正值。

意义与主张

本文声称，EA-BO 提供了一个稳健、自适应的框架，用于在 BO 中利用隐性人类专业知识。其主要意义在于能够自动平衡廉价、含噪的定性数据（排序）与昂贵、高保真的定量数据（评估）。

作者指出该方法：

当成对查询比评估更廉价时，显著提高样本效率。
当成对查询过于昂贵或含噪而无用时，恢复标准 BO 的性能。
避免了在信息源之间进行人工调度或启发式切换的需求。
提供了将成对知识梯度原则性扩展到具有已知效用的多目标设置的方法。

论文承认了局限性，特别是假设专家判断由真实效用函数 $U \circ f$ 支配（忽略了专家心理模型中可能存在的偏差），以及要求效用函数 $U$ 在优化之前已知。未来的工作提议解决可学习的效用函数以及专家心理模型与真实目标之间可学习的相关性。