📊 statistics

Generative Bayesian Optimization: Generative Models as Acquisition Functions

本文介绍了一种新颖的贝叶斯优化框架，该框架利用直接在效用值上训练的生成模型作为采集函数，从而在不依赖传统代理模型的情况下，实现高维和组合空间中的高效大批量优化。

原作者： Rafael Oliveira, Daniel M. Steinberg, Edwin V. Bonilla

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Rafael Oliveira, Daniel M. Steinberg, Edwin V. Bonilla

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在寻找制作蛋糕的绝对最佳配方，但你有一条非常严格的规则：你只能品尝蛋糕有限几次，而且每次品尝时，由于随机噪声（比如手抖或烤箱温度略有不同），味道可能会有些许差异。这就是**贝叶斯优化（BO）**的核心问题：在极其庞大且混乱的世界中，用极少的尝试次数找到“最佳”事物。

传统上，为了解决这个问题，科学家采用一种两步走的“中间人”方法。首先，他们根据迄今为止品尝过的结果，构建一个蛋糕世界的地图（统计模型）。然后，他们利用这张地图来推测下一个最佳品尝点可能在哪里。最后，他们必须解决一个复杂的数学难题，以找到该地图上的确切峰值。

旧方法的弊端：
当“蛋糕”实际上是复杂的蛋白质设计或长文本序列时，地图会变得如此庞大和复杂，以至于“中间人”步骤变得缓慢、昂贵且容易出错。这就像为了找到野餐的最佳地点，而试图绘制整个大陆的详细地图一样。

新解决方案：GenBO（生成式贝叶斯优化）
本文介绍了一种名为GenBO的新策略。GenBO 不再先构建地图再进行搜索，而是训练一个“创意生成器”（一种能够创造新事物的 AI），使其能够直接学习如何生成最佳候选方案。

以下是其工作原理，使用简单的类比说明：

1. “品尝测试”教师

想象你有一个学生班级（AI 模型），他们正在学习如何烘焙完美的蛋糕。

旧方法： 你给学生一本教科书（地图），描述各种蛋糕。他们阅读书籍，试图理解理论，然后猜测要烘焙什么。
GenBO 方法： 你完全跳过教科书。你只给学生一份他们烘焙过的蛋糕清单，以及一个简单的评分：“好”、“一般”或“差”。你告诉他们：“多做一些尝起来像‘好’蛋糕的蛋糕。”

2. 从“偏好”中学习（与 DPO 的联系）

本文借鉴了训练大型语言模型（比如正在与你对话的这个模型）时的一个巧妙技巧。通常，为了教会 AI 变得有用，我们会向它展示两个答案：一个是人类喜欢的，另一个是人类不喜欢的。AI 会学习去偏好那个“被喜欢”的答案。

GenBO 将类似的方法应用于优化：

它选取两个候选解决方案（例如，两个不同的蛋白质序列）。
它检查哪一个表现更好（具有更高的“效用”分数）。
它告诉 AI：“你应该生成更多看起来像获胜者的事物，生成更少看起来像失败者的事物。”
AI 直接学习这种偏好，无需中间复杂的地图。

3. “密度”技巧

将 AI 想象成一台吐出候选方案的机器。

在旧方法中，机器试图找到山脉上的单个最高峰。
在 GenBO 中，机器学习更密集地撒播种子（候选方案），集中在发现“好”蛋糕的山谷区域。它不需要找到确切的峰值；它只需要知道“好”区域在哪里，以便一次性在那里投放一整批种子。

为什么这很重要？

本文提出了三大主要优势：

速度与规模： 由于跳过了“制图”步骤，它可以处理大规模批次。想象一下需要一次性测试 1,000 种蛋糕配方。旧方法对此感到吃力；而 GenBO 只需生成 1,000 种可能很好的变体并发送出去即可。
简洁性： 它使用单个模型完成所有工作。旧方法使用两个模型（一个用于制图，一个用于生成），这意味着第一个模型的错误会破坏第二个模型。GenBO 消除了这个中间人。
处理复杂性： 它在“组合”问题上表现出色——即那些涉及混合和匹配部分（如单词中的字母或蛋白质中的氨基酸）的问题，而不仅仅是调整简单的旋钮。

结果

作者在两种类型的谜题上测试了该方法：

文本优化： 尝试找到一个最接近"ALOHA"的 5 字母单词。
蛋白质设计： 尝试找到最佳的氨基酸序列，以使蛋白质稳定或增加其表面积。

在这些测试中，GenBO 的表现与复杂的多步骤方法相当（有时甚至更好），但它快了整整三倍，因为它没有浪费时间构建中间地图。

结论

本文认为，你不需要复杂的“代理”地图来寻找最佳解决方案。相反，你可以训练一个生成式 AI，通过简单地观察哪些过去的尝试效果最好，从而直接“感受”出良好解决方案的样子。这是一种从“绘制领土地图”到“学习最佳地点的氛围”的转变，使得在生物学和工程等复杂领域能够进行更快、更大规模的探索。

技术摘要：生成式贝叶斯优化

问题陈述

贝叶斯优化（BO）是一种利用概率代理模型（如高斯过程，GPs）来最大化称为采集函数的期望效用准则，从而解决复杂黑盒优化问题的标准方法。尽管有效，但传统的 BO 在批量设置下面临显著的可扩展性挑战，特别是在处理高维和组合设计空间（例如蛋白质设计）时。

现有的批量 BO 方法通常依赖通过采样“幻想”观测值来逐步构建候选集，随着批量大小的增加，该过程在计算上变得不可行。或者，将生成模型训练为提议分布的方法通常采用两阶段过程：首先拟合一个代理（回归或分类）模型来近似目标函数或采集函数，然后在此基础上训练生成模型。这种两阶段流水线加剧了近似误差并增加了计算成本。此外，许多现有的生成式方法特定于某些采集函数（例如改进概率），或者需要显式的奖励模型，从而引入了额外的误差源。

方法论

本文提出了生成式贝叶斯优化（GenBO），这是一个统一的框架，直接将生成模型转化为批量 BO 的候选解采样器，无需中间代理模型。其核心见解是训练生成模型以近似目标分布，该分布的密度与 BO 采集函数（期望效用）成正比，从而有效地对最优位置 $x^*$ 而非目标函数 $f$ 进行直接推断。

该框架提供了两种主要策略，利用从观测中导出的含噪效用值来训练生成模型 $q$ ：

基于偏好的学习（受 DPO 启发）：
受大语言模型直接偏好优化（DPO）的启发，该方法构建了一个成对对比损失。与其训练中间奖励模型，不如直接在输入对 $(x_{i,1}, x_{i,2})$ 及其对应的效用值 $(u_{i,1}, u_{i,2})$ 上训练生成模型。
- 鲁棒偏好损失（rPL）： 为了处理黑盒评估中固有的噪声（其中效用差异的符号可能会翻转），作者采用了 DPO 损失的鲁棒版本。该损失消除了对显式奖励模型和配分函数的需求，直接优化生成模型以近似目标分布 $p^*_u(x) \propto p_0(x) \exp(\frac{1}{\eta} E[u(y)|x])$ 。
基于散度的学习：
该方法通过散度最小化训练生成模型以直接匹配目标分布。
- 前向 KL： 模型最小化提议分布与目标分布之间的 Kullback-Leibler（KL）散度。作者利用重要性采样权重推导出了无偏训练目标。
- 平衡前向 KL： 为了解决标准前向 KL 无法惩罚效用为零的区域（例如低于改进阈值）的问题，引入了一种平衡变体。这添加了一个源自 Bregman 散度的软惩罚项，确保模型不会在低效用区域保持高概率密度。

该框架可推广至任何可表示为期望效用的采集函数（例如改进概率、期望改进、软期望改进），并支持各种效用函数，包括均值和 softplus 变体。

主要贡献

单模型框架： GenBO 消除了对中间回归或分类代理模型的需求，通过直接从含噪观测中训练单个生成模型，减少了近似误差和计算开销。
通用效用编码： 该方法将通用效用函数直接编码到生成模型的训练目标中，将应用范围从基于偏好的反馈扩展到通用奖励信号和损失函数。
理论收敛性： 本文提供了理论分析，表明在温和的正则性假设下（例如模型位于再生核希尔伯特空间中），生成模型序列遵循的分布渐近近似于最优目标分布。分析确立了近似误差的集中性与核方法相似。
可扩展性： 该方法旨在扩展到传统 BO 和两阶段生成式方法难以应对的大批量和高维组合空间。

实验结果

作者在具有挑战性的序列优化任务上评估了 GenBO，包括文本优化（最小化与"ALOHA"的编辑距离）和蛋白质设计（优化稳定性和溶剂可及表面积，以及合成 Ehrlich 函数）。

性能： GenBO 变体，特别是使用鲁棒偏好损失（rPL）和平衡前向 KL（bfKL）的变体，在与 CbAS、VSD（变分搜索分布）和 LaMBO-2 等强基线的比较中，取得了具有竞争力或更优越的性能。
效率： GenBO 展示了显著的运行时改进，在文本优化任务中，由于消除了中间代理拟合步骤，其速度比 VSD 快约3 倍。
鲁棒性： 在蛋白质设计任务中，GenBO 变体在 SASA 任务上显示出快速收敛，同时在处理更具挑战性的稳定性任务时与其他方法相当。实验强调，与基于分类器的基线相比，GenBO 对阈值退火方案的敏感性相对较低。
批量扩展： 该方法成功处理了高维蛋白质序列空间（ $M=64$ ）中的大批量（ $B=128$ ），并展示了随批量增加而单调改进的效果。

意义与主张

本文声称，GenBO 为黑盒优化的多阶段引导生成方法提供了一种更简单且更具可扩展性的替代方案。通过移除中间代理模型，GenBO 将流程简化为学习单个生成模型，从而减少了计算资源并消除了一个近似误差源。

作者将 GenBO 定位为一种“通用配方”，将无似然 BO 与现代生成建模技术统一起来。他们强调，虽然该框架目前专注于可表示为期望效用的采集函数，但其理论基础允许扩展到其他评分规则和模型类型（例如扩散模型、流匹配）。这项工作表明，由基于效用的伪似然因子驱动的对最优位置的直接推断，是优化复杂高维设计空间的一条可行且高效的路径。