🤖 AI

NeurGO: Learning to Generate Elite Candidates for Meta-Black-Box Expensive Optimization

本文提出了 NeurGO，一种生成式元黑盒优化（Meta-Black-Box Optimization）框架，该框架利用基于注意力的编码器-解码器架构，直接从历史种群趋势中合成精英候选个体，从而克服了传统代理模型的局限性，并在严格的评估预算下提高了收敛速度和性能。

原作者： Jintao He, Huixiang Zhen, Wenyin Gong

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jintao He, Huixiang Zhen, Wenyin Gong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在广袤而神秘的沙漠中寻找挖掘黄金最佳位置的寻宝者。问题在于？你每挖一个洞，都会耗费巨额的燃料和时间，而你剩下的钱已经少得可怜，随时可能破产。这就是“昂贵黑盒优化”（expensive black-box optimization）的世界。在科学和工程领域，研究人员经常面临这样的问题：测试一个解决方案的成本极高——比如在风洞中设计一个新的飞机机翼，或者调整复杂人工智能的参数设置。他们看不见地形的“地图”（问题背后的数学原理），也无法询问方向（梯度是不可用的）。他们只能挖几个洞，然后寄希望于能找到那条最深的金矿脉。

传统上，寻宝者使用两种主要策略。第一种是根据他们从之前的洞穴中绘制出的粗略地图草图来猜测挖掘位置（代理辅助方法/Surrogate-Assisted methods）。第二种是派出庞大的侦察兵群在到处挖掘，希望能碰运气（进化算法/Evolutionary Algorithms）。但两者都有缺陷：如果挖的洞还不够多，草图可能会出错；而派出庞大的侦察兵群则会过快地耗尽你的预算。大问题在于：如何在挖掘次数最少、且每次挖掘都极其昂贵的情况下，找到那个绝对最佳的位置？

于是，NeurGO 登场了，这是由研究人员 Jintao He、Huixiang Zhen 和 Wenyin Gong 提出的一种新方法。NeurGO 并不通过画图或派出大规模集群，而是像一位见过成千上万张地图的资深寻宝者一样。它利用一种特殊的类人工智能技术，观察当前的“侦察兵”群体（解的种群），并瞬间合成一小支极具潜力的精英候选团队。

可以这样理解：如果传统方法像是让一百个随机的人去猜黄金在哪里，然后采纳他们所有的建议进行挖掘，那么 NeurGO 则像是一位大师级厨师，品尝了一勺汤（当前的种群），理解了风味特征，然后瞬间变出三种完美的食材，让这锅汤变得美味无比。研究人员称之为“生成式”（generative）方法，因为它是直接“创造”出最好的候选者，而不是仅仅从一堆随机的选项中进行挑选。

论文指出，NeurGO 的工作原理是向过去的寻宝经历学习。它使用一个“种群上下文编码器”（Population Context Encoder）来理解当前搜索的故事——观察优秀的解正朝着哪些方向移动——并使用一个“精英合成解码器”（Elite Synthesis Decoder）来撰写新的篇章，生成极少数高质量的候选者。至关重要的是，该系统使用了一种被称为“质量-多样性”（Quality-Diversity）损失的特殊规则进行训练。这确保了 AI 不会仅仅在同一个地方反复挖掘（虽然稳妥但枯燥），同时也能够向外扩散，以发现新的、潜在更好的位置。

当研究人员测试这个想法时，他们让 NeurGO 与其他著名的寻宝者进行对决，包括标准的进化算法和贝叶斯优化（即那些“绘图专家”）。他们在被称为 CEC 2008 和 COCO BBOB 的一系列标准且困难的谜题上进行了这些测试。结果令人振奋：NeurGO 表明，在预算紧张的情况下，它能比其他方法更快地找到更好的解。在模拟实验中，特别是在 CEC 测试函数上，NeurGO 在相同的评估预算下通常比竞争对手实现更快的收敛。然而，论文也指出，在一些存在大量迷惑性局部陷阱的极难谜题上，像 TurBO 或 HEBO 这样的其他方法依然表现出色，这表明虽然 NeurGO 是一个强大的新工具，但它并不是一个能瞬间解决所有问题的魔杖。作者总结道，通过跳过评估庞大候选人群这一昂贵步骤，转而专注于极少数精英，NeurGO 为在这个每一次测试都至关重要的世界中寻找最佳解提供了一种更聪明、更高效的方式。

技术摘要：NeurGO —— 学习为元黑盒优化生成精英候选解

1. 问题定义

本文研究的是昂贵黑盒优化 (Expensive Black-Box Optimization, EBBO)，这是一类全局优化问题，其目标函数 $f: \Omega \to \mathbb{R}$ 仅能通过评估获取，梯度不可用，且评估预算 ( $B_{max}$ ) 受到严格限制。此类场景在超参数调优和工程设计中非常常见。

核心挑战在于如何在尽可能少的函数评估次数下逼近全局最优解。现有的范式面临着特定的局限性：

贝叶斯优化 (BO) 与代理辅助进化算法 (SAEA)： 这些方法依赖于构建代理模型（如高斯过程）来近似适应度景观。然而，在紧凑的预算下，有限的数据会导致不准确的代理模型（即“冷启动”问题）和模型偏差，从而可能使搜索陷入局部最优。此外，为每个新任务从头开始训练代理模型限制了跨任务的泛化能力。
传统的元黑盒优化 (Meta-Black-Box Optimization, MetaBBO)： 虽然这些方法学习了可迁移的搜索策略，但许多方法仍将进化算法 (EA) 作为底层优化器。因此，它们浪费了大量的预算用于生成和评估庞大的后代种群，而其中许多个体是低质量的。

2. 方法论：NeurGO

作者提出了 NeurGO，这是一个生成式 MetaBBO 框架，旨在直接从历史种群状态中合成一小组高质量的（“精英”）候选解，从而绕过生成大规模后代种群或在线拟合代理模型的需要。该框架由三个主要阶段组成：

2.1 架构概述

NeurGO 基于 Transformer 主干网络构建，包含两个核心模块：

种群上下文编码器 (Population Context Encoder, PCE)： 将当前种群状态编码为捕捉进化趋势的高维表示。
精英合成解码器 (Elite Synthesis Decoder, ESD)： 将编码后的表示映射为 $k$ 个候选解（ $k \ll N$ ，其中 $N$ 为种群规模），用于昂贵的评估。

2.2 种群上下文编码器 (PCE)

PCE 将种群视为一个序列进行处理，以捕捉全局交互。

种群排序： 种群按适应度升序排列。这起到了一种隐式的相对位置编码作用，在不依赖特定适应度尺度的情况下，优先考虑高性能个体。
秩-适应度双感知注意力 (Rank-Fitness Dual-Aware Attention)： 注意力机制并非使用标准的学习投影，而是通过以下方式构建：
- 适应度分支： 将归一化的适应度值 ( $\tilde{F}_t$ ) 进行投影，以创建适应度感知的查询 (Query) 和键 (Key)，根据适应度关系聚合排序后的种群。
- 秩分支： 使用可训练矩阵 ( $A_{rank}$ ) 来捕捉排序信息。
- 这两个分支通过可学习权重 ( $\lambda_{rank}, \lambda_{fit}$ ) 进行融合。
带扰动的残差融合： 为了防止过早收敛并鼓励探索，前馈网络 (FFN) 在注意力输出中引入了可学习的非线性扰动。最终的精炼表示 ( $X^{ref}_t$ ) 是原始排序种群、注意力聚合特征以及 FFN 扰动特征的残差融合。

2.3 精英合成解码器 (ESD)

ESD 直接从精炼的种群表示中生成 $k$ 个精英候选解。

多源特征拼接： 解码器拼接了三个来源：排序后的原始种群 ( $X^{sort}_t$ )、归一化适应度 ( $\tilde{F}_t$ ) 以及精炼表示 ( $X^{ref}_t$ )。
加权聚合： 多层感知机 (MLP, $g_\phi$ ) 计算一个得分矩阵，量化每个个体对 $k$ 个候选解中每一个的贡献。通过 Softmax 归一化得到贡献权重 ( $P_t$ )。最终的候选解 ( $X^{cand}_t$ ) 通过使用这些权重对精炼种群表示进行聚合而成： $X^{cand}_t = P_t^\top X^{ref}_t$ 。这确保了候选解始终锚定在当前种群分布内，避免产生分布外 (out-of-distribution) 的提议。

2.4 训练目标：质量-多样性 (Quality-Diversity, QD) 损失

NeurGO 使用复合损失函数进行元训练，以平衡解的质量与搜索的多样性：

质量损失 ( $L_{qual}$ )： 衡量合成集合中的最佳候选解相对于父代种群中最佳个体的改进程度。适应度值经过 z-score 归一化处理，以应对不同任务间的尺度差异。
多样性损失 ( $L_{div}$ )： 通过最大化合成候选解之间的平均成对欧氏距离（经搜索空间边界归一化）来鼓励候选解在决策空间中展开。
总目标： $L_{QD} = L_{qual} + \lambda L_{div}$ ，其中 $\lambda$ 在训练期间线性衰减，以实现从探索到收敛的重心转移。

3. 核心贡献

生成式 MetaBBO 框架： NeurGO 引入了一种新范式，直接从种群状态合成精英候选解，消除了在昂贵优化设置中生成大规模后代种群的低效性。
带有 QD 目标的端到端架构： 本文提出了一个统一的生成模型，该模型学习从种群状态到解的映射，同时通过自定义损失函数显式平衡收敛速度（质量）与搜索多样性。
实证验证： 大量的基准测试表明，在严格的评估预算下，NeurGO 比经典的 EA、SAEA、BO 以及其他 MetaBBO 基准方法具有更快的收敛速度和更优的最终性能。

4. 实验结果

作者在维度为 $D=10$ 且预算严格限制在 $MaxFE = 300$ 的 CEC 2008 和 COCO BBOB 测试集上对 NeurGO 进行了评估。

与 EA 的比较： 在大多数测试函数上，NeurGO 的表现优于经典的进化算法（DE, GA, SHADE, CMA-ES）。作者将其归功于 NeurGO 能够通过生成有针对性的精英候选解，避免在低质量个体上浪费评估次数。
与 SAEA 和 BO 的比较： NeurGO 比代理辅助方法（EGO, SACOSO, TurBO, HEBO）表现出更高的稳定性和性能。虽然 BO 方法在某些特定复杂函数上可能具有竞争力，但 NeurGO 显示出更一致的优势，特别是因为它避免了在有限数据下在线拟合代理模型所带来的噪声和偏差。
与 MetaBBO 的比较： NeurGO 比其他基于学习的优化器（B2Opt, LGA, LES）实现了更好的最终性能和稳定性。它展现出更强的跨函数泛化能力，特别是在 CEC 元测试函数上。
收敛性分析： 收敛曲线显示 NeurGO 在优化过程早期（约 100 次评估时）就实现了显著的适应度下降，这表明元学习到的先验知识能有效地定位潜在的优选区域。
消融实验： 移除 PCE 模块或其内部组件（注意力、FFN、残差连接）会显著降低性能，这证实了学习丰富的种群上下文表示而非仅仅依赖简单重组的必要性。

5. 意义与主张

本文声称，NeurGO 通过将重点从对目标函数建模（代理模型）转向对搜索过程建模（生成式先验），为传统的昂贵优化范式提供了一个强有力的替代方案。

效率： 通过在每次迭代中仅合成极少数高价值的候选解，NeurGO 最大化了每一次昂贵评估的效用。
泛化性： 该框架利用跨任务训练来学习可迁移的搜索先验，减少了对特定任务超参数调优或精确在线代理模型的依赖。
鲁棒性： 该方法对于在低预算机制下困扰代理辅助方法的“冷启动”问题和模型偏差具有较低的敏感性。

作者总结道，NeurGO 有效地解决了昂贵黑盒优化中的效率瓶颈，在传统方法难以应对预算约束的情况下，提供了一个稳定且高性能的解决方案。