💻 computer science

LLM-Driven Evolutionary Generation of Multi-Objective Bayesian Optimization Algorithms

本文通过利用大语言模型作为进化算子来自动生成算法实现，将 LLaMEA 框架扩展到了多目标贝叶斯优化领域，实验表明，在处理合成问题和真实工程问题时，该方法在准确性上优于或等同于最先进的 qParEGO 基准算法，同时显著降低了计算成本。

原作者： Georgios Laskaris, Reuben Brasher, Niki van Stein, Elena Raponi, Thomas Bäck, Florian Neukart

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Georgios Laskaris, Reuben Brasher, Niki van Stein, Elena Raponi, Thomas Bäck, Florian Neukart

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图寻找一个完美的蛋糕食谱。你希望它既甜美、又蓬松，而且制作成本还尽可能低。但问题在于，增加甜度可能会让它变得不那么蓬松，而使用更便宜的原料可能会毁掉口感。这是一个“多目标”问题，对于人类厨师来说，要同时平衡这些因素简直是一场噩梦，因为有太多的选择需要权衡。

通常，专家级厨师（算法）需要花费数年时间不断微调他们的食谱，以找到一种平衡。但在本文中，一个研究小组决定让一位由大语言模型（LLM）驱动的超级智能机器人厨师来掌勺。他们不仅仅是让机器人调整几种香料；他们是要求机器人从零开始发明全新的烹饪方法。

机器人的进化厨房

研究人员建立了一个名为 LLaMEA-MOBO 的数字厨房。你可以把它想象成一个高科技烹饪秀，在这里，机器人厨师不仅仅是在做一道菜，它是在进化。

参赛者： 机器人从一些基础食谱（算法）开始。
变异与交叉： 就像自然界一样，机器人会对一个食谱进行随机改变（变异），或者将两个不同的食谱融合在一起，创造出一个新的混合体（交叉）。
品尝测试： 新食谱会在 12 个不同的“合成”蛋糕挑战（看起来像现实世界谜题的数学问题）上进行测试。机器人会衡量每份食谱在甜度、蓬松度和成本之间的平衡程度。
循环： 最好的食谱会存活到下一轮，经过再次微调，这个过程不断重复。机器人大约会进行 900 次这样的循环，从而创造出整整一代全新的烹饪方法。

重大发现：速度与智慧

研究发现，这位机器人厨师不仅学会了烹饪，它还学会了如何比人类专家更快、更好地烹饪。

其中一个机器人的杰作，名为 MOEAD-EI Hybrid，成为了这场合成表演中的明星。它达到了 0.971 的“归一化超体积”得分。为了让你理解其意义，目前表现最好的真人设计食谱（名为 qParEGO）仅得分为 0.869。

但真正的魔力不仅在于味道，还在于速度。机器人的食谱大约比人类专家的快 60 倍。人类厨师需要很长时间来烘焙（高“墙钟时间”），而机器人的方法则能在极短的时间内做出同样（甚至更好）的结果。

当研究人员将这些机器人食谱应用于三个真实的工程问题——例如设计桥梁桁架或火箭喷射器时，机器人的 Improved-Scalarized-EI 脱颖而出，得分高达 0.985，击败了人类专家的 0.971，并且耗时减少了约 3.4 倍。

机器人做了什么（以及没做什么）

了解这项实验没有证明了什么非常重要。论文明确排除了机器人只是运气好或者它适用于所有问题的观点。

它不是解决一切问题的万灵药： 机器人是在特定类型的问题（12 个合成问题和 3 个现实世界的工程问题）上进行的测试。论文并未声称它能解决宇宙中的任何问题，只说它在处理这类特定的优化挑战时表现出色。
它不是一个“已解决”的问题： 作者谨慎地表示，他们只是展示了机器人可以找到这些设计，但并不认为算法设计问题已经“解决”。他们认为这是一种寻找解决方案的新方式，而非最终答案。
“随机性”陷阱： 论文指出了一个有趣的故障：有时机器人厨师试图表现得过于确定（就像一个总是以完全相同方式抛硬币的机器人）。研究人员必须通过强制机器人恢复真正的随机性来修复这个问题，否则结果就会失真。这表明该过程尚未完美。

“时间 vs. 味道”的权衡

研究人员绘制了一张图表，展示了烹饪时间与蛋糕质量之间的权衡关系。

旧的人类方法要么很慢但质量好，要么很快但质量平庸。
机器人的方法处于“甜点区”（高效前沿）。它们与最好的真人方法一样优秀，但运行速度快了 一个到三个数量级。
其中一个机器人食谱 RF-ParEGO-Batch 速度极快，在处理现实世界问题时比人类专家快了 754 倍，尽管其准确度略低。

结论

论文总结道，利用 LLM 来进化算法是一个强大的新工具。它表明，我们不需要仅仅依赖人类专家来设计复杂的优化工具。机器人可以发现人类可能永远无法想到的设计，并以一种“通过人工设计难以达到”的方式平衡准确性和速度。

然而，作者也坦诚地说明了局限性。他们承认仅在少量的现实世界问题（三个）上进行了测试，并且机器人在面对不同类型的挑战时可能需要更多的微调。他们还指出，机器人的成功取决于他们使用的特定“大脑”（LLM）以及给出的提示词。

简而言之，论文证明了由进化引导的机器人厨师可以发明出一种既美味又极其快速的新食谱，在速度上击败了最好的真人厨师，同时在质量上与之媲美。但这项工作仍在进行中，在宣布它是终极厨师之前，我们还需要在更多的厨房里对其进行测试。

技术摘要：基于大语言模型驱动的进化多目标贝叶斯优化算法生成

1. 问题陈述

设计有效的多目标贝叶斯优化（MOBO）算法是一项复杂的任务，需要平衡众多相互依赖的设计选择，例如代理模型选择、采集函数和候选生成策略。最优配置通常依赖于具体问题，并需要深厚的专业知识。虽然近期在由大语言模型（LLM）驱动的单目标算法生成领域取得了进展，但由于需要处理帕累托支配（Pareto dominance）、超体积（hypervolume）计算以及无需人工干预的目标归一化，将这种能力扩展到多目标领域仍面临挑战。

2. 方法论

作者将 LLaMEA 框架扩展到了多目标设置，创建了 LLaMEA-MOBO。该系统采用进化循环，其中 LLM 充当变异和交叉算子，以生成完整的算法实现。

核心框架组件

进化循环： 该过程按世代迭代。在每一步中，LLM 会接收父代算法（或多个父代）的源代码、其适应度反馈（归一化超体积和执行时间）以及任何运行时错误作为提示。
- 变异（Mutation）： 对单个父代进行改进以优化其策略。
- 交叉（Crossover）： 将两个父代结合以创建新的解，随后对其进行精炼。
算法接口： 生成的算法必须符合固定的面向对象接口。至关重要的是，目标数量并非硬编码；算法必须在运行时从第一次函数评估中推断出目标数量，以确保在双目标和多目标问题上的通用性。
超参数优化（HPO）： 通过 SMAC（基于序列模型的算法配置）直接集成到进化循环中。每个生成的算法都定义了一个可调的超参数空间（例如，批次大小、核参数）。SMAC 在一组基准问题上优化这些参数，以促进泛化并避免过拟合。
适应度信号： 算法的适应度定义为在一系列基准问题上的平均归一化超体积（HV）。归一化确保了具有不同目标尺度的不同问题对适应度信号的贡献是相等的。

实验设置

进化策略： 测试了三种配置： $(1+1)$ -ES、 $(4+16)$ -ES 和 $(8,16)$ -ES。
LLM 算子： 使用 Gemini-2.5-flash 来合成算法代码和配置空间。
基准测试：
- 合成套件： 包含来自 ZDT、DTLZ 和 WFG 系列的 12 个问题，涵盖了不同维度（5–30 个变量）和复杂度（多峰性、非凸性、不连通性）的双目标和三目标设置。
- 现实世界套件： 来自 RE 基准测试集的 3 个无约束工程问题（RE21、RE34、RE37）。
基准方法（Baselines）： 将生成的算法与最先进的方法进行比较，包括来自 BoFire 的 qParEGO、IOC-SAMO-COBRA、经典进化算法（NSGA-II、NSGSA-III）以及随机搜索。

3. 核心贡献

框架扩展： 作者成功地将 LLaMEA 框架扩展到生成完整的 MOBO 算法，并将基于 SMAC 的超参数优化直接集成到进化循环中。
算法发现： 系统在九次进化运行中生成了约 90 多个候选算法。研究分析了不同的选择机制（进化策略）如何影响设计的多样性和质量。
性能基准测试： 本文通过在合成领域和现实世界领域中，将表现最好的生成算法与成熟的手工设计方法进行严格的基准测试。
时间-精度权衡分析： 该工作刻画了效率前沿，证明了 LLM 生成的算法可以在显著降低计算成本的同时达到最先进的精度。

4. 结果

合成基准测试（阶段 1 & 2）

顶尖表现者： 在开发过程中发现的算法 MOEAD-EI Hybrid 在 12 个合成问题上实现了最高的平均归一化超体积 0.971。
与 SOTA 的比较： MOEAD-EI Hybrid 在 7 个问题上显著优于最先进的 qParEGO (0.869)，且从未显著差于后者。
效率： 为了达到优于或相当的精度，MOEAD-EI Hybrid 所需的墙钟时间（wall-clock time）仅为 qParEGO 的约 1/60。
系统性选择的算法： 在严格通过进化过程选出的顶级算法中，Improved-Scalarized-EI 实现了 0.811 的平均归一化 HV，优于所有经典基准方法，但略逊于 qParEGO 和 MOEAD-EI Hybrid。

现实世界基准测试（阶段 3）

泛化能力： 在三个未见的现实世界工程问题上，Improved-Scalarized-EI 脱颖而出，成为精度最高的单一方法，其平均归一化 HV 为 0.985。
比较： 它在三个现实世界问题中的两个问题上显著优于 qParEGO (0.971)。
成本： Improved-Scalarized-EI 以大约 3.4 倍更低的墙钟成本 实现了这一性能。
MOEAD-EI Hybrid 在现实世界问题上也表现良好 (0.926)，排名第三，证实了收益可以从合成领域转移到现实场景。

统计显著性

Friedman 检验： 确认了算法之间存在显著差异 ( $p = 4.3 \times 10^{-8}$ )，并将 MOEAD-EI Hybrid 排在首位。
时间-精度： 在所有 15 个问题中，每个生成的算法都显著快于 qParEGO ( $p = 6.1 \times 10^{-5}$ )。生成的算法占据了效率前沿，在匹配或超过精度的同时，运行速度快了一个到三个数量级。

算法特征

研究分析了顶级算法的谱系，揭示了它们并非“黑盒”，而是由可识别且动机明确的模块组成的：

MOEAD-EI Hybrid： 结合了 MOEA/D 分解、独立的高斯过程（GP）代理模型和期望改进（EI）采集函数，平衡了精度与成本。
Improved-Scalarized-EI： 使用带有 Matérn-2.5 GP 代理模型的尺度不变 Tchebycheff 标量化 EI，并通过向量化的进化内部优化器进行优化。它在平滑、低维的现实问题上表现出色。
RF 变体： 使用随机森林（Random Forest）代理模型的算法（如 RF-ParEGO-Batch）通过牺牲代理模型的保真度来换取速度，以 2–3 个数量级的更低运行时间实现了具有竞争力的精度。

5. 重要性与主张

本文声称，LLM 驱动的进化搜索可以发现那些难以通过人工设计达到的帕累托高效权衡的算法设计。

具体而言，作者证明了：

自动化生成可以产生匹配或超过手工设计的最先进方法（如 qParEGO）精度的 MOBO 算法。
这些生成的算法能以极小的计算成本（快达 60 倍）实现此类性能，解决了贝叶斯优化通常伴随的高昂墙钟开销问题。
该方法能够从合成基准成功泛化到现实世界的工程问题，而无需重新配置。
该过程具有可解释性；顶级算法的谱系展示了对特定模块（代理模型、采集函数、优化器）的有向精炼，而非随机采样。

作者也承认了局限性，包括评估预算的高计算成本（限制了重复次数）、仅限于无约束现实世界问题的限制，以及结果对所选 LLM 主干模型的敏感性。他们建议未来的工作应探索约束问题、更大的预算以及针对特定目标问题生成专门的求解器。