🤖 machine learning

SMOG: Scalable Meta-Learning for Multi-Objective Bayesian Optimization

本文介绍了 SMOG，这是一种基于多输出高斯过程的可扩展且模块化的元学习框架，它利用历史数据，通过学习目标之间的相关性并将元数据不确定性传播到目标任务中，从而高效地解决昂贵的多目标黑盒优化问题。

原作者： Leonard Papenmeier, Petru Tighineanu

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Leonard Papenmeier, Petru Tighineanu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位工程师，正在调试一台复杂的机器，比如一辆高性能赛车。你不仅希望它速度快，还希望它燃油效率高、安全且舒适。这些目标往往相互冲突：让车更快可能会消耗更多燃油。这就是一个多目标问题。

现在，想象一下对这台赛车的每一种设置进行测试都极其昂贵且缓慢。在耗尽时间和资金之前，你只能进行几次测试。这就是贝叶斯优化的世界：用尽可能少的测试找到最佳设置。

通常，工程师为每一款新车型从头开始。但如果你有一个车库，里面存满了之前车型调校的日志呢？你可以利用这些历史经验获得先发优势。这就是元学习：从过去的任务中学习，从而更快地解决新问题。

本文介绍了SMOG（可扩展的多目标贝叶斯优化元学习），这是一种专为上述目的设计的新工具：利用历史经验来调校具有多个竞争目标的复杂且昂贵的机器，而不会被数据压垮。

以下是 SMOG 的工作原理，通过简单的类比进行解释：

1. 问题：“厨师太多”的困境

过去，试图将“从历史中学习”与“平衡多个目标”结合起来，就像试图组织一场盛大的百家宴，每个人都带来不同的菜肴，但没人知道这些味道如何混合。

旧方法：一些方法将每个目标（速度、燃油、安全）视为独立的人，忽略了它们之间的关联。另一些方法则试图构建一个巨大、超复杂的“大脑”，以同时理解所有历史和所有目标。这个巨人大脑过于沉重，如果你有太多过去的示例，它会导致计算机崩溃。
空白：当时没有一种工具既聪明到能看清目标之间的相互关系，又轻便到能处理海量的过往实验库。

2. 解决方案：SMOG 的“模块化团队”

SMOG 通过扮演一位聪明的项目经理来解决这个问题，它组建的是一个专家团队，而非一个巨人大脑。

专家（元任务）：想象你有 100 款过去的车型。SMOG 不会将它们合并成一个巨大的文件，而是将它们保存在单独的文件夹中。它为每一款过去的车型训练一个小型、高效的专家。
团队领导（目标任务）：当你引入一辆新车进行调校时，SMOG 不会从零开始。它会询问这些专家：“嘿，你们以前见过类似的东西吗？”
秘密武器（相关性）：这是 SMOG 大放异彩的地方。它意识到在赛车中，“速度”和“燃油”往往是相互关联的。如果过去的某款车型速度快但耗油量大，那么类似的新型车可能也是如此。SMOG 学习这些目标之间的联系。它不仅仅关注速度，还关注速度和燃油如何协同变化。

3. 如何保持轻量（可扩展性）

通常，增加更多的过往示例（元任务）会让数学复杂度呈爆炸式增长，就像往汤里添加更多食材，直到锅溢出来。

SMOG 的秘诀：它使用了一种巧妙的数学结构（“模块化”设计），允许它添加更多过往示例，而不会让计算机变慢。它的扩展是线性的。这就像往图书馆添加更多书籍：普通图书馆随着规模扩大会变得混乱，但 SMOG 的图书馆拥有一个完美的归档系统，无论添加的是第 10 本书还是第 1,000 本书，所需的努力都是一样的。

4. 处理不确定性（“安全网”）

由于过去的数据可能存在噪声，或与当前任务略有不同，SMOG 非常谨慎。它不会盲目信任过去。

类比：想象一位天气预报员。如果过去 10 年都是晴天，但今天看起来多云，糟糕的预报员可能会说“今天肯定晴天”。SMOG 则像一位谨慎的预报员，他说：“根据过去，今天很可能是晴天，但我仍会准备好雨伞，因为条件并不完全相同。”它将这种“不确定性”带入新任务中，确保不会做出过于自信的误判。

5. 结果：更快更智能

作者在各种“模拟世界”中测试了 SMOG（例如调整 AI 的超参数、设计无人机路径以及数学谜题）。

竞赛：在这些测试中，SMOG 始终比其他方法更快找到更优的解决方案。
多目标胜利：当问题包含多个竞争目标（例如需要平衡的 4 个不同指标）时，SMOG 的优势更加明显。这证明了在数据稀缺的情况下，理解目标之间的相互关系至关重要。

总结

SMOG 是一个帮助工程师和科学家解决具有多个目标的困难且昂贵问题的工具。它通过以下方式实现：

回顾过去：利用过往实验库获得先发优势。
串联线索：理解不同目标（如速度与成本）如何相互影响。
保持高效：处理海量过往数据而不拖慢计算机速度。
保持谨慎：考虑不确定性，避免做出冒险的猜测。

简而言之，SMOG 就像一位“经验丰富的导师”，它通过回忆以前如何解决类似的问题，帮助你解决新的复杂谜题，同时保持整个过程快速且可靠。

技术摘要：SMOG——面向多目标贝叶斯优化的可扩展元学习

问题陈述

多目标优化（MOO）旨在为具有竞争目标（例如性能与成本）的问题寻找帕累托最优解。在许多现实世界应用中，如工业调优、材料发现和机器学习系统设计，评估这些目标的成本高昂，导致处于低数据 regime，此时贝叶斯优化（BO）尤为有效。

尽管组织通常拥有来自相关优化任务的历史数据，但通过元学习将这些数据应用于多目标设置的研究仍显不足。现有方法面临三个主要挑战：

不确定性感知迁移：在多目标优化中，“最优解”是一个帕累托集，决策依赖于不确定性感知标准（例如超体积）。知识迁移需要将元任务的不确定性传播开来，以避免因任务不匹配而产生的过度自信偏差。
可扩展性：完全联合的多任务高斯过程（GP）模型虽具原则性，但由于其计算复杂度随观测总数呈立方级增长，对于许多元任务而言计算上不可行。
跨目标相关性：多目标优化中的目标往往相互关联。独立处理它们会浪费有价值的信息，然而大多数面向贝叶斯优化的可扩展元学习方法专为单目标迁移设计，忽略了这些依赖关系。

现有方法要么缺乏原则性的不确定性传播，要么无法随元任务数量扩展，要么忽略了跨目标相关性。

方法：SMOG

作者提出了SMOG（面向多目标高斯过程的可扩展元学习），这是一种结合元学习与多目标优化的代理模型，采用多输出高斯过程。SMOG 旨在满足三个关键需求：完全贝叶斯不确定性传播、随元任务数量线性扩展，以及学习目标间相关性的能力。

核心架构

SMOG 将 ScaML-GP 框架扩展至多输出设置。它将目标任务函数 $f_t$ 建模为缩放后的元任务函数之和与一个残差特定目标函数之和：
$f_{t,o} = \tilde{f}_{t,o} + \sum_{m \in \mathcal{M}} w_{m,o} f_{m,o}$
其中 $w_{m,o}$ 是特定于目标的权重。

该方法依赖于三个结构假设：

元任务独立性：元任务模型彼此不相关（对于 $m \neq m'$ ， $\text{Cov}(f_{m,o}, f_{m',o'}) = 0$ ）。这确保了可扩展性。
结构化耦合：目标任务通过元任务函数的线性组合（带有特定于目标的权重）与元任务耦合。关键在于，残差目标函数与元任务函数不相关。这防止了超参数数量随任务数量呈二次方增长。
模块化超参数推断：元任务超参数的推断独立于目标数据（无反馈），从而允许构建模块化的后验分布。

SMOG 核函数

所有任务和目标的联合核函数被构建为稀疏形式。通过应用上述假设，核心化矩阵（用于建模任务与目标间的相关性）变得稀疏，将核参数数量从 $O(M^3 O^3)$ 减少到 $O(M O^3)$ ，其中 $M$ 是元任务数量， $O$ 是目标数量。

对元数据进行条件化可得到目标任务的闭式先验：

均值：各个元任务高斯过程后验均值的加权和。
协方差：目标残差核与元任务后验协方差加权和的总和。权重为 $w_{m,o} w_{m,o'}$ 的乘积，显式耦合了完整的目标 - 目标协方差块。

等相关核

为了在数据有限的情况下处理目标任务残差的相关性，SMOG 在目标 - 目标耦合矩阵 $K_{Obj}$ 中采用等相关核结构。这将自由参数从 $O^2$ 限制为 $O+1$ （所有对共享的单个相关参数 $\rho$ 以及个体尺度 $\sigma_i$ ），确保在低数据 regime 下的可识别性。

算法

训练过程（算法 1）包括：

为每个元任务训练独立的多输出高斯过程，并优化其超参数。
通过缓存元任务后验并计算加权和来构建目标任务先验。
优化目标任务超参数。
对先验施加目标数据条件以获得最终后验。

计算复杂度随元任务数量 $M$ 线性扩展，使其适用于具有许多相关任务的场景。

主要贡献

首个统一代理模型：SMOG 是首个同时实现元任务数据上的完全贝叶斯不确定性传播、随元任务数量线性扩展以及在低数据 regime 下学习目标间相关性的代理模型。
理论保证：论文证明了所提出的核函数是有效的（半正定），并且对元数据的条件化能产生具有闭式表达的有效高斯过程后验。
实际集成：生成的代理模型可与标准多目标贝叶斯优化采集函数（如 LogExpectedHypervolumeImprovement）无缝集成。
消融与分析：作者证明了单目标 ScaML-GP 是 SMOG 的特例，并分析了跨目标耦合的影响。

实验结果

作者将 SMOG 与广泛的基线进行了评估，包括非元学习高斯过程（Ind. GP, MO-GP）、适配到多目标优化的单目标元学习方法（Ind. ScaML-GP, Ind. RGPE, Ind. SGPT, Ind. ABLR, Ind. GC3P），以及唯一的另一种元学习多目标优化方法（MO-TPE）。

基准测试：

合成数据：适配的 Branin-Currin 和 Hartmann6 函数，分别包含 2 个和 4 个目标。
现实世界：HPOBench（4 个数据集上的神经网络超参数优化）和地形基准（无人机轨迹优化）。

发现：

性能：在所有合成和现实世界基准测试中，SMOG 始终实现最低或接近最低的累积超体积遗憾。
元学习与独立性：虽然独立处理目标（Ind. SMOG）捕捉到了元学习的大部分收益，但 SMOG 在目标数量较多的问题中（例如具有 4 个目标的 Hartmann6）显示出明显优势，证实了建模跨目标相关性的益处。
鲁棒性：SMOG 在不同数量的元任务和观测值下表现稳健。虽然某些基线（例如 Ind. ABLR, Ind. SGPT）在特定数据集上优于 SMOG，但它们往往在其他数据集上表现不佳，而 SMOG 则保持了强劲的整体性能。
代理质量：与非元学习基线相比，SMOG 显著降低了均方根误差（RMSE）。校准度（通过负对数预测密度衡量）具有竞争力，尽管参数化迁移方法在某些平滑合成函数上有时能实现更好的校准。

意义与主张

论文声称，SMOG 通过提供一种实用且具原则性的算法，填补了文献中的关键空白，该算法结合了元学习和多目标优化。

效率：通过传播元数据不确定性并利用跨目标相关性，SMOG 提高了样本效率，使从业者能够以更少的昂贵评估找到优质解。
可扩展性：随元任务数量线性扩展的特性使得利用大量历史优化数据仓库成为可能，而这对于完全联合高斯过程模型而言此前在计算上是不可行的。
适用性：该方法直接适用于航空航天工程、材料科学和机器学习系统设计等高影响力领域，在这些领域中，竞争目标间的权衡很常见且数据稀缺。

作者承认了局限性，指出该方法假设任务共享相同的搜索空间和目标空间，并且依赖于某些假设，这在与数据充足时相比可能限制了其相对于基于神经网络的模型的灵活性。然而，在目标稀缺且噪声数据的 regime 中，SMOG 提供了一种稳健且理论扎实的解决方案。