🤖 machine learning

Automated Kernel Discovery Towards Understanding High-dimensional Bayesian Optimization

本文介绍了核发现，这是一种由大语言模型驱动的进化框架，它通过在更广阔的数学空间中进行搜索且不依赖原始观测值，克服了现有高维贝叶斯优化中自动化核设计的局限性，在基准测试中以17项中的平均排名1.2实现了卓越性能。

原作者： Taeyoung Yun, Woocheol Shin, Inhyuck Song, Jaewoo Lee, Jinkyoo Park

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Taeyoung Yun, Woocheol Shin, Inhyuck Song, Jaewoo Lee, Jinkyoo Park

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在寻找一款蛋糕的完美配方，但厨房里有成千上万种食材（维度），而不仅仅是面粉和糖。你无法品尝每一种可能的组合，因为那将耗费无穷无尽的时间。这就是**高维贝叶斯优化（BO）**所面临的挑战：在极少次尝试中，于一个巨大且复杂的空间里找到最佳解。

为了解决这一问题，科学家们使用了一种名为高斯过程（GP）的“智能猜测器”。你可以将 GP 想象成一位厨师，他根据你已经品尝过的蛋糕，构建出一张厨房的“心理地图”。这张地图最关键的部分是核函数（Kernel）——一种数学规则，用于决定两种食材（或厨房中的两个点）彼此之间的相似程度。

问题所在：厨师陷入了困境

多年来，为这些巨大的厨房设计这些“相似性规则”（核函数）一直是一场噩梦。

手动陷阱：专家必须亲手制定这些规则，这不仅缓慢，而且容易出错。
“信息过载”陷阱：最近的一些尝试利用人工智能（大语言模型或 LLM）来辅助，但它们试图一次性向 AI 输入所有原始数据（成千上万个数字）。这就像试图通过向厨师大喊一万种食材的清单来解释一个复杂的配方。厨师会感到不知所措，忘记开头，无法找到规律。
“照本宣科”陷阱：其他人工智能方法只能以简单的方式混合现有规则（如相加或相乘），就像只允许你混合面粉和糖，却永远无法发明一种新的香料。

解决方案：“核函数发现”

本文的作者们创建了一个名为**核函数发现（Kernel Discovery）**的新系统。他们意识到，直接要求 AI 编写代码往往会导致 AI 只是重命名变量，或者用不同的字体重写相同的数学公式（例如将"2+2"说成"1+1+2"）。看起来不同，但做的事情完全一样。

为了解决这个问题，他们建立了一条两阶段装配线：

架构师（第一阶段）：首先，他们要求 AI 扮演数学家的角色。AI 不直接编写代码，而是提出一种新的数学形状或公式。这就像建筑师为一种新型蛋糕模具绘制蓝图。
构建者（第二阶段）：然后，第二次 AI 调用将接收该蓝图，并将其转化为实际可运行的计算机代码。

这种分离迫使 AI 关注结构，而不仅仅是复制语法。它使该系统能够发明人类可能从未想过的全新类型的“相似性规则”。

“品尝测试”（选择）

一旦 AI 发明了一种新的核函数，如何知道它是否优秀？
通常，系统会选择最完美拟合当前数据的核函数。但这就像一位厨师记住了你已经品尝过的特定蛋糕，却无法烘焙出新蛋糕。这被称为过拟合。

作者们引入了一种名为LOO-CRPS的新“品尝测试”。

类比：想象厨师品尝了一块蛋糕，然后将其放在一边，尝试在不重新查看的情况下猜测它的味道。如果厨师仍然能猜对，说明该配方具有鲁棒性。如果厨师只能因为记住了特定的那一口而猜对，那么该配方就是糟糕的。
这种方法会对过于复杂或仅仅是死记硬背的核函数施加惩罚，确保系统选择那些实际上能泛化到搜索空间新区域的规则。

结果：新的冠军

该团队在五个不同的“厨房”（基准测试）上测试了该系统，维度范围从 100 到超过 6000。

得分：在 17 种不同的方法（包括老式的手工规则和 AI 尝试）中，他们的方法以1.2的平均排名获得了第 1 名。
发现：他们发现，最佳的核函数通常涉及几何形变（像橡胶片一样弯曲空间），并以意想不到的方式组合不同的数学概念。例如，他们发现了一些表现良好的核函数，尽管它们使用了“非平稳”规则（即规则会根据你在厨房中的位置而变化），而此前人们认为这样做是有风险的。

总结

简而言之，这篇论文指出：“不要仅仅要求 AI 基于海量数据编写代码。相反，先让它设计数学蓝图，然后再构建它。不要只选择完美拟合过去的规则；要选择那些证明自己能预测未来的规则。”

这种方法使计算机能够自动发明更好的“地图”，以解决极其复杂的高维问题，而无需人类专家承担繁重的体力劳动。

技术摘要：面向理解高维贝叶斯优化的自动化核函数发现

问题陈述

高维贝叶斯优化（BO）对于超参数调优、神经架构搜索和生物序列设计等应用至关重要。然而，贝叶斯优化受困于“维数灾难”，观测值之间的大距离使得准确的代理建模变得困难，并导致对搜索空间边界的过度探索。

尽管近期研究表明，具有适当缩放长度尺度先验或几何输入扭曲的简单核函数（如 RBF、Matérn）可以表现良好，但识别有效的先验或变换仍然需要领域专家进行大量的手工工程。现有的自动化方法在高维场景中面临两个主要瓶颈：

表达瓶颈：当前的核函数搜索方法仅限于预定义基础核函数的加法和乘法组合，限制了对适合高维问题的新颖结构的发现。
接口瓶颈：基于大语言模型（LLM）的 BO 方法通常依赖原始观测值来指导搜索。在高维情况下，海量数值数据超出了 LLM 的上下文限制，使得模式提取变得不可行。

方法论：核函数发现

作者提出了核函数发现（Kernel Discovery），这是一个由 LLM 驱动的进化框架，旨在自动化设计适用于高维 BO 的有效高斯过程（GP）核函数。该框架通过涉及种群初始化、核函数发现、验证和选择的迭代循环运行。

1. 两阶段发现流程

为了克服 LLM 生成语法多样但功能相同代码的局限性，作者采用了两阶段方法：

阶段 1（数学公式化）：LLM 被提示基于现有核函数种群提出新颖的核函数数学形式。关键在于，此阶段不依赖原始观测值；相反，它利用 LLM 的数学推理能力来生成结构上具有创新性的形式。提示词包含针对高维策略（如输入投影、维度缩放）的具体指导以及约束条件（如正定性）。
阶段 2（代码转换）：第二次 LLM 调用将提出的数学形式转换为可执行的 Python 代码（专门针对 GPyTorch 框架）。

2. 种群初始化与进化

该过程始于一个已知在高维场景中有效的初始核函数种群（ $P_0$ ），包括 RBF、Matérn52、有理二次型（RQ）、BOCK（圆柱核）和 SL（球面线性核）。

组合：除了两阶段发现外，该框架还包括一个组合阶段，LLM 通过加法或乘法将表现最佳的核函数进行组合。
验证：新生成的核函数需经过两项经验检查：
- 无关执行（ $V_{agn}$ ）：确保代码在不同输入形状和批量大小下能正确运行。
- 正定性（ $V_{psd}$ ）：通过 Cholesky 分解验证核函数是否生成有效的协方差矩阵。
选择标准（LOO-CRPS）：为了在不发生过拟合的情况下为下一次 BO 迭代选择最佳核函数，作者引入了留一法连续排序概率分数（LOO-CRPS）。与可能偏好过度拟合当前数据的过于复杂的核函数的边缘对数似然（MLL）不同，LOO-CRPS 通过在保留数据点上评估预测分布来惩罚过度自信的拟合。

3. 进化循环

在每次迭代中，框架生成新候选者，验证它们，并选择具有最低 LOO-CRPS 的核函数来拟合 GP 代理模型。随后最大化采集函数（LogEI）以提出下一个查询点。种群通过保留 LOO-CRPS 最低的前 $N$ 个核函数进行更新，确保种群向更校准且更有效的代理模型进化。

主要贡献

新颖框架：提出了“核函数发现”，这是首个 LLM 驱动的进化框架，它搜索超越简单加法/乘法组合的更广泛核函数空间，并避免对原始高维观测值进行条件化。
两阶段分解：将数学公式化与代码生成分离的方法论见解，减少了功能冗余，并鼓励发现真正新颖的核函数结构。
鲁棒选择指标：提出将 LOO-CRPS 作为选择标准，以缓解核函数选择过程中的过拟合问题，解决了 MLL 在自动化核函数搜索中的已知弱点。
实证验证：在五个高维基准测试（维度范围从 100 到 6,392）上进行了全面评估，证明了其优于 16 个基线方法，包括基础核函数、基于搜索的方法以及其他基于 LLM 的 BO 方法。

实验结果

该方法在五个标准基准测试上进行了评估：Rover（ $D=100$ ）、Mopta08（ $D=124$ ）、Lasso-DNA（ $D=180$ ）、SVM（ $D=388$ ）和 Humanoid（ $D=6392$ ）。

性能：核函数发现在所有基准测试中实现了17 种方法中平均排名 1.2的成绩，显著优于排名第二的组合搜索（Compositional Search，排名 4.4）。
与基线的比较：
- 它优于所有固定基础核函数（RBF、Matérn 等）。
- 它显著超越了贪婪搜索和组合搜索等基于搜索的方法，突显了将搜索空间限制为简单组合的局限性。
- 它显著优于 CAKE、ARM 和 LMABO 等基于 LLM 的基线。作者将 CAKE 的失败归因于其依赖原始观测值作为上下文，这在高维情况下会损害性能。
消融研究：移除任何组件（初始化、发现阶段或 LOO-CRPS 指标）都会导致性能下降，证实了完整流程的必要性。两阶段方法被证明比直接代码生成能产生更多功能多样的核函数。

意义与主张

该论文主张，利用具备数学推理能力的系统自动化核函数设计可以显著降低高维 BO 中手工工程的障碍。

超越组合：该研究表明，适用于高维的有效核函数并不局限于基础核函数的简单组合。发现的核函数通常涉及复杂的几何扭曲（如 arctan 变换）和初始种群中不存在非平稳分量。
高维 BO 的洞察：通过分析发现的核函数，作者提供了关于驱动有效代理建模的新见解。他们发现，几何扭曲核函数与非平稳分量（如 tanh 多项式）的组合可以带来改进，这挑战了“带有缩放先验的简单核函数就足够了”的普遍直觉。
可迁移性：作者表明，在一个基准测试（如 SVM）上发现的核函数可以有效地迁移到其他基准测试，这表明发现的结构捕捉到了高维优化景观的可泛化属性。

作者总结道，虽然他们当前的框架针对每个基准测试优化核函数，但结果表明，LLM 驱动的核函数发现是高维 BO 的一种有前途的策略，为实现更具表达力和自动化的代理建模提供了一条途径。