Enhancing Bayesian Optimization and Active Learning Through Kernel Diversity
本文介绍了 KENDO，这是一个通过利用核集成（kernel ensemble）和差异感知采集策略（disagreement-aware acquisition strategies）来取代计算昂贵的超参数采样，从而增强贝叶斯优化与主动学习的统一框架，在实现优于现有最先进方法的性能的同时，也实现了显著的加速。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，许多问题就像是在试图寻找一片广袤、大雾弥漫的山脉中的最高峰，而你手里却没有地图。你只能看到脚下的地面，而且每走一步去探索都会消耗时间和精力。这就是优化昂贵且神秘函数的挑战，这项任务驱动着从设计新药到调整复杂计算机模型设置的一切事物。为了穿透这层迷雾，科学家们使用了一种被称为贝叶斯优化（Bayesian optimization）的策略。他们构建了一个概率地图，一种关于地形的理性推测，帮助他们决定下一步该去哪里寻找。这张地图依赖于一个被称为“核函数”（kernel）的数学工具，它就像是一个透镜，决定了系统如何理解空间中两点之间的关系。如果这个透镜太模糊或形状不对，地图就会产生误导，导致对最佳解的搜索失败。
多年来，研究人员一直在为一个艰难的选择而苦恼。他们要么选择单一的透镜并寄希望于它能契合地形，但这面临着错误的风险；要么尝试通过运行数千次沉重且缓慢的计算机模拟，来考虑该透镜所有可能的变体。第一种方法很快，但往往不准确；第二种方法很精确，但速度慢到难以实现。来自佐治亚大学和加州大学圣地亚哥分校的一个研究小组现在提出了一种新的前进方式。他们将这种方法称为 KENDO，该系统不再试图猜测完美的单一透镜，而是构建一个由不同透镜组成的团队，每个透镜都有自己的视角。通过让这些不同的视角产生分歧，并从这种分歧中学习，系统可以高效地穿过迷雾，而不会承担旧方法那沉重的计算成本。
这种新方法的核心在于处理计算机不确定性的方式发生了转变。传统上，当系统不确定地形的形状时，它会运行大规模模拟来采样数千种可能性，这个过程非常耗时。新方法用一组截然不同的模型取代了这一过程，每个模型都使用不同类型的核函数，即透镜。系统不再要求计算机想象一个透镜的数千种微小变体，而只是要求它对比几种完全不同的透镜。然后，系统根据这些透镜迄今为止的表现好坏来权衡它们。如果一个透镜始终比其他透镜能更好地预测地形，系统就会赋予它更多的影响力。这创造了一个动态的团队，其中表现最好的模型引领方向，系统通过收集更多数据来学习信任哪个透镜。
这种方法之所以特别聪明，是因为它利用了这些模型之间的分歧来引导搜索。在旧方法中，系统会寻找它最不确定的地方。而新系统则寻找不同透镜之间产生强烈分歧的地方。如果一个透镜认为地面很高，而另一个认为地面很低，那么这个点就是调查的首选对象。通过关注这些冲突点，系统不仅能学习最佳解可能在哪里，还能学习哪个透镜对于当前特定问题是最可靠的。这种双重学习过程使系统能够随着进程自我纠错，在实时精炼地图的同时，无需重启或运行昂贵的模拟。
研究人员在各种挑战上测试了这个想法，范围从简单的数学谜题到复杂的现实工程问题。在单目标优化领域（即目标是找到单一最佳解），他们的新系统达到了现有最先进方法的性能，甚至超越了它们。更重要的是，它的运行速度快了多达五倍。在主动学习领域（即目标是以尽可能少的数据点来学习一个函数），新方法的表现更为显著，其速度比之前的标准快了多达二十七倍。这些加速具有重要意义，因为这意味着曾经需要数小时或数天才能解决的问题，现在可以在几分钟内完成，为更复杂和更频繁的应用打开了大门。
该团队还将这种方法扩展到了没有单一“最佳”答案，而是存在一系列竞争目标的情况，例如试图让一辆汽车既安全又省油。在这些多目标场景中，系统使用一种称为随机标量化（random scalarization）的技术，将不同的目标临时组合成一个单一的分数来引导搜索。这使得系统能够探索完整的权衡范围，而不会陷入同时解决多个目标的复杂性之中。结果显示，这种方法可以有效地绘制出最佳折中方案的图谱，在车辆安全设计和抗生素生产等现实世界的基准测试中表现优于现有方法。
尽管取得了这些成功，研究人员也承认，他们的方法并非应对所有情况的万灵药。该系统依赖于近似结合不同透镜的视图，如果透镜之间差异极大，可能会略微低估不确定性。此外，团队仍需手动选择初始使用的透镜集，尽管他们建议未来的工作可以实现自动选择。尽管如此，这些发现代表了在使智能搜索系统既快速又可靠方面迈出的实质性一步。通过将模型不确定性转化为多样性和分歧带来的优势，研究人员表明，一个由简单、专业模型组成的团队通常可以胜过单一、过度复杂的模型。这种方法为那些需要在有限的时间和资源的世界中寻找最佳解决方案的科学家和工程师提供了一条切实可行的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。