🤖 AI

Automated Computational Energy Minimization of ML Algorithms using Constrained Bayesian Optimization

本文证明了约束贝叶斯优化可以在确保预测性能保持在指定阈值之上的同时，有效地最小化机器学习模型训练的能耗。

原作者： Pallavi Mitra, Felix Biessmann

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Pallavi Mitra, Felix Biessmann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代计算领域，随着人工智能的惊人崛起，一个安静却紧迫的问题也随之出现。当机器学会识别面孔、翻译语言和预测趋势时，它们需要消耗大量的电力来进行训练。这种能源成本不再仅仅是公用事业账单上的一个项目，它已成为可持续发展日益增长的障碍。几十年来，研究人员几乎完全专注于提高这些模型的准确性，却往往忽略了为了达到这一目标所消耗的电量。然而，随着模型变得越来越庞大和复杂，训练它们所需的能量大约每三个半月就会翻一倍。这一趋势威胁着要让开发新型智能工具变得不可持续。因此，挑战不仅在于构建更聪明的机器，还在于以一种尊重我们电网极限的方式来构建它们。为了解决这个问题，科学家们正转向一种被称为贝叶斯优化（Bayesian optimization）的方法，这是一种智能搜索策略，可以帮助计算机找到任务的最佳设置，而无需尝试每一个可能的选项，就像徒步旅行者使用地图在山谷中寻找最低点，而不必爬过每一座山丘一样。

柏林应用科学大学的一个研究小组将这种搜索策略应用于一个新的目标：最小化训练机器学习模型所消耗的能量。他们并没有简单地寻找能产生最准确预测的设置，而是提出了一个不同的问题。他们想要寻找那些在保证模型依然足够好用的前提下，使用最少时间和能量的设置。在他们的方法中，他们并未将模型的准确性视为要最大化的目标，而是将其视为一条必须遵守的严格规则。如果模型的性能降至某个可接受的水平以下，搜索会立即舍弃这些设置。这种被称为约束贝叶斯优化（constrained Bayesian optimization）的方法，使研究人员能够在这片由各种选择组成的广阔景观中进行导航——例如如何清洗数据、模型的复杂度应为多少以及训练多久——同时让一只脚始终稳稳地踩在所需性能的底线上。

研究人员在多种标准任务上测试了这种方法，包括预测房价和将新闻文章进行分类。他们将这种新方法与传统做法进行了比较，在传统做法中，计算机试图最小化能量，但仅被告知“尽量不要失败”，而不是被给予一个硬性限制。在传统方法中，计算机经常找到一个消耗极少能量但产生的模型准确度过低、无法投入使用的设置。为了修复这个问题，传统方法通常会在准确度过低时对得分施加沉重的惩罚，希望以此阻碍计算机选择糟糕的设置。然而，研究人员发现，这种惩罚机制的方法很笨拙，且往往无法找到真正的平衡。相比之下，他们的约束方法成功识别出了那些虽然使用显著更少的时间和能量，但能始终达到所需准确度标准的设置。

结果表明，通过将性能视为一项硬性约束而非次要目标，该系统可以找到其他方法错过的“甜点位”（sweet spot）。在实验中，约束法比传统的基于惩罚的方法更快地达到了目标准确度，并且总运行时间更短。这至关重要，因为对于这些算法而言，训练所花费的时间与消耗的能量直接相关。这项研究证明，通过自动化选择机器学习设置，可以在不牺牲结果质量的情况下节省能源。然而，研究人员指出，他们的方法依赖于拥有一个明确的、预定义的标准，来界定什么是“足够好”的性能。在最佳性能未知或设置与能量之间的关系极其复杂的情况下，该方法可能需要进一步的改进。尽管如此，这些发现为人工智能更可持续的未来提供了一条切实可行的路径，证明了我们可以在不耗尽能源资源的情况下，训练出强大的模型。

技术摘要：基于约束贝叶斯优化的机器学习算法自动化计算能耗最小化

问题陈述
本文探讨了由于模型规模增大和超参数优化（HPO）计算强度增加而导致的机器学习（ML）模型训练能耗不断上升的问题。传统的 HPO 研究主要侧重于通过最小化验证损失来最大化预测性能，而本研究认为，能源效率已成为一个关键的约束条件。作者指出，现有的机器学习套件往往缺乏适当的能耗测量工具，且选择最优超参数的过程本身也是一个主要的能耗消耗源。核心问题在于如何实现自动化的超参数选择，以在严格遵守预定义预测性能阈值（分类任务为准确率，回归任务为均方误差）的前提下，最小化计算能耗（以墙钟运行时间作为代理指标）。

方法论
作者提出了一种使用**约束贝叶斯优化（CBO）**来解决这一多目标问题的框架。其方法论结构如下：

目标与约束公式化：
- 目标： 最小化 $\tau(x)$ ，即训练具有超参数 $x$ 的机器学习模型所消耗的时间。
- 约束： 确保模型达到基准性能 $c_0$ 。对于分类任务，要求准确率 $c_c(x) \geq c_0$ ；对于回归任务，要求均方误差 $c_r(x) \leq c_0$ 。
代理模型：
- 作者采用带有 Matérn 5/2 核函数的高斯过程（GPs）来分别对目标函数和约束函数进行建模。
- 为了确保 GP 先验的有效性（因为原始的时间和误差指标均为严格正值），作者应用了相对于基准值的对数变换。具体而言，目标函数被建模为 $f(x) = \log \tau(x) - \log \tau_b$ ，约束函数则被建模为性能指标相对于其基准阈值的对数比。
采集策略：
- 定义了一个联合采集函数，它是两个组件的乘积：
  1. 期望改进（EI）： 优化目标函数（最小化运行时间）。
  2. 可行概率（PoF）： 估计候选点满足性能约束的可能性。
- 这种联合方法使得算法能够在学习目标函数最优区域的同时，同步学习约束的可行区域，从而确保在决策下一个采样点时将可行性纳入考虑。
基准对比：
- 将提出的 CBO 与引入了二次惩罚函数的无约束 BO 方法进行了对比。在基准方法中，约束违反项通过惩罚项的形式被添加到目标函数中： $f'(x) = f(x) + \frac{1}{2}\rho \max(0, c(x))^2$ 。

实验设置与结果
该框架在标准回归模型（Lasso, Elastic Net, KNN, Decision Tree, AdaBoost）和分类模型（Ridge, Logistic Regression, KNN, Random Forest）上进行了评估。实验使用了两个大型数据集：加州房价数据集（回归）和 20-Newsgroups 数据集（分类）。

性能： 结果表明，虽然带有惩罚项的无约束 BO 通常能找到最小的目标值，但它经常会违反性能约束，导致引入巨大的惩罚项，从而降低了有效解的质量。
效率： CBO 成功识别出了能够最小化累计运行时间（能耗代理）同时始终满足预定义性能阈值的超参数配置。
视觉证据： 图 1 和图 2 说明，与带惩罚项的无约束 BO 相比，CBO 在保持 MSE 或准确率高于/低于所需阈值的同时，实现了更低的累计运行时间。

主要贡献与意义
本文声称的主要贡献与意义包括：

HPO 重心的转移： 提出了 HPO 的范式转变，即将能耗（运行时间）作为主要优化的目标，而将预测性能视为硬约束，而非唯一的优化目标。
有效的 CBO 框架： 研究证明，联合采集函数（EI $\times$ PoF）比带惩罚项的无约束 BO 更有效。它避免了惩罚项调优的陷阱，并确保最终选择的超参数既具备能源效率，又具备高性能。
可扩展性与可持续性： 本工作强调了 CBO 在处理涉及大型数据集和高容量模型的现代机器学习应用中的潜力，通过在不损害效用的前提下降低模型训练的计算成本，为实现更具可持续性和可扩展性的机器学习工程未来提供了工具。

作者承认的局限性
作者谦逊地指出了两个主要局限性：

预定义阈值： 该方法假设存在一个合理的、预定义的性能阈值（例如来自服务水平协议）。在默认超参数已经处于次优状态或没有明确基准的情况下，约束的定义可能会面临挑战。
独立代理建模： 当前框架对能量和性能代理模型进行独立建模。作者承认，超参数通常会同时影响这两个指标（例如正则化强度或数据预处理），未来的工作旨在探索能够捕捉这些依赖关系的采集函数。

技术摘要：基于约束贝叶斯优化的机器学习算法自动化计算能耗最小化

类似论文