💻 computer science

Green Optimization: Energy-aware Design of Metaheuristics by Using Machine Learning Surrogates to Cope with Real Problems

本文通过批判性研究将机器学习代理模型与元启发式算法相结合，揭示了在解决实际问题时，利用预训练代理模型可显著降低能耗、执行时间和内存占用，但也指出需根据具体目标权衡代理模型在精度与成本上的利弊，从而推动能量感知型优化算法的 holistic 设计。

原作者： Tomohiro Harada, Enrique Alba, Gabriel Luque

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tomohiro Harada, Enrique Alba, Gabriel Luque

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给“超级计算机”做节能体检，并试图找到一种既聪明又省电的“作弊码”来解决复杂的现实难题。

我们可以把这篇论文的核心内容想象成这样一个故事：

1. 背景：一个累死人的“交通指挥官”

想象一下，你是一位交通指挥官，任务是调整一座大城市（比如马拉加、斯德哥尔摩或巴黎）所有红绿灯的时间，让车流最顺畅。

传统做法（旧方法）： 你每想出一个新的红绿灯方案，就得把整个城市的交通模拟一遍。这就像你要亲自跑遍全城去数车，非常耗时，而且非常费电（就像让一台巨大的发电机全速运转）。
问题： 这种“亲自跑遍全城”的方法太累了，电脑跑不动，电费也太高，不符合现在“绿色计算”（Green Computing）的环保理念。

2. 解决方案：请一个“预言家”（代理模型）

为了省力，研究人员请来了一个人工智能预言家（也就是论文里的“神经网络代理模型”）。

它的作用： 这个预言家不需要亲自跑遍全城，它只要看一眼你的方案，就能猜出结果大概是多少。
好处： 猜一下只需要几秒钟，而且几乎不耗电。
风险： 如果预言家猜错了，或者为了训练它花了太多精力，那反而可能更亏。

3. 核心发现：如何训练这个“预言家”最划算？

研究人员做了很多实验，就像在测试不同的“训练教材”和“训练方法”，发现了几个惊人的秘密：

A. 训练教材越厚，预言家越“省电”（反直觉的发现！）

通常我们认为，教一个学生（AI）用的书越多，老师（电脑）越累。

研究发现： 如果用海量数据（比如 8000 个样本）来训练这个预言家，虽然刚开始训练时确实很费电，但一旦训练好了，它每次“猜”的时候，反而比用少量数据训练的更省电！
为什么？ 这就像是一个老练的专家，因为见多识广，脑子里的很多“杂念”都过滤掉了（神经网络里的神经元变得稀疏，很多不需要激活）。它思考时更专注，动作更干脆，所以越老练，越节能。
数据： 使用训练好的预言家，能把耗电量减少 98%，时间减少 98%，内存占用减少 99%。这简直是“省电神器”！

B. 两种训练流派：一次性速成 vs. 边做边学

研究人员比较了两种训练预言家的方法：

速成班（预训练）： 先扔给它一堆数据，让它一次性学完，然后固定下来，不再更新。
- 优点： 启动快，如果数据够多，后期非常稳。
- 缺点： 如果一开始学的不够好，后面就改不了了。
进修班（迭代重训）： 先学一点，然后在做任务的过程中，每遇到新情况就重新学一次。
- 优点： 适应性强，能随着任务变化变聪明。
- 缺点： 每次“进修”都要消耗额外的电力和时间。

C. 谁更厉害？PSO 还是 GA？

研究用了两种不同的“指挥官”算法（PSO 和 GA）：

PSO（粒子群优化）： 像一群鸟在飞，大家互相交流，保持多样性。研究发现，PSO 配合“边做边学”的预言家效果最好，因为它能持续探索新区域，让预言家不断进化。
GA（遗传算法）： 像生物进化，优胜劣汰。它收敛太快，有时候还没等预言家学会新东西，它就“退休”了（找到了局部最优解就停了），所以“边做边学”对 GA 帮助不大。

4. 总结：给未来的“绿色 AI"提个醒

这篇论文告诉我们，以前我们只关心算法跑得快不快（时间），现在必须关心它费不费电（能量）和占不占内存。

不要盲目使用 AI： 如果你只是随便扔点数据训练一个 AI 就让它去猜，它可能既不准又费电。
最好的策略：
- 如果是大规模、长周期的任务，值得花大精力用海量数据把预言家训练得“老练”一点（稀疏化），这样长期来看最省电。
- 如果是PSO 类的算法，配合动态更新的预言家效果最好。
- 如果是GA 类的算法，可能一次性训练好的预言家更合适。

一句话总结：
这就好比你想开车去远方，以前是开一辆耗油的旧车（传统算法）；现在你换了一辆电动车（代理模型），虽然充电（训练）需要时间，但如果你充得够足（数据够多），它跑起来不仅快，而且比旧车省电得多，甚至能帮你省下 98% 的能源！这篇论文就是教你如何最聪明地给这辆电动车充电和驾驶。

这是一份关于论文《Green Optimization: Energy-aware Design of Metaheuristics by Using Machine Learning Surrogates to Cope with Real Problems》（绿色优化：利用机器学习代理模型应对现实问题的能量感知元启发式设计）的详细技术总结。

1. 研究背景与问题定义

核心问题：
现实世界中的优化问题（如智能城市的交通信号灯调度）通常涉及计算成本极高的目标函数评估（例如使用 SUMO 进行交通流仿真）。传统的元启发式算法（如遗传算法 GA、粒子群优化 PSO）需要大量评估，导致巨大的计算时间、内存消耗和能源消耗。虽然现有的“代理辅助进化算法”（SAEAs）利用机器学习模型（如神经网络）替代昂贵的真实评估以减少计算时间，但现有研究大多忽略了代理模型本身的训练开销、推理时的能耗以及内存占用对整体能效的影响。

研究目标：
本文旨在从“绿色计算”的角度，重新审视代理辅助优化的设计。研究不仅关注求解速度和精度，还重点量化了能量消耗、执行时间和内存使用，并探讨不同的代理训练策略（预训练 vs. 迭代重训练）及数据集大小对整体能效的影响。

研究问题 (RQs)：

代理能耗成本： 代理模型消耗多少能量？与原始目标函数及整体求解器相比如何？
重新定义效率： 在考虑了目标函数、代理模型和求解器的能耗画像后，如何重新定义算法的效率和精度？
训练开销： 是否需要完全训练好的代理？快速、低成本的训练是否足以实现有效优化？
静态 vs. 动态： 是应该预先训练并固定代理，还是在元启发式搜索过程中迭代优化（重训练）代理？

2. 方法论

实验场景：

问题： 智能城市交通信号灯调度（多目标优化）。目标包括最大化到达目的地的车辆数、最小化总旅行时间、等待时间等。
实例： 使用了三个真实城市的数据集：马拉加（Málaga）、斯德哥尔摩（Stockholm）和巴黎（Paris），具有不同的网络规模和交通密度。
评估工具： 使用 SUMO (Simulation of Urban MObility) 进行高保真交通仿真，作为昂贵的真实目标函数。

算法框架：

基础算法： 粒子群优化 (PSO) 和遗传算法 (GA)。
代理模型： 神经网络 (NN)，作为目标函数的近似替代。
集成策略：
- 预训练 (Pre-training, -p)： 在优化开始前，基于初始数据集训练一次 NN，之后固定使用。
- 迭代重训练 (Retraining, -r)： 在优化过程中，定期选择部分候选解进行真实评估，并将新数据加入训练集，重新训练 NN 以适应搜索区域的变化。
- 数据集大小变量： 对比了小数据集（N=100）和大数据集（N=8192）对训练和推理的影响。

测量指标：

能量消耗： 使用 Intel RAPL 技术通过 pyRAPL 库分别测量 CPU 和 DRAM 的能耗。
执行时间： 记录各阶段耗时。
内存使用： 使用 Python tracemalloc 和 time 命令测量。
精度： 使用平均绝对百分比误差 (MAPE) 评估代理预测的准确性。

3. 关键贡献

全面的能效评估框架： 首次系统性地量化了代理辅助元启发式算法在能量、时间和内存三个维度的综合表现，填补了现有文献仅关注运行时间的空白。
揭示“大数据集悖论”： 发现了一个反直觉的现象：更大的训练数据集虽然增加了初始训练能耗，但能显著降低推理（Inference）阶段的能耗。 这是因为大数据集训练出的神经网络具有更高的稀疏性（ReLU 激活函数导致更多神经元输出为零），从而减少了计算量。
策略对比与权衡分析： 详细比较了静态预训练与动态重训练策略。发现预训练在速度和能耗上优势明显，但可能牺牲精度；重训练能提升精度，但引入了额外的训练开销，且对算法的多样性（如 PSO 优于 GA）有依赖性。
打破传统效率定义： 提出在绿色计算背景下，算法效率不能仅由运行时间定义，必须结合能耗和内存开销进行综合评估。

4. 实验结果

A. 基础评估成本 (Solution Evaluation)

真实仿真（SUMO）的能耗和时间与模拟时间呈强正相关（ $\rho=0.95$ ）。
能耗分布符合对数正态分布。
内存使用在不同问题实例间几乎恒定，与计算复杂度无关。

B. 代理训练与推理 (Training & Inference)

训练成本： 随着数据集增大，训练能耗和时间显著增加（例如，8192 样本的训练能耗是 128 样本的 10-15 倍）。
推理优势： 无论数据集大小，NN 推理的能耗比真实评估低 98% 以上，时间快 98% 以上，内存节省 99% 以上。
大数据集效应： 使用大数据集（8192）训练的 NN，其单次推理能耗比小数据集（128）训练的 NN 更低。这是因为大数据集导致网络权重分布更广，隐藏层输出中零值的比例更高（稀疏性增加），从而降低了计算复杂度。
盈亏平衡点： 虽然大数据集训练成本高，但在推理次数超过约 2874 次后，其总能耗将低于小数据集模型。

C. 算法整体表现 (Algorithm Execution)

能耗与时间：
- 预训练小数据集 (SAPSO-ps/SAGA-ps)： 实现了最大的能耗和时间减少（>95%），但内存占用增加约 9-20 倍。
- 预训练大数据集 (SAPSO-pl/SAGA-pl)： 能耗和时间减少约 70%，内存占用增加约 40-70 倍。
- 重训练策略： 虽然能提升精度，但频繁的重训练导致能耗和时间优势减弱（相比预训练），且内存占用极高（增加 200-500 倍）。
优化精度与收敛性：
- PSO vs. GA： PSO 在代理辅助下表现更好，因为它能维持更高的种群多样性，从而更好地利用重训练带来的更新。GA 由于多样性丧失过快，重训练带来的收益有限，甚至导致过早收敛。
- 静态代理的局限： 仅基于小数据集预训练的静态代理（-ps）往往在初期停滞，无法找到更优解。
- 最佳组合： SAPSO-rs（PSO + 小数据集预训练 + 重训练）在严格能耗约束下表现最佳，能在早期快速找到高质量解。

5. 意义与结论

主要结论：

绿色优化是可行的： 使用代理模型可以将能耗降低高达 98%，执行时间降低 98%，内存使用降低 99%。
训练策略的选择至关重要：
- 对于大规模、长周期的优化任务，大数据集预训练是最佳选择，因为它利用稀疏性降低了推理能耗，且避免了频繁重训练的开销。
- 对于严格能耗约束或早期快速收敛需求，重训练策略（特别是结合 PSO） 能提供更好的精度与能耗平衡。
- 小数据集预训练虽然训练成本低，但推理能耗较高且精度较差，仅适用于对精度要求不高的快速筛选。
算法多样性是关键： 代理模型的有效性高度依赖于底层搜索算法的多样性维持能力。PSO 比 GA 更适合代理辅助优化，尤其是在需要动态更新代理模型时。
重新定义效率： 未来的算法设计必须将“能耗画像”纳入核心评估指标，而不仅仅是运行时间。

局限性：

仅使用了全连接神经网络，未探索 CNN、RNN 或 Transformer 等架构。
实验仅限于交通信号灯调度问题，需在其他领域验证通用性。
能耗测量基于特定硬件环境，不同平台结果可能有所差异。

总结：
本文提出了一种能量感知的元启发式设计新范式，证明了通过精心设计的代理模型（特别是利用大数据集带来的稀疏性优势），可以在保持甚至提高求解精度的同时，大幅降低现实世界优化问题的碳足迹和计算成本。这为“绿色 AI"和可持续计算提供了重要的理论依据和实践指导。