← 最新论文
💻 计算机科学

Energy-Efficient GPU Resource Management for Generative AI on HPC Systems: A Roadmap Towards Cross-Layer Co-Design Approaches

本文综述了关于高性能计算(HPC)系统中生成式人工智能能效管理管理的46项研究,识别了跨层协同与动态工作负载支持方面的关键空白,并提出了GenAI-XEnergy框架,旨在统一遥测、预测与控制,以实现可持续且能效比例的执行。

原作者: Atha Shamas, M. Usman Ashraf

发布于 2026-11-17✓ Author reviewed ⓘ
📖 1 分钟阅读☕ 轻松阅读

原作者: Atha Shamas, M. Usman Ashraf

原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

当今驱动最先进人工智能的机器不仅是智能的,更是贪婪的。这些被称为生成式人工智能的系统,通过学习海量数据来创造新的文本、图像和代码。为了实现这一点,它们依赖于被称为 GPU 的专用计算机芯片,这些芯片充当了这些计算的引擎室。然而,运行这些引擎需要消耗大量的电力。训练单个大型模型所消耗的能量可能相当于一个小镇一年的用电量,而这些系统的日常运行也在以惊人的速度抽取电力。随着这些模型变得越来越大、越来越复杂,挑战已不再仅仅是如何让它们更快,而是如何让它们足够高效,以便在运行的同时不耗尽地球的资源。工程师们面临的问题不再仅仅是性能,而是如何管理这些庞大计算机系统中的能量流动,使每一瓦特电量都能做有用功。

一组研究人员仔细观察了我们目前管理这些耗能系统的现状,发现我们的方法被拆分成了过多的独立部分。在一项对 46 项近期研究的全面回顾中,他们发现专家们正试图孤立地解决能源问题。一些研究人员专注于硬件本身,试图在芯片闲置时降低其速度。另一些人则研究运行程序的软件,试图更好地组织任务。还有一些人研究决定哪台计算机承担哪项工作的调度系统。虽然这些努力中的每一项在各自领域都取得了一些成功,但研究人员认为它们未能协同工作。由于系统的不同层级之间无法进行沟通,最终的结果往往是能量的浪费。例如,一个芯片可能会为了节能而降速,但软件可能并不知道这一点并继续发送工作;或者调度器可能会将任务分配给一台正在过热的计算机,因为它缺乏来自硬件的实时数据。

研究人员指出,生成式人工智能工作负载的性质使得这种碎片化问题变得尤为危险。与运行节奏稳定的传统计算机任务不同,这些 AI 任务具有高度的可预测性。它们可能会在几秒钟内爆发剧烈的活动,然后又变得沉寂;或者它们对内存的需求量巨大,超出了传统系统的设计处理能力。综述显示,现有方法通常将这些任务视为静态且可预测的,从而导致资源利用效率低下。例如,许多系统会为一项任务分配固定数量的计算能力,无论该任务在当前时刻是否真的需要这么多,这导致昂贵的硬件在空转时仍在消耗电力。研究发现,虽然在硬件层面或软件层面有很多巧妙的节能技巧,但明显缺乏将两者连接起来的策略。

为了解决这一问题,作者提出了一种被称为“跨层协同设计”(cross-layer co-design)的新思维方式。他们建议不再分别修复硬件、软件或调度器,而是构建一个让所有部件作为一个统一、协调的整体运行的系统。他们提出了一个名为 GenAI-XEnergy 的概念框架。这个构想设想了一个能够持续监测计算机能耗、在任务开始前预测其所需功率、并随后立即调整硬件与软件以实现匹配的系统。想象一下一位指挥家正在领导一支管弦乐队,每位乐手都能听到其他人的声音并实时调整自己的音量以创造完美的和谐;在这种情况下,“音乐”是电流的流动,而“乐手”则是计算机芯片、操作系统和任务调度器。通过将这些层级相连,系统可以在芯片不再需要的部分在瞬间关闭,或者将繁重任务转移到拥有更便宜、更清洁能源的另一台计算机上。

综述强调,虽然我们拥有进行这些调整的单个工具,但我们缺乏协调它们的中央大脑。研究人员指出,目前的系统往往依赖于为不同类型的计算机工作编写的旧规则。他们认为,要真正解决人工智能的能源危机,我们需要从这种静态规则转向一种能够学习和适应的动态系统。所提出的框架建议使用实时数据来做出决策,确保仅在绝对必要时才使用能源。这种方法并不需要发明全新类型的计算机,而是以一种更聪明、更具连接性的方式利用我们现有的能力。研究结果表明,通过将这些独立的层级结合在一起,我们可以在不牺牲速度或学习能力的前提下,显著减少人工智能的能源足迹。

根据论文,未来的道路在于建立硬件与软件之间的这些连接。研究人员建议,未来的系统应该能够感知自身的能量消耗并据此调整行为,这是一个被称为“遥测驱动管理”(telemetry-driven management)的概念。这意味着计算机将精确了解自己在任何给定秒钟内的耗电量,并能立即做出节能改变。他们还强调了考虑电力来源的重要性,建议系统应尝试在电网使用更清洁能源时运行繁重任务。虽然论文承认构建这样一个统一的系统是一个尚未完全实现的复杂挑战,但它为实现这一目标提供了清晰的路线图。最终目标是创建一个不仅强大而且可持续的人工智能基础设施,确保这项技术能够在持续增长的同时,不会压垮支撑它的能源系统。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →