The Energy Blind Spot: NVIDIA's Flagship Edge AI Hardware Cannot Support Process-Level Energy Attribution
本文揭示了英伟达(NVIDIA)基于 GB10 的旗舰级边缘人工智能系统缺乏用于进程级能量归因的关键硬件接口,这为智能体人工智能(Agentic AI)工作负载制造了一个关键的可观测性盲点,并使得建立新的标准和临时解决方案成为实现准确能量核算的必要手段。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
在现代计算领域,一种新型智能正在崛起。这些系统不再仅仅是回答单个问题,而是作为自主智能体(autonomous agents)存在。它们接受一个宏大的目标,将其分解为一系列步骤,调用其他工具来提供帮助,并在失败时进行重试。这种被称为“编排”(orchestration)的过程,正从大型数据中心转向摆放在办公桌上或车辆中的小型、高性能计算机。这些边缘设备旨在本地运行复杂的人工智能,以节省时间和带宽。然而,随着这些系统变得越来越普遍,一个关键问题随之而来:它们的实际能耗究竟是多少?对于研究人员和监管机构而言,了解特定任务的确切能量成本至一步至关重要。这是衡量效率、确保符合新环境法规,以及理解这些本地系统与云端相比是否真正节省了电力的唯一途径。
一支研究团队最近将注意力转向了执行这项工作最先进的硬件:由主要技术公司利用特定 NVIDIA 芯片制造的新一代桌面计算机。他们想看看这些机器能否准确告诉他们,当一个智能体在工作时,系统的每个部分各消耗了多少能量。他们的发现是一个显著的盲点。虽然这些计算机速度极快且功能强大,但在报告其中央处理器自身的能量消耗方面,却完全保持沉默。研究人员发现,硬件本身具备内部测量这种能量的能力,但运行该机器的软件却刻意向用户隐藏了这一信息。
调查重点针对一款名为 ASUS Ascent GX10 的桌面系统,它使用了一款被称为 GB10 的强大芯片。这款芯片结合了一个处理 AI 智能体复杂规划和工具调用的中央处理器,以及一个负责视觉任务重度工作的图形处理器。研究人员对询问计算机能量数据的每一种可能方式进行了彻底审计。他们检查了工程师用来监控功率的标准接口,寻找追踪能量使用情况的计数器(类似于汽车的里程表)。他们发现,虽然图形处理器报告了其功率使用情况,但中央处理器却完全没有提供此类数据。既没有 CPU 的计数器,也没有馈送给该芯片的电力线上的功率监测器,也没有任何标准系统管理工具可以揭示这些数字。
这种情况尤其令人震惊,因为数据实际上就存在于机器内部。芯片的内部固件(负责管理电流流动以保持系统冷却和高效运行)已经在计算处理器不同部分的能量消耗。它持续统计着主处理器核心、小型能效核心以及图形芯片所消耗的能量。然而,制造商选择不分享这些信息。当研究人员询问芯片背后的公司是否计划发布这些数据时,得到的答复是目前没有此类计划。这意味着,虽然计算机确切知道完成一项任务消耗了多少能量,但使用者却无法看到它。
这种差距之所以重要,是因为这些 AI 智能体的工作方式高度依赖于中央处理器。规划、重试和工具协调是在 CPU 上进行的,而不仅仅是在图形芯片上。此前的研究表明,这种编排工作可能占 AI 系统总能耗的近一半。由于缺乏测量 CPU 能量使用的手段,人们无法得知运行一个智能体的真实成本。研究人员无法通过比较不同的软件设计来观察哪种更高效,公司也无法验证其是否符合环境法规。目前获取该数值的唯一方法是将整个计算机插入外部功率计,但这只能显示整台机器的总量,将 CPU 的工作与内存、冷却风扇和图形芯片的功耗混在一起。这就像试图通过只看整辆车的总油表,来推算汽车内单个发动机消耗了多少燃料一样。
研究人员确认,这并非物理芯片本身的限制,而是控制它的软件所做出的决定。他们发现有证据表明,内部固件能够通过工程师使用的标准通信通道公开这些数字,但该通道目前处于关闭状态。他们还测试了一台来自不同制造商的类似计算机——Acer Veriton,并发现在那块特定的主板上,可以使用社区开发的工具访问这些隐藏数据,这证明了信息确实存在且硬件具备共享能力。这两台机器之间的差异表明,缺失的数据是产品选择的结果,而非技术上的不可能。
论文最后概述了一条清晰的前行路径。修复这项技术的手段已经就绪。计算机的内部系统已准备好分享数据,而用于读取数据的软件工具也正由开源社区开发。所需要的仅仅是制造商更新计算机的固件,以打开允许查看此信息的开关。在此之前,市场上最先进的边缘 AI 计算机仍然是“能量黑盒”。对于一个正在快速发展并面临日益增长的可持续性压力的领域来说,无法测量所做工作的能量成本是一个根本性的障碍。研究人员认为,为了使这些系统真正适用于科学和监管目的,查看能量使用的能力必须被视为一项基本要求,就像查看处理器的温度或速度一样。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。