Per-Node Performance and Memory Limits of LLM Inference on CPU-Only Edge Nodes
本文表征了边缘节点上仅使用 CPU 进行大语言模型（LLM）推理的性能与内存约束，揭示了内存带宽而非计算能力才是主要的瓶颈，并指出量化反而出乎意料地增加了运行时内存使用量，从而需要一种新的规模化模型来进行准确的部署规划。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代数字化景观中，被称为大型语言模型的强大人工智能系统已经改变了计算机理解和生成人类语言的方式。这些系统构建在被称为参数的海量数据点之上，这些参数构成了模型的内部知识库。一个典型的模型可能包含数十亿个这样的参数，需要大量的计算机内存来存储。多年来，运行这些复杂的系统一直是配备了专门的高速图形处理器的庞大数据中心的领域。然而，一场日益增长的运动正寻求将这种智能带到人们实际生活和工作的地方，将其部署在被称为边缘节点的较小型本地计算机上。这些设备通常出现在办公室、家庭或互联网连接不可靠、或者因隐私担忧而无法让数据离开建筑物的远程地点。工程师面临的挑战在于，这些本地设备通常缺乏数据中心那样的强大图形处理器，而是依赖于标准中央处理器——即大多数计算机的通用大脑。关键问题在于，这些普通的日常机器是否真的能够处理运行高级语言模型的繁重任务，以及如果可以，它们需要多少内存以及运行速度能有多快。
一个研究小组致力于通过测试一台具有代表性的单台边缘计算机的极限来回答这些问题。他们并没有开发新软件或发明更快的芯片；相反，他们扮演了仔细观察者的角色，精确测量了当一台标准计算机尝试运行三种不同规模的语言模型时会发生什么。他们测试的模型范围从包含11亿个参数的紧凑版本到包含70亿个参数的更强健版本。对于每个模型，他们在三种不同的精度水平下运行系统，这可以理解为计算机用于存储其内部数字的细节程度。研究人员想看看降低这种细节（被称为量化）的做法是否能帮助这些本地机器运行得更快并使用更少的内存，就像在强大的数据中心中所做的那样。
他们揭示的结果展示了一个与人们普遍认知相悖的惊人现实。在世界上高功率的数据中心里，降低模型的精度是一种被证明有效的策略，可以减少一半或更多的内存使用并提高性能。但在该研究测试的本地、仅靠CPU驱动的计算机上，情况却完全相反。当研究人员降低精度以节省空间时，计算机实际上需要更多的内存来运行模型。对于测试的最大的那个模型，理论上它只需要大约14 GB的内存，但当精度降低时，系统却要求近20 GB。这种约48%的增加是因为该计算机的标配处理器无法原生理解压缩后的低精度数字。系统不仅要保留压缩后的权重，还要在进行每一次计算时同时将其转换回标准格式，这产生了一种双重负担：计算机既要持有压缩后的权重，又要持有转换缓冲区，而激活值和注意力缓存（attention cache）在整个过程中仍保持标准格式，这实际上增加了内存负载，而非减轻了负载。
除了内存问题外，该研究还确定了究竟是什么在拖慢计算机的速度。研究人员发现，处理器的占用率接近100%，但产出的结果却很少。这表明机器并非在进行数学运算本身时遇到困难，而是在等待数据从其内存中传输过来。瓶颈在于信息从内存芯片传输到处理器的速度，即被称为内存带宽的限制。由于计算机一直在等待数据，它一次只能处理一个请求。如果用户尝试同时提出两个问题，系统将无法在两个线程之间分配工作；它只会变得不堪重负。单个请求就使机器饱和，这意味着要为多用户服务，网络需要增加更多的物理计算机，而不是试图从单台机器中压榨出更多的工作量。
当研究人员观察速度时，性能下降的情况甚至更加剧烈。功能最强大的模型在运行标准精度时，每秒可以生成约3.76个单词，虽然慢但尚可用于对话。然而，当研究人员应用旨在提高速度的压缩技术时，速度骤降。系统的速度降至每秒不到一个单词，使得交互感极其迟缓。在最极端的压缩情况下，系统每16秒才产生一个新单词，这使得实时对话变得毫无意义。这证实了那些为强大显卡设计的技术不仅在这些本地机器上无效，而且实际上是有害的，它们是以牺牲速度为代价来换取机器无法承受的内存惩罚。
为了帮助工程师规划应对这些现实情况，研究人员开发了一个简单的规则，用于估算本地计算机实际需要的内存。他们发现，所需的内存量不仅仅取决于模型参数的大小。相反，总内存使用量在很大程度上取决于所选的精度水平。对于标准的、未压缩的模型，所需的内存大致等于模型权重的大小。但对于压缩模型，研究人员发现，在一种压缩水平下，内存需求会跳升到权重大小的三倍左右，而在最深层的压缩下则接近六倍。这意味着，如果工程师计划在本地设备上运行大型模型，必须为机器配置比模型文件大小显著更多的内存。一台拥有32 GB内存的计算机或许可以运行一个大型模型，但它留给操作系统或其他任务的余地会非常小，而且它肯定无法同时运行两个这样的模型。
研究得出结论，虽然在本地、仅靠CPU的设备上运行高级语言模型是可能的，但这需要对这些系统的部署方式进行彻底的重新思考。在云端行之有效的策略并不能直接转化到边缘端。工程师不能简单地拿一个针对数据中心优化的模型，就期望它能在本地笔记本电脑或服务器上高效运行。他们必须考虑到这些机器受限于数据传输的速度，而非计算的速度。他们还必须接受，通过压缩模型来节省空间可能会让模型变慢并需要更多内存，而非更少。对于那些需要在有隐私顾虑或网络环境较差的地方部署系统的人来说，前进的路径在于根据可用内存选择合适的模型规模，并接受单台本地计算机一次只能为一个人服务的现实。边缘智能的时代已经到来，但它需要一套与以往数据中心完全不同的规则。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。