💻 computer science

Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers

本文提出了一种多维基准测试方法，用于评估在硬件加速的单板计算机上运行大语言模型的性能与效率，为在隐私敏感且连接受限的边缘环境中部署生成式人工智能提供实用指导。

原作者： Harri Renney, Fouad Trad, Michael Mattarock, Zena Wood

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Harri Renney, Fouad Trad, Michael Mattarock, Zena Wood

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个聪明绝顶、超级智能的机器人大脑（即大型语言模型，或 LLM），它能写故事、解决问题并回答疑问。通常，这个大脑居住在遥远的“云端”中一个巨大而昂贵的数据中心里。要使用它，你必须通过互联网发送你的问题，然后等待答案。

但如果你身处没有互联网的地方，或者发送数据出去存在安全风险（例如秘密军事基地或远程无人机）呢？你需要那个大脑就住在你的身边，运行在一台小型、廉价的计算机上。这被称为“边缘计算”。

本文就像一份构建本地机器人大脑的购物指南。作者测试了四种不同的小型计算机（单板计算机），以观察哪一种在不依赖庞大发电厂或巨大手提箱的情况下，最能胜任运行这些智能大脑的任务。

以下是他们如何进行测试以及发现了什么，使用了简单的类比：

问题：“云端”与“背包”

在云端运行智能大脑，就像从城另一头的餐厅订购外卖披萨。如果你有一条快速道路（互联网），这很棒；但如果道路被阻断，或者你不能让外卖司机看到你的秘密地址（隐私），你就束手无策了。

作者想知道：我们能否在自己的厨房里烤制披萨？
他们测试了那些可以握在手中（甚至更小）的小型计算机，看看它们是否能以足够快的速度运行这些智能大脑，从而变得实用。

测试厨房：四种不同的“烤箱”

研究人员设置了四种不同的“烤箱”（硬件配置）来烤制披萨（运行 AI）：

微型砖块（M5Stack）： 一张信用卡大小的微型计算机，内置专用辅助芯片（NPU）。它的大小相当于一个小火柴盒。
标准板（Raspberry Pi 5）： 一款流行且价格实惠的计算机板，但它试图仅靠其主脑（CPU）来完成所有任务。
升级版板（Raspberry Pi 5 + HAT）： 同样的标准板，但附加了一张特殊的“速度助推器”卡（Hailo NPU）。
动力核心（Jetson Orin Nano）： 一款更昂贵、更强大的板卡，内置高端图形卡（GPU）。

衡量成功的新方式

通常，人们只问：“它有多快？”（每秒生成的令牌数）。但作者意识到，对于小型便携式设备而言，速度并非唯一重要的因素。他们引入了两种衡量成功的新方法：

“手提箱密度”测试（吞吐量密度）：
想象你正在为徒步旅行打包。你不仅仅想要最强大的帐篷；你想要的是能塞进最小背包里的最强大帐篷。作者测量了设备每立方英寸体积能产生多少“智能思考”。
- 获胜者： 微型M5Stack在此项中夺冠。尽管它并非整体最快，但它将最多的计算能力塞进了最小的空间里。
“电池寿命”测试（每百万令牌能耗）：
想象你正在跑马拉松。你不仅仅想跑得快；你想在不会精疲力竭的情况下跑得快。他们测量了生成一百万个单词需要消耗多少电力。
- 获胜者： M5Stack和Jetson GPU在能效方面表现最佳。标准版 Raspberry Pi（无助推器）就像一名很快精疲力竭的跑步者，为了极少的速度消耗了大量能量。

结果：什么效果最好？

“速度恶魔”： Jetson Orin Nano整体速度最快。如果你需要每秒获得最多的答案，并且拥有一定的空间和电力，这就是你的选择。
“空间节省者”： M5Stack（微型砖块）是狭窄空间的最佳选择。它证明了你可以将智能大脑塞进像火柴盒一样小的东西里。
“智能升级”： 在 Raspberry Pi 上添加Hailo 速度助推器使其性能大幅提升。与单独的 Raspberry Pi 相比，它变得更快且能耗更低。
“切勿这样做”： 尝试在没有任何特殊助推芯片的情况下，于标准 Raspberry Pi 上运行这些智能大脑是非常低效的。它既缓慢又消耗大量电力，就像穿着沉重的靴子跑马拉松一样。

这为何重要？（论文的具体主张）

作者表示，这些发现对于论文中提到的三个具体现实场景至关重要：

无人驾驶车辆（无人机）： 无人机拥有微小的电池。它们需要一个不会耗尽电池的智能大脑。论文表明，你可以将智能大脑安装在无人机上，其体积小到足以飞行，且效率足够高，不会因电力不足导致无人机坠毁。
便携式、坚固的操作： 想象在恶劣环境中携带装备的士兵或工人。他们需要能放入小型、坚固箱体内的计算机。“手提箱密度”测试展示了哪些计算机最适合放入这些狭窄、坚固的箱子里。
卫星地面站： 人们正在建立小型、便携式的站点，以便在偏远地区与卫星通信。他们需要在本地处理数据，而无需等待连接到主办公室。论文表明，这些小型计算机可以胜任这项工作，特别是如果它们使用特殊助推芯片来节省电力。

核心结论

你不再需要巨大的数据中心来拥有智能 AI。你可以将其放入一个小盒子里。然而，你不能随意抓取任何小型计算机；你需要小型计算机与特殊“辅助”芯片（加速器）的正确组合，才能使其既快速又节能。

如果你需要最大速度，请选择Jetson。
如果你需要极致小巧，请选择M5Stack。
如果你想要良好的平衡，请在标准板卡上添加助推芯片。

这篇论文为你提供了一张地图，帮助你选择正确的工具，以便你可以在任何地方运行智能 AI，即使是在互联网无法触及的地方。

以下是论文《云到边缘：在硬件加速单板计算机上对大语言模型推理进行基准测试》的详细技术摘要。

1. 问题陈述

大语言模型（LLM）的部署仍主要集中在云端，这给运营技术（OT）和国防环境带来了关键瓶颈。这些挑战包括：

数据隐私与安全：关键基础设施（能源、国防、制造）中的敏感数据通常无法离开受控的网络边界。
延迟与连接性：在偏远或对抗性环境（例如无人车辆、卫星地面站）中，依赖稳定的互联网连接是一种风险。
评估差距：现有的边缘基准测试工具（如 DeepEdgeBench、LEAF）存在三个主要局限性：
1. 它们严重依赖仅 CPU 推理或传统 GPU，忽视了现代专用边缘加速器（NPU）。
2. 它们缺乏对适合物联网（IoT）的真实单板计算机（SBC）的覆盖。
3. 它们使用通用的评估指标，未能考虑边缘部署的多维约束（物理尺寸、功耗预算和能效）。

2. 方法论

作者提出了一种结构化的多维基准测试框架，用于评估 LLM 在四种不同的适合物联网的边缘平台上的推理性能。

实验设置：

硬件平台（5 种配置）：
1. M5Stack LLM（模块 M140）：配备 AX630C SoC，集成 NPU（3.2 TOPS）。最小外形尺寸（ $54 \times 54 \times 13$ 毫米）。
2. Raspberry Pi 5：仅 CPU（Broadcom BCM2712）。
3. Raspberry Pi 5 + AI HAT+：增加 Hailo-10H NPU（40 TOPS）。
4. NVIDIA Jetson Orin Nano Super：配备 Ampere GPU（67 TOPS）。
模型：精选紧凑、蒸馏的 LLM（0.5B 至 3B 参数），包括 DeepSeek-R1-Distill-Qwen、Qwen 2.5（Instruct/Coder）和 Llama 3.2。
推理配置：
- 量化：所有模型均以 4 位量化（Q4_K_M）运行，以最小化内存占用。
- 运行时：Ollama（用于 CPU/GPU）、Hailo Ollama（用于 Pi 5 上的 NPU）和 StackFlow（用于 M5Stack）。
- 工作负载：固定提示词生成 100 个 token，以测量持续性能。

评估指标：
本文引入了超越简单延迟/准确性的多维框架：

原始性能：Token 吞吐量（tokens/s）和首 Token 时间（TTFT）。
能效：每百万 Token 的能耗（MJ/Mtok）。
复合指标（新颖贡献）：
- 吞吐量密度（ $Tps/m^3$ ）：按设备体积归一化的 Token 吞吐量。对于空间受限的部署（例如无人机、可穿戴设备）至关重要。
- 每百万 Token 能耗（MJ/Mtok）：生成过程的总能量成本，对电池供电系统至关重要。

3. 主要贡献

差距分析：指出了缺乏多维框架，无法联合评估现代配备专用加速器的 SBC 的推理性能、硬件效率和物理约束。
新颖指标：引入了吞吐量密度和每百万 Token 能耗，以便根据特定的部署约束（空间 vs. 功耗 vs. 速度）进行硬件选择。
全面基准测试：提供了现代边缘加速器（Hailo-10H、NVIDIA Ampere、AX630C NPU）与仅 CPU 基线在多个模型系列上的首次对比分析。

4. 关键结果

硬件加速影响：
- NPU（Hailo-10H）：在 Raspberry Pi 5 上，相比仅 CPU 推理，实现了9.5 倍至 40 倍的能效提升。吞吐量从约 0.3 tok/s（CPU）增加到约 6.3 tok/s（NPU）。
- GPU（Jetson Orin）：相比其自身的 CPU 基线，提供了1.2 倍至 1.8 倍的适度效率提升，但提供了最高的绝对吞吐量（高达约 10 tok/s）。
吞吐量密度：
- M5Stack AX630c 在该指标上占据主导地位，由于其极小的外形尺寸，实现了**>90,000 Tps/m³**，使其成为超紧凑、加固型应用的理想选择。
- Jetson Orin 虽然功能强大，但由于物理体积较大，其密度最低。
能效：
- 仅 CPU 推理的效率比加速平台低一个数量级（33–76 MJ/Mtok 对比 0.5–5.5 MJ/Mtok）。
- M5Stack 和 Jetson GPU 能效最高，消耗约 0.5–1.7 MJ/Mtok。
- RPi 5 + Hailo 显示出可变效率，具体取决于模型架构，表明 NPU 性能比 GPU 对模型结构更敏感。

5. 意义与影响

研究结果为在关键、隐私敏感和连接受限的环境中部署生成式 AI 提供了实用指导：

弹性分布式系统：低功耗边缘 AI（5–25W 范围）使得去中心化架构成为可能，其中各个节点充当智能代理。这减少了对中央指挥的依赖，增强了对网络干扰或网络攻击的弹性。
能源受限的自主性：对于具有严格能源预算的无人机和自主系统，从 CPU 转向 NPU/GPU 推理显著延长了运行时间，同时实现了本地决策和实时数据摘要。
卫星地面站：结果验证了 15 亿参数模型可以在便携式 SBC（如 RPi 5 + Hailo）上高效运行。这使得地面站能够在本地执行智能任务（命令解析、遥测推理），而无需与中央设施建立高带宽链路。

结论：
本文证明，硬件加速的 SBC 现在已具备本地运行 LLM 的可行性。硬件选择不应仅基于原始速度；相反，必须根据物理足迹（有利于 M5Stack）、绝对吞吐量（有利于 Jetson）和能效（有利于 M5Stack 或 Jetson GPU）之间的具体权衡进行指导，具体取决于 IoT 部署的特定操作约束。