⚡ 电气工程

An Ultra-Compact, BRAM-Free Streaming 2D Convolution Accelerator on Low-Power FPGAs

本文提出了一种用于低功耗 FPGA 的超紧凑、无 BRAM 流式 2D 卷积加速器，该加速器利用基于 LUT 的移位寄存器和流水线化 MAC 数据通路，在保持 Xilinx Zynq-7020 SoC 上位宽精确度的同时，实现了高吞吐量和极低的资源占用。

原作者： Amir Atef, Yahia Sameh

发布于 2026-10-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amir Atef, Yahia Sameh

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代技术的世界里，存在着一种不断将智能设备做得更小、更便宜、且能在微型电池上运行的推动力。这种驱动力催生了“边缘计算”，即像识别面部或检测物体这样复杂的任务直接在摄像头或传感器上完成，而不是将数据传回庞大的云端服务器。支撑这一愿景的数学引擎是一个被称为“卷积”的过程，它就像一个在图像上滑动的过滤器，用来寻找特定的模式，例如建筑物的锐利边缘或脸部的曲线。为了实现这一点，设备必须一次观察一小组像素，将它们乘以特定的数字，然后将结果相加。虽然处理这些任务的数据中心里的强大计算机可以轻松应对，但在小型、低功耗的芯片上执行却非常困难，因为这类芯片的内存和能量都极其有限。它既无法承担存储整个图像以便回溯的代价，也无法浪费电力去等待数据的到达。

艾因·夏姆斯大学（Ain Shams University）的研究人员设计了一种新型硬件加速器，解决了这些在无人机或可穿戴传感器等设备中常见的低功耗微型芯片上的问题。他们创建了一个专门的电路，可以在图像数据到达时逐个像素地处理流数据，而无需存储整张图片。该团队在一种称为 FPGA 的可重构芯片上构建了该系统，特别针对的是在嵌入式电子设备中常见的 Zynq-7020 型号。他们的目标是剥离掉通常用于此任务的沉重、耗能的内存组件，并用一种更轻量、更高效的结构来取代，使其完全适配在芯片的基本逻辑块内。

其创新的核心在于处理图像数据的方法，避免了对大型专用内存库的需求。通常，为了分析图像中的一个小方块，计算机需要记住当前的像素行以及紧接在其之前的两行。标准设计使用大型内存块来保存这些行，这消耗了宝贵的空间和能量。研究人员转而构建了一个系统，利用芯片逻辑阵列内部的微型、灵活的存储单元。这些单元就像一个移动的传送带，仅保留重建所需的 3x3 像素方块所需的数据，随着图像流经过。通过使用这些分布式的微型存储元件而非大型内存块，他们消除了对任何专用内存块的需求，从而为其他任务释放了空间，并大幅降低了运行系统所需的功耗。

该加速器以稳定的节奏处理图像数据，每个时钟周期接收一个像素。随着像素的流入，系统会立即形成所需的 3x3 邻域，将每个像素与其对应的权重相乘，然后将结果相加。为了确保数学运算的准确性并防止因数值过大而产生错误，该设计为其内部计算寄存器使用了经过数学证明的特定大小。这保证了九个乘积之和永远不会发生溢出或错误的回绕，而这在固定大小的数字系统中是一个常见问题。一旦计算完成，结果会被仔细调整以符合标准范围，并且可以应用一个可选步骤来移除任何负值，这模拟了人工智能网络中常用的一个步骤。

团队对他们的设计进行了严格测试，通过模拟并将其结果与一个受信任的软件模型进行对比。他们验证了硬件对于每一张测试图像（包括复杂的自然照片和几何图形）中的每一个像素都能产生与软件完全相同的输出。当他们在目标芯片上构建该设计时，结果显示该系统几乎不消耗内存资源，使用了零个专用内存块。它占用了不到芯片总逻辑容量的百分之零点五，并且仅使用了极小部分的专用数学处理器。该系统以每秒 1 亿个时钟周期的速度运行，在十微秒多一点的时间内处理完一帧 32x32 像素的图像。

功耗是另一个重大的成功。执行计算的芯片活跃部分仅消耗 9 毫瓦的功率，这比点亮一个微型 LED 灯所需的能量还要少。虽然测量的总功率包含了向芯片外部引脚发送信号所需的能量，但研究人员指出，在实际设备中，当芯片与其他部分进行内部通信时，这种外部功率成本将会消失，使得计算核心的运行功率低于 10 毫瓦。这种效率水平使得在由小型电池甚至能量采集技术供电的设备上运行高级视觉任务成为可能，而无需大型冷却系统或沉重的电源。

该设计并非没有局限性。它目前专门为处理单通道图像（如黑白照片）而构建，并针对 3x3 的模式大小进行了优化。改变模式大小或处理彩色图像将需要重新构建电路。此外，该系统期望接收连续的数据流，并且没有机制在数据源停止时进行暂停等待。然而，对于其处理低功耗硬件上快速移动的小型图像块的既定用途，研究人员证明了他们的方法是一种高效的解决方案。通过证明复杂的图像分析可以在几乎不使用内存且极低功耗的情况下完成，这项工作为新一代能够感知并理解世界、且无需连接云端的智能自包含传感器打开了大门。

技术摘要：一种面向低功耗 FPGA 的超紧凑、无 BRAM 架构流式 2D 卷积加速器

问题陈述

二维（2D）空间卷积是边缘计算机视觉和深度学习推理中的主要计算负载。然而，在资源受限的嵌入式平台上实现这些操作面临两个关键的工程挑战：

内存带宽与缓冲瓶颈： 常规方法通常将完整的视频帧缓冲在外部 DRAM 或片上块存储器（BRAM）中。对于行扫描图像传感器，访问 $3 \times 3$ 卷积核所需的垂直空间邻域（三行相邻数据）会产生高昂的内存占用、高延迟以及过度的动态功耗。
算术精度与溢出： 固定点量化 CNN 层（通常为 8 位整数）需要仔细管理中间累加器的增长。如果没有精确的字长推导和饱和策略，中间溢出可能会导致回绕伪影（例如，明亮的正向激活值回绕为负值），从而使下游视觉模型失稳。

方法论

作者提出了一种专为单通道图像流设计的超紧凑流式硬件加速器，适用于低功耗现场可编程门阵列（FPGA）。该架构采用可综合 Verilog 实现，并针对 Xilinx Zynq-7020 SoC 进行了优化。

核心架构创新

无 BRAM 的流式行缓冲器： 该设计并未使用专门的 BRAM 模块，而是通过双链式移位寄存器行缓冲器实时重建 $3 \times 3$ 空间邻域。这些缓冲器完全映射到基于查找表（LUT）的移位寄存器原语（SRLC32E）上。这种方法仅存储两条扫描线（ $2W$ 个像素）的数据，在保持单周期吞吐量的同时，完全消除了对 BRAM 的使用。
数学精确的累加： 数据通路采用 20 位内部累加器。作者提供了一个形式化推导，证明对于 8 位无符号输入（ $[0, 255]$ ）和 8 位有符号权重（ $[-128, 127]$ ），20 位宽度可以保证在所有有效组合下均实现零中间溢出。
流水线化 MAC 数据通路： 算术核心具有三级流水线结构：
1. 第一阶段： 九个并行的 DSP48E1 乘法器同时计算乘积。输入像素进行零扩展，以防止有符号解释错误。
2. 第二阶段： 平衡加法树将九个 16 位乘积求和至 20 位累加器。
3. 第三阶段： 单调 16 位饱和截断防止回绕伪影，随后执行可选的线性整流单元（ReLU）激活。
确定性控制： 一个三状态 Moore 型有限状态机（FSM）编排控制流。它采用输入流门控和输出样本排空计数，以确保在没有停顿开销的情况下完成整个流水线冲刷，实现了确定的初始延迟 $2W + 7$ 个周期。

主要贡献

本文确定了五项主要贡献：

无 BRAM 微架构： 一种流式窗口生成器，将双行缓冲器映射到 16 个基于 LUT 的移位寄存器，从而释放了稀缺的 BRAM 块用于其他神经网络参数。
形式化动态范围推导： 一个数学证明，展示了 20 位累加器如何防止溢出，并结合了保持梯度单调性的饱和策略。
零停顿流水线控制： 一个控制 FSM，确保在不插入气泡停顿的情况下完成流水线排空，提供了精确的延迟公式（ $L = 2W + 7$ ）。
多层级严格验证： 包括单元级算术压力测试、针对非正方形图像（ $64 \times 32$ ）的几何验证，以及针对自然摄影图像与 Python/NumPy 金标准模型进行的系统级位精确协同仿真。
全面的硬件特性分析： 在 Xilinx Zynq-7020 上进行的详细后综合结果，包括关键路径分析、功耗剖面以及移位寄存器与 BRAM 之间的架构权衡分析。

实验结果

该加速器在 100 MHz 时钟约束下，在 Xilinx Zynq-7020 (xc7z020clg400-1) 上进行了综合与实现。

资源利用率： 该设计极其紧凑，仅使用 231 个 Slice LUT (0.43%)、417 个 Flip-Flops (0.39%) 和 9 个 DSP48E1 切片 (4.09%)。至关重要的是，它报告了 0 个 Block RAM 使用量。
时序性能： 设计满足时序要求，最差负斜坡（WNS）为 +3.724 ns，由此得出估计的最大频率（ $f_{max}$ ）为 159.3 MHz。
功耗： 主动计算功耗极低，仅为 9 mW。总片上功耗为 159 mW，其中 83% 归因于外部 I/O 驱动器；核心计算电路的功耗仅为 9 mW。
吞吐量与延迟：
- 延迟： 对于 $32 \times 32$ 帧，延迟为 71 个周期（710 ns）。
- 吞吐量： 维持每时钟周期 1 个输出像素的吞吐量（100 Mpixel/s, 900 MMAC/s）。
- 准确度： 在自然摄影图像上，与软件金标准模型实现了 100% 的位精确等效性（900/900 个样本），并在 1860 窗口的非正方形图像上实现了几何匹配。
效率： 作者计算出其性能优值（FOM）峰值为 $9.24 \times 10^{-3}$ ，平均值为 $8.09 \times 10^{-3}$ ，该值已根据功耗和资源占用进行了归一化处理。

意义与主张

本文将该工作定位为局部边缘视觉窗口、补丁处理及紧凑特征图的解决方案，适用于内存资源匮乏的场景。作者声称，通过消除对 BRAM 的依赖并利用基于 LUT 的移位寄存器，该架构解决了标准行缓冲器实现中常见的内存利用率不足的问题。

其重要性在于能够在低功耗 FPGA 上以最小的硅片面积和功耗执行高吞吐量、数学精确的 2D 卷积。该设计特别针对图像扫描线宽度较小（例如 $W=32$ ）的情况进行了优化，使其成为无需外部 DDR 内存或大型片上帧缓冲器的流式边缘传感器的理想选择。作者指出，虽然目前的设计专门针对 $3 \times 3$ 卷积核和单通道流，但它为边缘 AI 推理提供了一个基础性的、超紧凑的 IP 核。