Data-Rate-Aware High-Speed CNN Inference on FPGAs

本文提出了一种面向多像素处理的数据速率感知 CNN FPGA 加速器架构，通过设计空间探索优化层间配置，在保持数据连续流动的同时显著降低了算术资源消耗，从而实现了复杂 CNN 在单一 FPGA 上的高效部署。

要点

这篇论文介绍了一种让FPGA（一种可编程的芯片）运行人工智能（AI）的新方法。为了让你更容易理解，我们可以把整个过程想象成经营一家超级高效的“图像餐厅”。

1. 背景：以前的餐厅有什么问题？

想象一下，以前这家餐厅（AI 加速器）的运作模式是这样的：

• 流水线作业：厨师（硬件单元）按照固定的节奏切菜、炒菜。
• 问题出在“出餐速度”上：有些工序（比如“池化层”或“步长卷积”）就像是在把一大盘菜过滤一下，只留下精华部分。原本有 100 份菜，过滤后只剩 20 份。
• 浪费严重：如果餐厅为了处理那 100 份菜准备了 100 个厨师，结果过滤后只剩 20 份，那剩下的 80 个厨师就得干站着等，或者餐厅为了不让厨师闲着，就强行塞给他们一些没用的“空气菜”（无效数据）。这导致资源浪费，效率低下。

以前的解决方案是：要么让所有厨师同时工作（处理大图，但太贵且难以扩展），要么让厨师一个接一个慢慢做（虽然能处理大图，但速度慢，而且不管菜量多少，厨师都按最慢的节奏走，不够灵活）。

2. 这篇论文的核心创新：智能“多任务”餐厅

这篇论文提出了一种**“数据速率感知”（Data-Rate-Aware）的新设计，就像给餐厅装上了智能调度系统**。

核心比喻：灵活的“多像素”处理

以前的系统一次只能处理一个像素（就像厨师一次只能切一片土豆）。
这篇论文的新设计允许系统一次处理多个像素（比如一次切两片，甚至更多）。

• 以前的 KPU（核心组件）：就像一把只能切一片土豆的刀。
• 现在的 KPU：就像一把特制的“双刃刀”或者“多刃刀”，一次能处理两个像素。

它是如何工作的？（智能调度）

这个新系统非常聪明，它会根据每一道菜（每一层神经网络）的实际需求量来调整厨师的数量和节奏：

1. 动态调整：
   • 如果某道工序需要处理大量数据（比如刚开始的卷积层），系统就安排很多“多刃刀”同时工作，火力全开。
   • 如果某道工序数据变少了（比如经过过滤后），系统就自动减少“多刃刀”的数量，或者让它们慢下来，绝不浪费资源。
2. 消除“空转”：
   • 以前的设计里，因为数据量变了，很多硬件单元会闲置。
   • 新设计通过数学计算（论文里提到的 $j$ 和 $h$ 参数），确保每一个硬件单元都在忙，而且都在处理真正有用的数据，没有“干站着”的厨师。

3. 具体的“魔法”：如何处理两个像素？

论文里提到一个很酷的技术细节：非转置 KPU（Non-transposed KPU）。

• 旧方法：就像厨师切完一片土豆，把切好的片放在一边，等下一片切完再一起处理。这需要很多临时存放的地方（缓冲区）。
• 新方法：厨师直接拿着两片土豆，同时下刀。
  • 为了做到这一点，他们把**土豆（输入数据）**提前准备好，放在手边，而不是把切好的菜（中间结果）堆在一起。
  • 这样，所有的刀（乘法器）可以在同一时间，同时处理两片土豆。
  • 结果：需要的存储空间（BRAM）变少了，但处理速度变快了。

4. 实验结果：快得惊人！

作者用这个新系统跑了一个叫 MobileNetV2 的流行 AI 模型（就像让餐厅做一道招牌菜）：

• 速度：在最高配置下，这个系统每秒能处理 16,000 多帧图像！这比目前市面上最好的方案（SOTA）快了3 倍以上。
• 灵活性：
  • 如果你想要极速，它可以全速运转。
  • 如果你想要省电或省钱（减少芯片上的硬件资源），它可以自动降低速度（比如每秒处理几百帧），同时只使用原来一半甚至更少的硬件资源。
• 对比：在同样的芯片上，它比之前的方案节省了约 22% 的逻辑资源（LUTs）和 15% 的存储资源，但跑得更快。

5. 总结：这到底意味着什么？

简单来说，这篇论文发明了一种**“懂行”的 AI 加速器**。

• 以前：不管来多少客人，餐厅要么开足马力（浪费），要么慢慢吞吞（低效）。
• 现在：餐厅能实时数客人数量。客人多，就开多把“双刃刀”；客人少，就收起来几把，只留最精干的团队。
• 好处：
  1. 更快：处理速度大幅提升。
  2. 更省：不需要那么多昂贵的硬件资源。
  3. 更灵活：可以根据需求随时调整速度和成本。

这对于自动驾驶汽车（需要瞬间反应）、医疗影像分析（需要快速诊断）等场景来说，意味着我们可以用更小、更便宜的芯片，实现更强大、更快速的 AI 功能。

技术摘要

论文技术总结：基于数据速率感知的高性能 FPGA CNN 推理

1. 研究背景与问题 (Problem)

卷积神经网络（CNN）在自动驾驶、语音识别等需要低延迟和高吞吐量的应用中至关重要。FPGA 因其细粒度并行性和定制化能力，成为理想的加速平台。然而，现有的 FPGA CNN 加速器架构面临以下挑战：

• 数据速率不匹配导致的资源浪费：CNN 中的池化（Pooling）和步长卷积（Strided Convolutions）层会显著降低输出数据相对于输入的数据速率。
• 全展开设计的局限性：传统的“全展开”（Fully Unrolled）设计无法适应这种数据速率的变化，导致后续层硬件利用率低下（Underutilization）。
• 现有方案的不足：
  • 完全并行设计延迟低但无法扩展到大网络。
  • 数据流架构（如 FINN）虽可扩展，但通常未考虑数据速率感知，且目标速度较慢。
  • 现有的数据速率感知架构（如文献 [11]）虽然能根据局部数据速率调整层实现，但每个时钟周期仅处理一个像素，限制了最大吞吐量，且其参数化方法存在舍入误差，导致硬件利用率未达最优。

2. 方法论 (Methodology)

本文提出了一种支持多像素处理的数据速率感知 CNN 加速器架构，旨在在保持数据连续流（Continuous Flow）的同时，最大化硬件利用率和资源效率。

核心改进点：

1. 多像素处理扩展：

   • 将原有的单像素处理架构扩展为每个时钟周期处理多个像素（例如 2 个像素）。
   • 针对卷积层，设计了非转置（Non-transposed）的 KPU（核处理单元）。与文献 [11] 中缓冲加权部分结果不同，新方法缓冲输入特征，使其可在同一层的所有 KPU 间共享。
   • 通过调整输入信号的延迟和连接模式，确保所有乘法器能同时计算当前滑动窗口的所有输入。

2. 参数化与约束优化：

   • 参数定义：将层实现简化为两个关键参数：$j$（每周期处理的输入信号数）和 $h$（每个处理单元处理的神经元/核数）。
   • 约束条件：
     • $j$ 必须能被输入通道数 $d_{\ell-1}$ 整除，以避免处理无效或填充数据。
     • $h$ 必须能被输出通道数 $d_{\ell}$ 整除，以消除处理单元间的同步空闲时间。
   • 搜索策略：在满足上述整除约束且 $j/h \ge r_{\ell-1}$（输入数据速率）的可行解空间 $HJ_l$ 中，寻找最接近实际数据速率 $r_{\ell-1}$ 的 $(j, h)$ 组合。
   • 优势：这种方法避免了文献 [11] 中的舍入误差，允许构建更大的压缩树（Compressor Trees），从而减少逻辑资源（LUTs）的使用。

3. 自适应架构：

   • 对于步长 $s > 1$ 的情况，架构能自动识别并移除那些因步长跳过而永远产生无效输出的 KPU 设计，进一步节省资源。
   • 通过简单的计数器生成填充选择信号（Padding Select Signals）和有效性信号，无需复杂的控制电路。

3. 主要贡献 (Key Contributions)

• 架构创新：提出了支持多像素（Multi-pixel）连续流处理的 CNN 加速器架构，突破了单像素处理的吞吐量瓶颈。
• 参数化模型简化：重新形式化了层实现参数的选择过程，将其转化为受约束的丢番图近似问题，消除了舍入误差，实现了更精确的数据速率匹配。
• 资源效率优化：通过优化 KPU 结构和利用压缩树技术，显著降低了算术逻辑资源（LUTs）和块 RAM（BRAM）的消耗。
• 广泛的适应性：该架构能够在同一 FPGA 上高效实现从极低数据速率（节省资源）到极高数据速率（高吞吐）的复杂 CNN 模型。

4. 实验结果 (Results)

实验基于 Xilinx Virtex UltraScale+ (xcvu37p) FPGA，使用 MobileNetV1 和 MobileNetV2 模型进行评估。

• 资源利用率对比 (MobileNetV1)：

  • 与文献 [11] 相比，LUT 资源减少了 22%，BRAM 减少了 15%。
  • 寄存器（FF）略有增加（7%），DSP 资源微降。
  • 这证明了新架构在保持性能的同时显著提升了资源效率。

• 多速率性能表现 (MobileNetV2)：

  • 高吞吐模式：当每时钟周期处理 6 个特征（2 像素）时，实现了 16,020 FPS 的吞吐量，延迟仅为 0.21ms。
  • 低资源模式：当降低数据速率（如每 32 个周期处理 3 个特征）时，吞吐量降至 219 FPS，但仅需 30k LUTs 和 212 DSPs，资源消耗大幅降低。
  • BRAM 特性：无论数据速率如何，BRAM 利用率均保持高位（用于存储权重），表明未来可通过将权重卸载到 DRAM 来进一步优化。

• 与 SOTA 对比：

  • 在相同模型（MobileNetV2）下，该方法的吞吐量是现有最先进（SOTA）加速器（如 Alveo U280 上的 FINN 实现）的 3 倍以上。
  • 在能效比（mJ/Inf）方面，随着数据速率降低，能效显著提升。

5. 意义与未来展望 (Significance & Future Work)

• 意义：

  • 解决了 CNN 推理中因层间数据速率变化导致的硬件利用率低下问题。
  • 证明了在单颗 FPGA 上实现从低功耗/低延迟到高吞吐量的灵活 CNN 部署是可行的。
  • 为资源受限的边缘设备提供了高效、可配置的硬件加速方案。

• 未来工作：

  • 针对 BRAM 利用率过高（主要受限于模型权重存储）的问题，计划研究将权重卸载到外部 DRAM 或 HBM 内存的机制，以进一步降低对片上存储的依赖并提升可扩展性。

总结：该论文通过引入多像素处理和优化的参数搜索策略，成功设计了一种高效、灵活且资源节约的 FPGA CNN 加速器，在保持低延迟的同时，显著提升了吞吐量并降低了硬件成本，为高性能边缘 AI 推理提供了重要的技术参考。