Continuous-Flow Data-Rate-Aware CNN Inference on FPGA

该论文提出了一种面向 FPGA 的连续流数据率感知 CNN 推理架构，通过交错低数据率信号、共享硬件单元及优化并行化策略，解决了卷积层和池化层导致的数据率下降问题，从而在实现接近 100% 硬件利用率的同时显著降低了逻辑资源消耗，使得在单块 FPGA 上部署 MobileNet 等复杂网络成为可能。

要点

这篇论文介绍了一种让 FPGA（一种可编程的芯片）运行人工智能（AI）模型时，变得更聪明、更省资源、更快速的新方法。

为了让你轻松理解，我们可以把AI 推理（让 AI 做判断）想象成在一家超级繁忙的餐厅里上菜，而FPGA就是厨房里的厨师团队。

1. 过去的困境：要么“大锅饭”，要么“饿死厨师”

以前的做法主要有两种：

• 全并行架构（Fully Parallel）： 就像给每个菜（神经元）都配一个专属厨师。如果菜单上有 100 道菜，你就得雇 100 个厨师。
  • 缺点： 太浪费钱了（硬件资源消耗巨大），而且如果菜做得少，很多厨师就在那儿干坐着（闲置），效率极低。
• 流式架构（Stream Architecture）： 就像只有一个大厨师，他按顺序一道一道做菜。
  • 缺点： 速度太慢，顾客（数据）要等很久才能吃到。

核心问题：
在卷积神经网络（CNN，一种常用的 AI 模型）中，数据就像流水一样流过不同的处理层。

• 有些层（比如卷积层）会处理很多数据。
• 但有些层（比如“池化层”或“步长大于 1 的卷积层”）会扔掉一部分数据。比如，它把 4 个像素合并成 1 个，数据量瞬间变成了原来的 1/4。

这就好比： 前一道工序有 4 个厨师在忙碌，把菜端给下一道工序。但下一道工序只需要 1 个厨师来处理。结果就是，前一道工序的 3 个厨师在疯狂干活，后一道工序的厨师却只能看着 3 个空盘子发呆，或者前一道工序的厨师因为后面没人接盘而被迫停工。这就是**“数据速率不匹配”**导致的资源浪费。

2. 这篇论文的妙招：聪明的“流水线插队”与“一人多职”

作者提出了一种**“连续流数据速率感知”**（Continuous-Flow Data-Rate-Aware）的新架构。我们可以用两个生动的比喻来理解：

比喻一：聪明的“拼盘”策略（数据交织）

想象一下，如果后厨的某个环节（比如切菜）变慢了，或者需要的量变少了，以前的做法是让前面的厨师停下来等。
但这篇论文的做法是：“插队”和“轮流”。

• 当数据量变少时，系统不会让厨师闲着，而是把不同批次的订单（数据）巧妙地交织在一起。
• 就像餐厅服务员把 4 个桌子的客人（数据流）合并，轮流给同一个厨师上菜。虽然每个桌子的菜上得慢了一点，但厨师一刻都没停过，一直在切菜。
• 结果： 无论数据流是快是慢，厨师（硬件单元）始终处于 100% 满负荷工作状态，没有闲置时间。

比喻二：可切换的“瑞士军刀”（可重构组件）

以前的厨师（硬件单元）是固定的，只能做一种菜（比如只能算乘法）。
这篇论文设计的厨师是**“瑞士军刀”**：

• 当数据流变慢时，这个厨师会自动切换模式。
• 比如，原本需要 4 个厨师分别处理 4 个不同的滤镜（Filter），现在因为数据变慢了，这 4 个任务可以轮流交给同一个厨师做。
• 这个厨师手里拿着一本“菜单”（权重配置），上一秒做 A 菜，下一秒马上切换做 B 菜。
• 结果： 你不需要雇佣 4 个厨师，只需要 1 个超级灵活的厨师就能干完所有活。这大大节省了硬件空间（FPGA 资源）。

3. 具体是怎么做到的？（简单三步走）

1. 算账（分析数据流）： 先算清楚每一层需要多少数据，数据流是变快了还是变慢了（比如池化层会让数据变少）。
2. 打补丁（隐式填充）： 在数据流的边缘，巧妙地“补”一些虚拟的零数据，让流水线不要断掉，保证厨师一直有活干。
3. 排班（交织与复用）：
   • 如果数据流变慢了，就把多个任务交织在一起，让一个硬件单元轮流处理。
   • 如果数据流特别慢，就让一个硬件单元同时处理多个不同的任务（通过快速切换配置）。

4. 效果如何？（省了多少钱，快了多少？）

作者用这个新方法在 FPGA 上运行了著名的 MobileNet 和 ResNet 模型：

• 省资源（省钱）： 相比以前那种“一个神经元一个硬件”的笨办法，他们节省了 90% 以上的加法器和乘法器。这就好比以前需要 100 个厨师的厨房，现在只需要 10 个超级灵活的厨师就能搞定。
• 速度快（省时间）： 因为硬件利用率极高（接近 100%），而且没有等待时间，处理速度非常快，延迟极低。
• 能跑大模型： 以前因为资源不够，很难在单块 FPGA 上跑复杂的模型。现在因为省下了大量资源，MobileNet 这种复杂的模型也能轻松塞进一块芯片里，而且跑得飞快。

总结

这篇论文的核心思想就是：不要死板地给每个任务配一个硬件，也不要让硬件闲着。

它像是一个精明的餐厅经理，根据顾客（数据）的多少，灵活地安排厨师（硬件）的工作：

• 顾客多时，大家分工合作。
• 顾客少时，让厨师“身兼数职”，轮流干活。
• 无论顾客多少，厨师永远在忙碌，绝不浪费人力，也绝不让顾客饿着。

这种方法让 AI 芯片变得更小巧、更便宜、更高效，非常适合用在无人机、自动驾驶汽车等对体积和功耗要求很高的设备上。

技术摘要

论文技术总结：基于 FPGA 的连续流数据速率感知 CNN 推理

1. 研究背景与问题 (Problem)

在深度学习推理硬件加速器中，**数据流（Data Flow）或展开（Unrolled）架构因其低延迟和高吞吐量而备受关注。这类架构通常将每个神经元映射到专用的硬件单元，非常适合 FPGA 实现。然而，现有的展开式实现主要集中在全连接网络（Fully Connected Networks）**上，因为全连接层的结构相对简单。

尽管**卷积神经网络（CNN）**在相同精度下所需的计算量更少，但在将其转化为完全并行的硬件架构时面临以下核心挑战：

• 数据速率不匹配：CNN 中的池化层（Pooling Layers）和步长（Stride）大于 1 的卷积层会显著减少输出数据量（例如，2x2 最大池化将输出数据率降至输入的 1/4）。
• 硬件利用率低：在完全并行的实现中，如果输出数据率降低，大量的硬件计算单元（如乘法器、加法器）将处于空闲状态，导致资源浪费。
• 现有方案的局限性：
  • 传统的缓冲和资源共享方案难以扩展到更大的网络。
  • 像素级（Pixel-after-pixel）架构虽然适应数据率，但引入了大量的缓冲开销和资源消耗。
  • 现有的展开架构大多局限于全连接层，缺乏处理 CNN 中动态数据率变化的有效机制。

2. 方法论 (Methodology)

本文提出了一种**数据速率感知（Data-Rate-Aware）的连续流（Continuous-Flow）**CNN 架构设计新范式。其核心思想是通过分析 CNN 的数据流，动态调整硬件并行度，确保所有算术单元在每个时钟周期都在工作，从而实现接近 100% 的硬件利用率。

2.1 核心机制

• 连续流定义：架构能够以预定义的输入数据速率处理连续的数据流，算术单元之间没有空闲时间或数据缺失。
• 数据交织（Data Interleaving）：
  • 当某层的输出数据率降低（由于步长或池化）时，系统通过**流水线交织（Pipeline Interleaving）**技术，将多个低速率的数据流合并，填充到高速率的计算单元中。
  • 通过交织多个输入通道，确保连接到计算单元的数据流是连续的。
• 可重构组件：
  • 卷积处理单元（KPU）：设计支持多核配置（Multi-kernel configuration）。当数据率降低时，单个 KPU 可以在不同时钟周期内切换计算不同的卷积核，从而复用硬件资源。
  • 全连接单元（FCU）：通过数据聚合（Aggregation）技术，将多个输入像素组合处理，使 FCU 能够适应不同的输入数据率，同时保持高利用率。
  • 隐式零填充（Implicit Zero Padding）：通过设置 KPU 中特定乘法器的权重为零（而非在输入流中插入零），在保持输入输出数据连续性的同时实现填充，避免了因填充导致的流水线停顿。

2.2 架构构建流程

1. 数据率分析：根据 CNN 模型参数（层类型、步长、通道数）计算每一层的输入/输出数据率。
2. 组件适配：
   • 对于卷积层，根据输入数据率 $r_{\ell-1}$ 和输出通道数 $d_\ell$，计算所需的 KPU 数量及每个 KPU 需要支持的配置数量（Configurations）。
   • 对于池化层，采用类似的交织策略，确保每个 PPU（Pooling Processing Unit）持续工作。
   • 对于全连接层，通过调整 FCU 的输入并行度（$j$）和神经元数量（$h$）来匹配数据率。
3. 深度可分离卷积优化：针对 MobileNet 等模型中的深度可分离卷积，将深度卷积（Depthwise）和逐点卷积（Pointwise）分别处理，前者复用 KPU，后者转化为全连接层处理，进一步减少资源。

3. 主要贡献 (Key Contributions)

1. 新范式提出：提出了一种设计连续流 CNN 加速器的新范式，填补了“流式架构”（Stream Architectures）和“完全展开架构”（Unrolled Architectures）之间的空白，支持不同程度的并行化。
2. 深度分析：对 CNN 各层（卷积、池化、全连接）在连续流模式下的数据流进行了详尽分析，提出了处理步长（Stride）和填充（Padding）导致的数据率变化的具体数学模型和硬件实现方案。
3. 资源优化设计：
   • 通过交织低数据率信号和共享硬件单元，显著减少了所需的算术逻辑资源（加法器和乘法器）。
   • 利用可配置的多核 KPU 和 FCU，实现了在保持高吞吐量的同时，大幅降低 FPGA 资源占用。
4. 自动化代码生成：开发了一个代码生成器，能够自动根据模型参数计算数据率、确定所需的硬件单元数量及配置，并生成 Verilog 代码。

4. 实验结果 (Results)

作者在 FPGA 上实现了 MobileNetV1 和 ResNet18 模型，并与完全并行实现及现有最先进（SOTA）方案进行了对比。

4.1 资源节省

• 算术单元大幅减少：与完全并行实现相比，提出的方法将加法器和乘法器的数量减少了几个数量级。
  • 例如，MobileNetV1 ($\alpha=1.0$) 的加法器/乘法器从数百万级减少到数千级。
  • 运行示例（Running Example）中，资源消耗仅为完全并行实现的约 1/6。
• LUT 利用率：在 MobileNetV1 实现中，LUT 利用率从 SOTA 方案的 40 万+ 降低到 204,931，减少了约 50%。
• 寄存器与 BRAM：寄存器数量基本保持不变或略有增加（由于配置切换），但 BRAM 利用效率更高（用于存储权重配置）。

4.2 性能表现 (MobileNetV1 on XCVU37P)

• 吞吐量 (FPS)：达到 6,944 FPS，显著高于对比方案（如 [18] 的 2,637 FPS 和 FINN 的 925 FPS）。
• 延迟 (Latency)：仅为 0.37 ms，比对比方案低约一半。
• 能效 (Energy Efficiency)：每次推理能耗仅为 3.55 mJ，优于所有对比方案。
• 精度：在 8-bit 定点量化下，Top-1 准确率达到 70.5%，优于对比方案。

4.3 灵活性 (JSC 数据集实验)

• 在 Jet Substructure Tagging 数据集上，该方法展示了极高的灵活性。通过调整数据率（从 $r_0=16$ 到 $r_0=1/16$），设计者可以在资源利用率和吞吐量之间进行权衡。
• 在低数据率下，该方法利用 DSP 资源实现了比纯 LUT 架构（如 NeuraLUT-Assemble）更低的 LUT 消耗，同时保持了高吞吐量。

5. 意义与结论 (Significance & Conclusion)

• 突破资源瓶颈：该方法使得在单个 FPGA 上部署复杂的 CNN 模型（如 MobileNet）成为可能，同时保持了高吞吐量，解决了传统展开架构资源爆炸的问题。
• 高效利用硬件：通过“数据速率感知”设计，消除了因 CNN 层间数据率变化导致的硬件闲置，实现了接近 100% 的硬件利用率。
• 通用性与可扩展性：提出的架构不仅适用于标准卷积，还完美适配深度可分离卷积（MobileNet 的核心），并支持步长和池化操作，具有广泛的适用性。
• 工程价值：结合自动代码生成工具，该方法为 FPGA 加速器的设计提供了一种系统化、自动化的解决方案，显著降低了设计复杂度，同时获得了优于现有 SOTA 的性能和能效指标。

综上所述，这篇论文通过创新的连续流架构设计，成功解决了 CNN 在 FPGA 上实现高利用率并行加速的难题，为边缘计算和实时推理应用提供了强有力的硬件加速方案。