💻 computer science

Hardware-aware Graph Neural Networks prunning for embedded event-based vision

本文提出了一种针对图卷积神经网络的硬件感知剪枝与量化策略，旨在优化嵌入式 FPGA 平台的模型架构，在多种基于事件的视觉数据集上实现了显著的 BRAM 内存减少，且仅造成极小的精度损失。

原作者： Piotr Wzorek, Kamil Jeziorek, Tomasz Kryjak

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Piotr Wzorek, Kamil Jeziorek, Tomasz Kryjak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：让“事件相机”装进背包

想象一下，你正试图把一座巨大的、高科技的图书馆（一个复杂的 AI 大脑）塞进一个很小的背包（无人机或机器人上的嵌入式计算机）。这些书非常沉重，而背包的承重限制非常严格。如果你试图把整座图书馆都塞进去，背包会撕裂，或者机器人根本无法移动。

这篇论文解决了针对一种特定类型的相机——事件相机（Event Camera）——所面临的问题。

相机： 与每秒拍摄完整照片的普通相机（如视频摄像机）不同，事件相机就像是一个充满人的房间，只有在发生某些变化时才会开口说话。如果有一只鸟飞过房间，他们会大喊“鸟！”；如果灯光闪烁，他们会喊“灯！”；如果什么都没动，他们就保持沉默。这产生了一种“稀疏”的数据流——虽然有很多沉默时刻，但在事情发生时反应极快且高效。
问题： 为了理解这种“喊叫”的数据流，我们使用一种特殊的 AI，叫做图神经网络（GCNN）。你可以把这个网络想象成一个巨大的连接网络。然而，这个“网络”需要大量的内部存储（内存）来记录这些连接。在小型、电池驱动的机器人上，这种存储空间是最大的瓶颈。这就像是当你只有一个装几本小册子的空间时，却试图背着整座图书馆。

解决方案：一种聪明的打包策略

作者们（Piotr, Kamil, 和 Tomasz）开发了一种新的方法，通过缩小这个 AI 大脑的大小，使其在不损失识别物体能力的前提下，能够装进背包。他们称之为**“硬件感知剪枝与量化（Hardware-Aware Pruning and Quantization）”**。

以下是他们是如何实现的，分为三个简单的步骤：

1. “剪枝”（去脂）

想象 AI 网络是一棵拥有数千个分支的树。有些分支很粗，承载着大量重要信息；而有些则是几乎不起作用的小细枝。

他们做了什么： 他们并没有随机砍掉分支。他们观察了特定的“背包”（FPGA 芯片）要装载的目标。他们意识到，这个背包有特定尺寸的架子（存储模块/Memory Blocks）。
诀窍： 他们以一种非常特定的模式修剪分支，使得剩下的树能完美地契合在架子上，不浪费任何空隙。这被称为结构化剪枝（Structured Pruning）。

2. “量化”（切换到更小的盒子）

通常，AI 使用非常大、非常重的盒子（高精度数字）来存储信息。

他们做了什么： 他们决定切换到更小、更轻的盒子（低精度数字，例如 6 位或 8 位，而不是 32 位）。
结果： 你可以在同样的体积内装入更多的信息，但这些盒子的精度会稍微降低。这就像是从用沉重的木箱储存物品，切换到使用轻便的纸箱。你节省了空间，但必须小心不要把它们弄坏。

3. “搜索”（寻找完美契合点）

最难的部分在于弄清楚哪些分支该剪掉，以及盒子应该有多小。这里面有数百万种可能的组合。

策略： 他们使用了两种聪明的搜索方法：
- 精细网格搜索 (Fine Grid Search, FG)： 就像看地图并检查每一个主要路口，以找到最佳的起始路线。
- 贪婪逐层递增法 (Greedy Layer-wise Iterative Deepening, GLID)： 就像一个徒步旅行者，走下一段路径，检查视野是否依然良好；如果良好，则继续迈出下一步；如果视野变得太差，则停止。这使他们能够找到那个“甜点”——即背包尽可能轻，同时 AI 依然足够聪明能胜任工作。

结果：背包更轻，大脑依旧聪明

他们在三个不同的“数据图书馆”（数据集）上测试了这种方法：

MNIST-DVS： 识别手写数字。
CIFAR-10： 识别日常物体，如汽车和飞机。
N-Caltech101： 识别更复杂的物体。

成果：

内存节省： 他们成功减少了内存使用量（具体指 BRAM 或块 RAM，即芯片的内部存储），降幅达 26.5% 至 31.4%。
精度代价： AI 变得稍微“笨”了一点，但幅度很小。准确率下降了约 1.65% 至 5.18%。
实战测试： 他们甚至在真实的芯片（ZCU104 平台）上构建了一个物理版本。它运行得非常完美，速度极快且没有错误，证明了这种“轻量化背包”策略在现实生活中是行之有效的。

核心总结

你可以把这篇论文看作是一位大师级的打包专家，他通过以下方式将一座庞大的图书馆装进了一个小背包：

剪掉不必要的书籍（剪枝）。
将精装硬壳书换成平装书（量化）。
使用一张聪明的地图，找到能完美契合架子的精确组合（搜索方法）。

其结果是一个更轻、更快的机器人大脑，非常适合无人机和移动机器人，同时不会丧失观察和理解世界的能力。

技术摘要：面向嵌入式事件视觉的硬件感知图神经网络剪枝

问题陈述

移动机器人和自主系统要求视觉传感器能够在动态环境中以高性能运行，同时严格遵守对延迟、吞吐量和能耗的限制。基于事件的相机（动态视觉传感器或 DVS）通过以微秒级分辨率异步捕捉场景变化，解决了这些需求，具有低延迟和高动态范围的特点。然而，在嵌入式平台上高效处理这种稀疏的时序数据仍然是一个重大挑战。

虽然脉冲神经网络（SNNs）保留了时间稀疏性，但它们往往面临准确率较低的问题，并且由于非确定性的内存访问模式，在非神经形态平台上进行硬件加速存在挑战。相反，图卷积神经网络（GCNNs）将事件视为图节点，提供了高准确率，并且非常适合硬件加速。然而，将 GCNNs 部署在资源受限的嵌入式异构 FPGA 平台上受到片上存储器（BlockRAM 和 UltraRAM）高利用率的阻碍，特别是用于存储层间特征图的部分。当由于延迟或能量约束而无法使用外部 DRAM 时，片上存储器成为了主要的瓶颈，限制了更大、更准确模型的部署。

方法论

作者提出了一种专门针对事件驱动型 FPGA 加速图卷积网络（EFGCN）架构的硬件感知优化策略。核心目标是最小化内部 FPGA 存储资源（特别是双端口 36kb BlockRAM 和 288kb UltraRAM）的利用率，同时保持高分类准确率。

该方法集成了两种主要技术：

结构化剪枝： 与非结构化剪枝不同，这种方法根据通道在权重矩阵中的位置移除整个通道（输出特征图）。通道的选择受限于目标 FPGA 存储块的数学特性。作者推导出了特定的有效通道数（ $C$ ）族，以确保在特定量化精度（ $q$ ）下能够充分利用 BRAM 和 URAM 块。这避免了内存碎片化并确保了高效的资源打包。
量化： 该方法降低了存储在内存中的特征向量和边缘信息的精度。通过降低位宽（ $q$ ），每个通道所需的内存宽度随之减少，从而允许在相同的内存足迹内实现减少总内存使用量或增加通道容量。

为了应对庞大的设计空间（超过 $7.8 \times 10^6$ 种可能的配置），作者采用了两阶段搜索程序：

细粒度搜索 (FG)： 从基准配置（最大通道数、8 位量化）开始，算法在各层和量化级别之间进行向下搜索。它根据帕累托前沿（Pareto frontier）评估配置，在分类质量与资源利用之间取得平衡，以识别一组有希望的解。
贪婪逐层递增搜索 (GLID)： 此阶段进一步精炼选定的配置。它逐层减少资源利用率，选择产生最佳质量得分且资源成本最低的修改（剪枝或量化步骤）。当准确率下降超过预设阈值时，过程终止。

在搜索之后，选定的模型会经过一个以低学习率进行的微调阶段，以恢复在压缩过程中损失的准确率。

核心贡献

论文声称其主要贡献如下：

首个硬件感知型事件 GCNN 策略： 作者提出了第一个专门针对事件视觉和图卷积神经网络的结合硬件感知剪枝与量化的方法。
灵活的架构适配： 所提方法能够根据目标嵌入式平台的特定资源约束和准确率要求，灵活选择最终的模型配置。
验证的性能： 该方法在多个数据集和网络配置上进行了评估，证明了在控制准确率下降的同时，显著降低了 BRAM 的使用量（26.5%–31.4%）。
硬件概念验证： 在 ZCU104 异构 FPGA 平台上开发并验证了一个硬件模块，证实了该剪枝策略在实际应用中的有效性。

实验结果

该方法在三个神经形态数据集上进行了评估：MNIST-DVS、CIFAR-10-DVS 和 N-Caltech101。实验使用了具有五个卷积层的基准 EFGCN 模型。

内存减少： 优化策略实现了 CIFAR-10 的 28.8% BRAM 减少（准确率下降 1.65%）、MNIST-DVS 的 31.4% BRAM 减少（准确率下降 3.55%）以及 N-Caltech101 的 26.5% BRAM 减少（准确率下降 5.18%）。
硬件实现： 在 ZCU104 平台上，针对 MNIST-DVS 的最终优化模型与基准相比，总 BRAM 使用量减少了 30.6%。此外，逻辑资源利用率（LUTs 和 Flip-Flops）分别减少了约 34% 和 29%。值得注意的是，由于综合工具将某些 6 位乘法映射到 DSP 块，导致 DSP 利用率增加了 54%，但整体内存节省仍是主要目标。
搜索效率： 两阶段搜索（先 FG 后 GLID）被证明能够有效地找到高质量配置，而无需进行穷举搜索整个设计空间，也无需使用复杂的进化算法（作者指出进化算法在他们的初步测试中未能收敛）。

意义与主张

本文将这项工作定位为实现高效自主移动机器人的关键一步。通过解决 FPGA 实现 GCNN 时固有的内存瓶颈，作者使得在不依赖外部内存的情况下，在嵌入式系统上部署复杂的事件视觉模型成为可能，因为外部内存会引入不可接受的延迟和功耗开销。

作者谦逊地将他们的贡献描述为针对这一特定领域（硬件感知型事件 GCNN 剪枝）的“首次探索”。他们强调，该方法允许在准确率和资源使用之间进行权衡，为系统设计者提供了一个根据特定硬件约束定制模型的工具。这项工作并不声称解决了事件视觉领域的所有挑战，而是专门针对 EFGCN 架构在嵌入式异构平台上的优化，为在无人机和其他移动机器人上部署高性能、低延迟视觉系统提供了一条切实可行的路径。