NAS-Driven Hardware Accelerator Exploration for Edge AI and Quantization Effects on the Pareto Space

想象一下，你正试图构建一个终极机器人大脑，但你面临一个严格的规则：它必须能装进像智能手表或无人机这样微小的、电池供电的小型设备中。这就是“边缘人工智能”（Edge AI）的世界——在这里，人工智能生活在小型设备上，而不是庞大且耗电的云端服务器中。为了实现这一目标，工程师们必须解决一个棘手的谜题：他们需要一个既足够聪明能识别面部或声音，又足够小巧且快速，能在不让电池在几分钟内耗尽的情况下运行的大脑。

为了找到完美的脑设计，科学家们使用了一种称为“神经架构搜索”（NAS）的方法。你可以把它想象成一位超级快速的自动化厨师，他尝试了数百万种不同的食谱（神经网络设计），以寻找一种味道最好（最高准确度）同时消耗最少食材（计算能力）的食谱。通常，这些厨师使用“全精度”食材，这就像是使用精确且沉重的计量单位。但对于微型设备，你必须切换到“量化”（Quantization），这就像是切换到更小、更轻的量杯（使用更少的比特来表示数字）。核心问题在于：如果你更换了量杯，在厨房里看起来完美的食谱，在路上跑起来时味道还会一样吗？这篇论文深入探讨了正是这个问题，研究了测量系统的变化如何影响对最佳机器人大脑的搜索，以及如何将这个大脑适配到一种特殊的、可重构的芯片上。

---

通往微型大脑的三阶段旅程

本文作者提出了一个巧妙的三步流水线方案，用以解决将 AI 适配到硬件的问题。他们称之为“先 NAS 后量化”（NAS-then-quantized）的方法，这有点像先在电脑上设计一辆车，然后测试它在颠簸土路上的表现，最后根据地形建造引擎。

第一阶段：硬件无关的前端
首先，团队使用了一个“代理模型”（surrogate model）——一个聪明的预测器，它可以在不实际构建设计的情况下猜测一个设计的优劣。他们在包含 15,625 种不同神经网络设计（来自名为 NAS-Bench-201 的数据集）的海量库上训练了这个预测器。这个阶段是“硬件无关”的，这意味着它暂时不关心具体的芯片；它只根据准确度和所需的数学运算量（FLOPs）来寻找最佳设计。他们使用了两种搜索策略：一种是简单的“随机搜索”（随机挑选设计），另一种是“多目标进化算法”（模仿自然选择来进化出更好的设计）。经过这一阶段，他们获得了一份包含十个顶级候选者的名单。

第二阶段：量化桥梁
接下来是现实检验。团队将这十个顶级候选者进行压缩，使用了名为“训练后量化”（PTQ）的技术，具体是将它们转换为 INT4（每个数字仅使用 4 位，而非通常的 32 位）。这就像是将一张高分辨率照片压缩，以便适配旧手机。他们使用了一个名为 Brevitas 的工具来进行此操作。

有趣的地方就在这里。当他们压缩模型时，一些在第一阶段看起来很棒的设计可能会失败或变得更差。这个“量化桥梁”起到了过滤器的作用。它根据设计在压缩过程中的生存能力进行重新排名。如果一个设计崩溃了，它就会被剔除。如果没有设计能够幸存，系统会返回第一阶段重新尝试。他们选择 INT4 是因为，虽然这种方式非常激进，但他们发现通过极少量的额外训练（仅两个 epoch），模型可以显著恢复其准确度，从低至 9.49% 跳升至 83.53%，这证明了原始模型的信息在很大程度上得到了保留。

第三阶段：硬件感知的后端
最后，幸存的设计需要一个家。团队将这些压缩后的“大脑”映射到一种被称为 CGRA（粗粒度可重构阵列）的特定硬件上。你可以把 CGRA 想象成一块乐高板，你可以重新排列积木以适应任何形状。他们使用进化算法来探索不同的硬件排列方式（改变处理单元的数量、存储深度和数据路径）。他们并不构建物理芯片；相反，他们使用一个“自由解析预言机”（free analytical oracle）——即一个数学模拟器——来预测每种排列方式的速度和效率。他们选择能使延迟最小化并使硬件资源利用率最大化的配置。

大惊喜：不要丢弃旧地图

这篇论文中最令人兴奋的发现不仅是这个三阶段流水线，而是关于“全精度”世界与“压缩”世界之间关系的认知。

通常，当你压缩一个模型时，你可能会认为需要从头开始搜索，专门为压缩后的（INT4）世界训练一个新的预测器。作者测试了这种想法。他们对比了两种方法：

1. 专用 INT4 代理模型： 专门针对压缩数据训练的预测器。
2. FP32 零样本代理模型： 在原始全精度数据上训练的预测器，然后直接用它来预测压缩模型的性能，而无需重新训练。

结果令人惊讶。在模拟中，FP32 零样本代理模型的表现实际上优于专用的 INT4 代理模型。当他们运行搜索策略时，FP32 预测器找到的设计涵盖了更广泛的最佳权衡范围（即“帕累托空间”/Pareto space）。

为什么会这样？作者认为，全精度数据更加“干净”，噪声更少。即使压缩后的世界有所不同，但衡量哪些设计“好”、哪些设计“坏”的排名逻辑却惊人地相似。论文指出，虽然设计的精确顺序发生了变化（大约 21% 的情况下，全精度下较好的设计在压缩后变得较差），但“优秀”设计的整体结构保持得足够稳定，以至于旧的地图（FP32 预测器）仍然是一个可靠的指南。

拼图的稳定性

团队不仅是凭直觉猜测，他们还测量了这种“混乱度”。他们观察了所有 15,625 个架构，以查看在切换到 INT4 时，“帕累托前沿”（即绝对最佳设计列表）发生了多大的偏移。

• 偏移： 顶级设计的列表完全重组了。在压缩后的世界里，没有任何一个原始的顶级设计能作为顶级设计幸存下来。
• 翻转： 大约有 21.73% 的情况下，两个设计之间的关系发生了翻转（设计 A 在全精度下优于设计 B，但在压缩后设计 B 变得比 A 更好）。
• 相关性： 尽管存在这种混乱，总体的排名相关性仍然处于中等水平（0.6655），这意味着优秀的设计的整体“形状”被保留了下来。

他们还发现，规模较小、较简单的模型（那些数学运算较少的模型）对压缩非常敏感，经常损失准确度。而较大、更复杂的模型则表现出惊人的鲁棒性，这可能是因为它们的结构自然地平滑了由较小数值引入的误差。

硬件结果

最后，他们将三个表现最好的幸存设计映射到了 CGRA 硬件上。他们发现，尽管设计各异，但它们最终都收敛到了完全相同的最优硬件配置：一个拥有 16 行 66 列处理单元以及特定存储深度的网格。这表明，对于这类任务，只要设计使用的构建模块相似，硬件的“甜点位”（sweet spot）是非常一致的。

结论

这篇论文表明，我们并不需要每次想缩小 AI 模型以适配微型设备时都去重新发明轮子。通过使用一个三阶段过程——在全精度下寻找最佳设计、通过压缩测试进行过滤、然后将其映射到灵活的硬件上——我们可以高效地找到准确度与尺寸之间的完美平衡。最重要的是，它表明我们可以信任我们的全精度搜索工具，让它们在压缩世界中也能提供引导，从而在将强大 AI 放入口袋的征途中节省时间和精力。