Retrospective: A CORDIC Based Configurable Activation Function for NN Applications

这是一篇关于基于 CORDIC（坐标旋转数字计算）的可配置激活函数（Activation Function, AF）设计的回顾性技术论文总结。该论文回顾了该领域的演进，并提出了名为 DA-VINCI 的新型激活函数核心及 NEURIC 神经元引擎，旨在解决 AI 加速器中非线性激活函数带来的硬件瓶颈问题。

以下是详细的技术总结：

1. 研究背景与问题 (Problem)

• AI 硬件瓶颈转移： 随着深度学习模型（DNN, RNN, LSTM, Transformers, ViTs 等）的快速发展，硬件优化的重点已从传统的矩阵乘法（GEMM/MAC）转向了非线性激活函数（AF）。AF 已成为执行复杂模型时的主要瓶颈。
• 现有方案的局限性：
  • 查找表 (LUT) 方法： 存储值或参数，但在高精度下存储开销大、延迟高，且难以扩展精度。
  • 分段线性 (PWL) 与泰勒级数： 存在插值误差、量化误差和步长伪影，影响模型精度。
  • 专用硬件不足： 商业芯片（如 Google TPUv4）中，用于非线性函数的面积占比极低（<2%），但功能需求复杂，缺乏高效的可重构硬件实现。
  • 灵活性缺失： 许多现有设计仅支持特定函数（如仅 Sigmoid/Tanh），难以适应从 DNN 到 Transformer 等不断演变的 AI 工作负载需求。

2. 方法论 (Methodology)

论文提出了一种基于 Shift-and-Add CORDIC 技术的动态可配置架构，核心包括 DA-VINCI 激活函数核和 NEURIC 神经元引擎。

• DA-VINCI 核心架构：
  • 统一算法： 利用 CORDIC 算法的统一性，通过旋转（Rotational）和向量（Vector）模式，结合线性、圆形和双曲坐标，在一个硬件单元中实现多种函数。
  • 支持的函数： 运行时可重构支持 Swish, SoftMax, SELU, GELU, Sigmoid, Tanh, ReLU。
  • 硬件优化：
    • 采用 HOAA (High-Order Adder Array) 启用的 CORDIC 架构，节省 21% 面积并降低 33% 功耗。
    • 通过多路复用器（MUX）、缓冲区和 FIFO 管理不同函数的数据流（例如 SoftMax 需要 FIFO，GELU 需要额外乘法器）。
    • 支持 8-bit 和 16-bit 定点（FxP）精度，并在 [−1, 1] 范围内进行归一化计算以确保收敛。
• NEURIC 神经元引擎：
  • 基于 DA-VINCI 构建的可重构 MAC（乘加）+ AF 单元。
  • 支持 SIMD（单指令多数据） 架构，可配置为迭代或流水线执行策略。
  • 设计用于构建轻量级、层复用（Layer-multiplexed）的 AI 向量引擎，适用于资源受限的边缘设备。

3. 主要贡献 (Key Contributions)

1. DA-VINCI 可编程 AF 核心： 提出了一个几乎无额外开销的可编程核心，支持在运行时动态切换多种主流激活函数，解决了传统专用硬件灵活性差的问题。
2. NEURIC 神经元引擎： 设计了基于可重构迭代 CORDIC 核心的神经元引擎，集成了 8/16-bit 精度的 MAC 和 AF 单元，作为构建高效 AI 加速器的基础模块。
3. 实证评估与优化： 通过 FPGA 和 ASIC 验证，证明了该设计在多种 AI 工作负载（DNN, RNN, Transformer）下的有效性，实现了 98.5% 的结果质量 (QoR)。
4. 资源效率提升： 相比现有的最先进（SoTA）设计，显著降低了 LUT、触发器（FF）的使用量，并大幅减少了延迟和功耗。

4. 实验结果 (Results)

论文在 FPGA（Zybo, Virtex-7）和 ASIC（28nm/45nm 工艺）上进行了广泛评估：

• 资源利用率 (FPGA)：
  • 相比 SoTA 设计（如 ReAFM, AFB），LUT 资源减少了 4.5 倍，触发器减少了 3.2 倍。
  • 关键路径延迟降低了 30%。
  • 功耗降低了 4.2 倍至 5.4 倍。
• ASIC 性能：
  • 在 28nm 工艺下，相比 SoTA 设计，面积减少了 16.2 倍，功耗降低了 2.1 倍。
  • 相比 RECON 设计，面积减少 11.5 倍，功耗减少 17.3 倍。
• 精度与误差：
  • 平均误差（Mean Error）和平均绝对误差（MAE）显著低于其他近似方法（如 PWL 或 LUT）。
  • 在 VGG-16、ResNet-50、MobileViT 等模型上，保持了 98.5% 的模型精度（QoR）。
• 向量引擎性能：
  • 在 64 个 NEURIC 单元组成的向量引擎中，实现了 52.3 GOPS 的吞吐量，推理延迟为 148ms。
  • 在 Transformer 应用中，能量效率比 TRETA 提升 2.5 倍，比 SIGMA 提升 17.54 倍。

5. 意义与影响 (Significance)

• 通用性与适应性： DA-VINCI 打破了传统 AF 硬件只能处理单一函数的限制，能够灵活适应从传统 DNN 到现代 Transformer 架构的多样化需求。
• 边缘 AI 赋能： 通过极低的面积和功耗开销，使得在资源受限的边缘设备（如 IoT 节点、移动设备）上部署高性能、高精度的 AI 模型成为可能。
• 商业价值： 该设计已被证明可集成到 ASIC 和 FPGA IP 中，为未来的 AI 加速器（特别是针对 DNN、RNN/LSTM 和 Transformer 的加速器）提供了高效的硬件基础。
• 技术趋势引领： 验证了基于 CORDIC 的“移位 - 加法”架构在替代传统 LUT 和复杂乘法器方面的优越性，为未来低功耗、高能效的 AI 硬件设计指明了方向。

总结： 该论文不仅回顾了 CORDIC 在激活函数设计中的发展历程，更通过 DA-VINCI 和 NEURIC 提出了一种高效、可重构且高精度的硬件解决方案，显著解决了 AI 加速器中非线性计算部分的资源与性能瓶颈，为下一代 AI 硬件加速器的设计奠定了坚实基础。