CORVET: A CORDIC-Powered, Resource-Frugal Mixed-Precision Vector Processing Engine for High-Throughput AIoT applications

本文提出了一种名为 CORVET 的基于 CORDIC 算法的混合精度向量处理引擎，该引擎通过运行时自适应配置、时分复用执行及灵活精度缩放，在资源受限的边缘 AIoT 应用中实现了高吞吐、低功耗及高能效的推理加速。

要点

这篇论文介绍了一种名为 CORVET 的新型芯片设计，它的目标是让人工智能（AI）在像无人机、智能手表或家用机器人这样的小型设备（边缘设备）上跑得更快、更省电。

为了让你更容易理解，我们可以把现有的 AI 芯片比作一个繁忙的厨房，而这篇论文提出的 CORVET 则是一个超级聪明的“全能主厨”团队。

以下是用通俗语言和比喻对这篇论文的解读：

1. 核心痛点：厨房里的“死工资”与“资源浪费”

在传统的 AI 芯片（厨房）里，有两个主要问题：

• 死板的流水线：以前的芯片就像一条固定的流水线，不管你是切菜（简单的计算）还是炖汤（复杂的计算），都只能用同样的时间和精力。如果任务简单，它还在死板地走全套流程，浪费电；如果任务复杂，它又不够快。
• 闲置的“专家”：厨房里有很多专门负责“调味”（激活函数，比如让数据变得更有意义的数学运算）的专家厨师。但在大部分时间里，他们都在闲着（论文提到有高达 84% 的时间在发呆），因为他们只负责这一件事，其他时候没活干。这就像你雇了一个米其林大厨只让他切洋葱，太浪费了。

2. CORVET 的解决方案：灵活的“瑞士军刀”与“共享厨房”

CORVET 芯片通过三个聪明的策略解决了上述问题：

A. 动态调整的“智能计算器” (CORDIC 技术)

• 比喻：想象你在做数学题。有些题目很简单（比如 $1+1$），你不需要用计算器，心算一下就行（近似模式）；有些题目很难（比如开根号），你必须拿出计算器仔细算（精确模式）。
• 做法：CORVET 里的核心计算单元（MAC）就像一把可调节的瑞士军刀。
  • 当 AI 处理不重要的数据时，它自动切换到“心算模式”，速度极快，非常省电，虽然有一点点误差，但对结果影响不大。
  • 当遇到关键数据时，它立刻切换到“计算器模式”，算得精准无误。
  • 好处：不需要为了“精准”而一直用“计算器”，也不需要为了“速度”而牺牲所有精度。它可以根据任务的难易程度，实时在“快”和“准”之间切换。

B. 时间共享的“全能主厨” (时间复用技术)

• 比喻：以前的厨房，切菜、炒菜、调味都有专门的厨师，哪怕没人切菜，切菜师傅也得占着位置。
• 做法：CORVET 把“调味”的工作交给了一个时间共享的全能主厨。
  • 这个主厨非常灵活，一会儿帮 A 厨师做 Sigmoid 函数，一会儿帮 B 厨师做 Tanh 函数。
  • 通过时间分割（Time-multiplexing），同一个硬件资源可以干所有种类的活。
  • 好处：以前那些闲置的“专家厨师”现在忙得不可开交，硬件利用率从以前的很低提升到了 86% 以上。这意味着芯片面积更小，更省电，而且没有“黑暗硅”（Dark Silicon，指芯片上因为设计不合理而闲置浪费的部分）。

C. 并行作战的“流水线” (向量处理)

• 比喻：虽然“心算模式”比“计算器模式”慢一点点（因为它是循环计算的），但 CORVET 派出了256 个这样的主厨同时工作。
• 做法：就像 256 个人同时切菜，哪怕每个人切得慢一点，总量也很快。
• 好处：通过并行处理，它弥补了单个计算单元因为“循环计算”带来的速度损失，实现了极高的吞吐量（处理速度）。

3. 实际效果：快、省、强

论文通过实验证明了这个设计有多牛：

• 省电：在同样的硬件资源下，它的处理速度提升了 4 倍。每个计算步骤能节省 21% 的电力。
• 高效：它的“能量效率”（每瓦特电力能完成多少计算）达到了 11.67 TOPS/W，比很多现有的顶级芯片都要好。
• 真实场景：作者把它放在了一块叫 Pynq-Z2 的开发板上，用来做物体识别（比如让无人机识别路上的行人）。结果发现，它比传统的 NVIDIA Jetson Nano 或树莓派更快且更省电。

4. 总结：为什么这很重要？

想象一下，未来的无人机不需要背着巨大的电池，或者智能眼镜不会发烫，因为它们内部的 AI 芯片像 CORVET 一样聪明：

• 不浪费：简单的活快做，复杂的活精做。
• 不闲置：所有硬件资源都在高效运转。
• 适应性强：不管是识别猫狗，还是理解复杂的语言，它都能灵活调整。

一句话总结：
CORVET 就像给边缘 AI 设备装上了一套**“会看人下菜碟”的超级智能系统**，它不再死板地执行任务，而是根据任务的轻重缓急，灵活地在“极速模式”和“精准模式”之间切换，并让所有硬件资源物尽其用，从而实现了又快、又准、又省电的 AI 计算。

技术摘要

CORVET 论文技术总结

论文标题：CORVET: A CORDIC-Powered, Resource-Frugal Mixed-Precision Vector Processing Engine for High-Throughput AIoT applications
中文译名：CORVET：一种面向高吞吐量 AIoT 应用的 CORDIC 驱动、资源节约型混合精度向量处理引擎

1. 研究背景与问题 (Problem)

随着深度学习在物联网（IoT）边缘设备上的广泛应用，资源受限的硬件平台面临着严峻的能效、面积和延迟挑战。现有的深度学习加速器设计存在以下主要问题：

• 计算密集型与激活函数资源浪费的失衡：虽然卷积和全连接层中的乘加（MAC）操作占据了总计算的 90%，但非线性激活函数（NAFs）仅占 2-5%。然而，现有加速器往往为激活函数分配专用硬件块，导致这些单元在大部分执行周期内处于闲置状态（暗硅现象），造成巨大的面积和功耗浪费。
• 缺乏运行时灵活性：传统的近似计算设计（如固定精度的 CORDIC 或截断 MAC）通常在静态设计点运行，无法根据网络层对数值误差的敏感度动态调整精度。这导致要么牺牲精度，要么需要额外的误差补偿逻辑，从而抵消了能效优势。
• 资源效率与吞吐量的矛盾：为了追求高吞吐量，许多设计采用深度流水线或全并行架构，导致硬件资源消耗巨大，难以在边缘设备上部署。

2. 方法论 (Methodology)

本文提出了一种名为 CORVET 的运行时自适应向量处理引擎，旨在通过以下核心架构创新解决上述问题：

2.1 基于迭代 CORDIC 的 MAC 单元

• 核心机制：采用基于 CORDIC（坐标旋转数字计算）算法的迭代 MAC 单元。CORDIC 仅需移位、加减和复用操作，无需复杂的乘法器。
• 运行时自适应：通过控制每个 MAC 单元内的迭代次数，实现精度与延迟的动态权衡。
  • 近似模式：减少迭代次数（如 8-bit 操作仅需 4 个周期），牺牲少量精度（约 2%）以换取低延迟和低功耗。
  • 精确模式：增加迭代次数（如 8-bit 操作需 5 个周期），将精度损失控制在 0.5% 以内。
• 优势：无需修改硬件结构或添加辅助校正逻辑即可在两种模式间无缝切换，支持 4/8/16 位混合精度。

2.2 时间复用的多激活函数模块 (Time-Multiplexed Multi-AF)

• 资源共享：针对激活函数利用率低的问题，设计了一个共享的、时间复用的多激活函数（Multi-AF）块。
• 功能支持：利用 CORDIC 资源支持 Sigmoid、Tanh、SoftMax、GELU、Swish、ReLU 和 SELU 等多种非线性函数。
• 效率提升：通过时间复用而非专用硬件，将硬件利用率提升至 72%-86%，同时仅增加不到 4% 的面积和功耗开销，显著减少了暗硅。

2.3 向量引擎架构与数据流

• 并行执行模型：采用基于处理单元（PE）的向量执行模型（64 到 256 个 PE）。虽然单个 MAC 是迭代的（多周期），但通过多个 PE 并行处理独立数据，掩盖了延迟，实现了高吞吐量。
• 控制引擎：包含轻量级控制逻辑，支持层级的精度配置、指令调度和数据同步。支持层复用（Layer-reused）架构，优化数据流。
• 辅助单元：集成了绝对平均偏差（AAD）池化单元和归一化单元，进一步减少中间存储和外部内存带宽压力。

3. 主要贡献 (Key Contributions)

1. 低资源迭代 CORDIC MAC 单元：提出了具有运行时可配置精度 - 延迟权衡的 MAC 设计，支持近似和精确执行模式，无需结构修改。
2. 可扩展向量引擎架构：通过并行化摊销迭代 MAC 的延迟，在不增加过多面积开销的情况下实现了 4 倍的吞吐量提升。
3. 高利用率时间复用 Multi-AF 块：设计了一个支持多种非线性函数的高效共享模块，显著解决了激活函数硬件利用率低的问题。
4. 全面的软硬件协同设计评估：涵盖了从软件仿真、FPGA 原型验证到 28nm ASIC 综合的全流程评估，并在 Pynq-Z2 平台上针对目标检测和分类任务进行了系统级验证。

4. 实验结果 (Results)

4.1 硬件效率 (ASIC 28nm, 0.9V)

• MAC 单元：与现有 CORDIC 设计相比，每个 MAC 阶段的关键路径延迟减少了 33%，功耗降低了 21%。
• 激活函数模块：在支持多种激活函数的情况下，面积和功耗开销增加不到 4%，硬件利用率高达 86%。
• 计算密度与能效：
  • 在 256-PE 配置下，实现了 4.83 TOPS/mm² 的计算密度。
  • 能效达到 11.67 TOPS/W，优于大多数最先进的（SoTA）加速器设计。

4.2 精度与性能权衡

• 精度损失：在近似模式下，应用级精度损失约为 2%；在精确模式下，损失小于 0.5%。通过基于敏感度启发式的迭代深度选择，可以在保持模型整体精度的同时最大化近似执行带来的收益。
• FPGA 验证 (Virtex-707)：在 85.4 MHz 下，功耗仅为 0.53W，能效达到 6.43 GOPS/W，且未使用任何 DSP 块。

4.3 系统级部署 (Pynq-Z2)

• 任务表现：在 VGG-16 模型的目标检测和分类任务中，端到端延迟为 84.6 ms，功耗为 0.43 W。
• 对比优势：相比 NVIDIA Jetson Nano、Raspberry Pi 以及之前的 FPGA 加速器（如 Flex-PE, TVLSI'25 等），CORVET 在延迟和功耗上均表现出显著优势（例如，比 Jetson Nano 延迟更低，功耗更小）。

5. 意义与影响 (Significance)

• 填补了近似与精确计算之间的空白：CORVET 提供了一种灵活的架构，允许在边缘设备上根据具体应用场景动态调整精度，打破了传统固定精度设计的局限。
• 解决“暗硅”问题：通过时间复用的多激活函数设计，有效解决了深度学习加速器中激活函数硬件资源浪费的长期痛点，显著提升了芯片的整体能效。
• 边缘 AI 的理想选择：该设计在资源受限的边缘平台上实现了高吞吐量和低功耗，为部署复杂的深度学习模型（如 CNN 和 Transformer）提供了可扩展、能量高效的解决方案。
• 未来方向：该工作为编译器辅助的自动精度选择、物理设计优化以及向 RISC-V 架构的集成奠定了基础，推动了下一代边缘 AI 系统的发展。

总结：CORVET 通过创新的迭代 CORDIC 架构和时间复用策略，成功在资源受限的边缘设备上实现了高性能、高能效且灵活的深度学习推理，是面向 AIoT 应用的重要技术突破。