CARMEN: CORDIC-Accelerated Resource-Efficient Multi-Precision Inference Engine for Deep Learning
本文介绍了 CARMEN，这是一种资源高效的深度学习推理引擎，它利用运行时自适应的基于 CORDIC 的架构动态调整计算精度，在 ASIC 和 FPGA 平台上均能实现高性能，同时显著降低功耗和周期数。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在经营一个繁忙的厨房，主要工作是将各种食材（数字）混合（相乘和相加）以制作成千上万道菜肴。在人工智能（AI）的世界里，这种“混合”被称为MAC 运算，它占据了厨师大约 90% 的时间。其余的 10% 涉及添加少许装饰或特定的风味调整（称为激活函数），比如撒一点盐或挤一点柠檬汁。
当前大多数 AI“厨房”（芯片）的问题在于，它们被建造成工厂流水线。它们拥有一台巨大且昂贵的机器专门用于混合，以及另一台同样昂贵的机器专门用于装饰。但由于装饰工作发生得如此稀少，第二台机器有 84% 的时间处于闲置状态，浪费了空间和电力。
CARMEN 登场：智能、可适应的厨房助手
印度理工学院（IIT Indore）和巴伊兰大学（Bar-Ilan University）的研究人员构建了一种名为CARMEN的新引擎。你可以将其视为 AI 芯片的“瑞士军刀”，它能根据手头任务的变化而切换工具。以下是其工作原理，使用简单的类比说明：
1. “可调节深度”混合机（CORDIC MAC）
大多数机器以固定的精度水平混合食材。即使你只需要一个粗略的估算，它们仍然使用完整、缓慢的高精度流程。
- 创新之处：CARMEN 使用了一种名为CORDIC的技术。想象一位厨师可以选择搅拌锅的次数。
- 快速模式：对于简单任务（如粗略估算），厨师只需搅拌几次。这速度快且能耗极低，但精度可能略低。
- 慢速模式：对于关键任务（菜肴必须完美），厨师会搅拌很多次。这需要更长时间，但精度极高。
- 优势：厨师不需要两台不同的机器。他们只需转动旋钮，即可即时改变“搅拌深度”。这节省了高达33% 的时间和21% 的功耗，因为机器不会为简单任务而过度工作。
2. “一锅式”装饰站（多激活块）
CARMEN 没有为每种装饰类型（一种用于盐，一种用于柠檬，一种用于胡椒）配备单独的昂贵机器，而是拥有一个多功能站。
- 创新之处：它使用时间复用技术。这就像一位厨师快速切换任务：他们先加盐，然后立即切换去挤柠檬，接着是胡椒，所有操作都使用同一双手和工具。
- 优势：由于装饰工作很罕见（仅占工作量的 2-5%），这种“切换”不会拖慢厨房的进度。然而，它节省了巨大的空间和资金，因为你不需要为每一种风味单独建造机器。该设计支持七种不同的“风味”（如 ReLU、Softmax 等功能），同时几乎不占用额外空间。
3. 结果：更智能、更精简的厨房
研究人员通过两种方式测试了这种新引擎：
- 蓝图（ASIC）：他们使用非常先进的制造工艺（28 纳米）设计了芯片。结果是一个微小、超高效的引擎。将 256 个这样的“混合站”紧凑地集成在一个小空间内的版本极其强大，在提供高速的同时仅消耗极少的电池电量。
- 原型（FPGA）：他们在开发板（Pynq-Z2）上构建了一个工作模型。当他们要求它识别视频中的物体（如实时发现猫或汽车）时，它在154.6 毫秒内完成了任务，同时仅消耗0.43 瓦的功率。
为什么这很重要
以前的 AI 芯片就像为过程的每一步都建造一个单独的昂贵工厂，即使该步骤很少被使用。CARMEN 则像一个智能、可适应的工作间，其中的工具会根据工作改变其行为。
- 它通过共享资源节省了空间（面积）。
- 它通过不为简单任务过度工作而节省了电池（功耗）。
- 它通过允许系统为计算的每个特定部分选择所需的精度，保持了质量（准确性）的高水准。
简而言之，CARMEN 使 AI 芯片更小、更便宜、寿命更长，非常适合在手机或无人机等小型设备上运行智能应用程序，而无需庞大的发电厂。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。