Performance Analysis of Edge and In-Sensor AI Processors: A Comparative Review

本文综述了超低功耗边缘与片上传感器 AI 处理器的演进现状，并通过在 GAP9、STM32N6 和 Sony IMX500 三种代表性平台上对 PicoSAM2 模型的实证基准测试，揭示了不同架构在延迟、能效及能量延迟积方面的性能权衡，突显了片上传感器处理技术的成熟度与重要性。

要点

这篇论文就像是一份**“微型智能大脑”的体检报告**。

想象一下，现在的智能手机和电脑就像住在“云端”的超级大脑，它们算力强大但离我们要远，而且每次思考都要消耗大量电力。而这篇论文关注的是边缘计算（Edge AI）——也就是把这种“大脑”直接装进我们的手表、摄像头、传感器甚至机器人里，让它们能就地思考，不用把数据传回云端。

但这有个大难题：这些设备通常由小电池供电，甚至靠太阳能，所以它们必须极度省电，同时还得跑得快。

为了搞清楚哪种“微型大脑”最厉害，作者们做了一场**“三强争霸赛”**。他们挑选了三种不同类型的处理器，让它们同时跑同一个复杂的任务（识别图像中的物体，就像给照片里的每个人画个圈），然后看看谁的表现最好。

🏆 参赛选手介绍

1. GAP9 (瑞士的“多核小蜜蜂”)

   • 特点：它像一群勤劳的小蜜蜂，有很多核心一起工作，但每个核心都很小、很省电。
   • 定位：适合那些电池特别小、需要长时间待机（比如几年不换电池）的设备。
   • 表现：它跑得不是最快的，但最省油。就像一辆混合动力小轿车，虽然极速不高，但每升油能跑很远。

2. STM32N6 (ARM 的“肌肉猛男”)

   • 特点：它有一个非常强壮的“肌肉”（高性能核心）和一个专门的“举重教练”（神经网络加速器）。
   • 定位：适合那些对速度要求极高，且不太在乎耗电量的设备（比如需要插电或有大电池的设备）。
   • 表现：它跑得最快，几秒钟就干完了活。但代价是它非常费电，就像一辆大排量跑车，加速猛但油耗惊人。

3. Sony IMX500 (索尼的“超级特种兵”)

   • 特点：这是最酷的一个。通常摄像头只负责“看”（拍照），然后传给大脑处理。但这个芯片直接把“大脑”装进了“眼睛”里。它在感光元件（像素）的背面直接处理数据。
   • 定位：专为极致效率设计，特别适合电池极小、需要瞬间反应的智能摄像头。
   • 表现：它是全能冠军！它不仅跑得很快（和猛男差不多），而且极度省电（比小蜜蜂还省）。因为它不需要把数据从“眼睛”搬运到“大脑”，省去了最耗能的传输过程。

📊 比赛结果（用大白话解释）

作者们用四个指标来打分：

• 速度（延迟）：谁先做完？
  • 猛男 (STM32N6) 第一，特种兵 (IMX500) 紧随其后，小蜜蜂 (GAP9) 最慢。
• 效率（每焦耳能量能做多少事）：谁最省油？
  • 特种兵 (IMX500) 遥遥领先，简直是“节能神话”。
  • 小蜜蜂 (GAP9) 也不错，适合长续航。
  • 猛男 (STM32N6) 最费油。
• 综合得分 (EDP)：既看速度又看油耗，谁最平衡？
  • 特种兵 (IMX500) 完胜！它证明了把计算能力直接塞进传感器里，是未来的大趋势。

💡 核心启示

这篇论文告诉我们一个重要的道理：没有一种“万能药”适合所有场景。

• 如果你要做一个需要跑几年不换电池的传感器，选GAP9这种多核小蜜蜂。
• 如果你要做一个插电的、需要瞬间反应的机器人，选STM32N6这种肌肉猛男。
• 但如果你想要既快又省电，特别是做智能摄像头，Sony IMX500 这种“眼脑合一”的**在传感器计算（In-Sensor Computing）**技术是目前的王者。

总结一下：
未来的智能设备，不再是把数据传回云端去处理，而是让设备自己“就地消化”。而索尼的 IMX500 展示了最完美的方向：让眼睛直接思考，既快又省电，彻底改变了我们设计智能设备的方式。

技术摘要

这是一份关于论文《Performance Analysis of Edge and In-Sensor AI Processors: A Comparative Review》（边缘与片上智能处理器性能分析：比较综述）的详细技术总结。

1. 研究背景与问题 (Problem)

随着人工智能（AI）从云端向边缘设备迁移，物联网（IoT）、可穿戴设备及自主微机器人等应用面临着严峻的能效与延迟挑战。

• 核心矛盾：深度学习模型（DNN）的计算需求增长速度远超工艺技术的提升速度，而边缘设备通常受限于严格的功耗预算（通常低于 200 mW）和散热条件。
• 现有瓶颈：传统的微控制器（MCU，如 Cortex-M4/M33）已无法满足持续的设备端推理需求。虽然出现了各种专用架构（如神经加速器、存内计算、片上智能），但缺乏统一的基准测试来量化不同架构（MCU、专用加速器、片上智能）在实际负载下的性能权衡。
• 具体痛点：不同的硬件在延迟、能效、计算利用率及能量 - 延迟积（EDP）之间存在巨大差异，系统设计师难以根据具体应用场景（如电池供电 vs. 低延迟优先）做出最优选择。

2. 研究方法 (Methodology)

本文采用综述与实证基准测试相结合的方法：

• 架构分类综述：将超低功耗边缘处理器分为几类进行梳理，包括：
  • 带 ML 扩展的 MCU（如 Ambiq, STM32U5/H5）。
  • 带专用 ML 加速器的 MCU（如 GAP9, STM32N6, Kendryte K230）。
  • 可重构逻辑/FPGA。
  • 神经形态处理器（如 Loihi, TrueNorth）。
  • 存内计算（PIM/CIM）与片上智能（In-Sensor Computing）（如 Sony IMX500）。
• 统一基准测试：为了提供实证数据，作者在三个具有代表性的异构平台上运行了相同的轻量级分割模型 PicoSAM2（3.36 亿次乘加运算，MAC）：
  1. GAP9：基于多核 RISC-V 架构，配备硬件加速器（代表 MCU 类多核 SoC）。
  2. STM32N6：基于 ARM Cortex-M55 核心 + Ethos-U55 神经架构加速器（代表嵌入式神经加速器）。
  3. Sony IMX500：基于堆叠式 CMOS 技术的片上智能处理器（代表 In-Sensor 架构）。
• 评估指标：采用四个硬件级指标进行量化评估：
  • 推理延迟 (Latency)：单次前向传播的时间。
  • 推理效率 (Inference Efficiency)：每周期乘加运算数 (MAC/cycle)，反映硬件利用率。
  • 能效 (Energy Efficiency)：每焦耳能量完成的乘加运算数 (MAC/J)。
  • 能量 - 延迟积 (EDP)：综合衡量能耗与响应速度的指标。

3. 主要贡献 (Key Contributions)

• 全面的架构分类：系统性地梳理了从传统 MCU 到新兴的存内计算和片上智能处理器的技术图谱，明确了各自的设计权衡（如时钟频率 vs. 功耗，本地内存 vs. 数据搬运）。
• 跨架构的公平基准测试：首次在同一模型（PicoSAM2，一种对内存带宽和计算密度要求较高的分割任务）下，对比了 MCU 类、专用加速器类和片上智能类三种截然不同的硬件范式。
• 揭示设计权衡：通过数据量化了不同架构在“速度”、“能效”和“平衡性”上的具体表现，为系统设计师提供了清晰的选型指南。

4. 实验结果 (Results)

基准测试结果显示，三种架构表现出截然不同的行为特征：

指标	GAP9 (RISC-V 多核)	STM32N6 (ARM + NPU)	Sony IMX500 (片上智能)
推理延迟	42.13 ms (最高)	13.71 ms (最低)	14.3 ms
推理效率 (MAC/cycle)	20.77	29.52	86.24 (最高)
能效 (MAC/J)	182.15 (MCU 类最佳)	21.47	1359.65 (整体最佳)
能量 - 延迟积 (EDP)	74.88 mJ·s	206.76 mJ·s	3.4 mJ·s (最低/最优)
功耗特征	极低功耗，适合电池供电	高功耗 (0.8-1.2W)，追求速度	极低功耗，数据搬运极少

• Sony IMX500 (片上智能)：表现出压倒性优势。尽管其 DSP 频率 (262.5 MHz) 远低于 STM32N6 (800 MHz)，但凭借紧耦合的传感器-DSP 架构，实现了最高的计算利用率 (86.2 MAC/cycle) 和能效 (1359.6 MAC/J)。其 EDP 仅为 3.4 mJ·s，表明其在实时移动传感场景中具有极高的平衡性。
• STM32N6：凭借高时钟频率提供了最低的原始延迟 (13.7 ms)，但代价是极高的能耗，导致其 EDP 最高，能效最低。
• GAP9：在 MCU 类功耗预算下提供了最具竞争力的能效 (182.15 MAC/J)，但受限于时钟频率，延迟较高。

5. 研究意义 (Significance)

• 验证了片上智能的成熟度：实验数据有力地证明了 In-Sensor Computing（片上智能）技术已具备高度的成熟度，能够通过消除高带宽视频传输和减少数据搬运，在能效和延迟之间取得最佳平衡，是未来超低功耗边缘 AI 的重要发展方向。
• 指导系统设计：研究指出不存在“万能”的解决方案。
  • 若延迟是首要任务且功耗不敏感，STM32N6 类架构是首选。
  • 若电池寿命是关键且对延迟要求适中，GAP9 类 MCU 架构更具优势。
  • 若追求极致的能效与延迟平衡（如始终在线的感知应用），片上智能（IMX500）架构展现了巨大的潜力。
• 推动行业标准化：通过引入针对分割任务（对内存带宽压力大的负载）的基准测试，揭示了单纯依靠 TOPS 或 TOPS/W 等峰值指标无法反映真实瓶颈（如存储层级限制、数据流约束），呼吁行业采用更全面的评估体系。

总结：该论文通过严谨的对比分析，阐明了边缘 AI 处理器设计的核心权衡，并特别强调了**片上智能（In-Sensor Computing）**在解决“内存墙”和“功耗墙”问题上的关键作用，为下一代超低功耗智能设备的架构选型提供了重要的理论依据和实践参考。