Performance Analysis of Edge and In-Sensor AI Processors: A Comparative Review

이 논문은 GAP9, STM32N6, Sony IMX500 등 상용 및 연구용 엣지 및 인-센서 AI 프로세서 아키텍처를 비교 검토하고, PicoSAM2 모델을 통한 벤치마크를 통해 지연 시간, 에너지 효율성 및 에너지 - 지연 곱 측면에서 각 플랫폼의 성능과 트레이드오프를 분석합니다.

핵심

이 논문은 **"에지 AI(Edge AI)"**라는 기술의 최신 트렌드를 분석하고, 세 가지 서로 다른 방식의 '작은 두뇌'를 비교 실험한 연구 결과입니다.

쉽게 말해, **"클라우드(거대한 서버) 에 의존하지 않고, 스마트폰이나 카메라 같은 작은 기기 자체에서 인공지능을 빠르게, 그리고 전기를 아껴서 돌리는 방법"**을 연구한 것입니다.

이 복잡한 내용을 일상적인 비유로 풀어서 설명해 드릴게요.

---

1. 배경: 왜 '작은 두뇌'가 필요한가요?

과거에는 우리가 찍은 사진을 분석하거나 소리를 인식하려면, 그 데이터를 인터넷을 통해 거대한 서버 (클라우드) 로 보내고 답을 받아와야 했습니다. 하지만 이 방식은 전기를 많이 쓰고, 시간이 걸리며, 개인정보가 유출될 위험이 있습니다.

그래서 등장한 것이 **'에지 AI'**입니다. 마치 집에 있는 작은 로봇 청소기가 스스로 길을 찾고 장애물을 피하듯, 기기 자체가 바로 판단하는 기술입니다. 하지만 문제는 이 작은 기기들은 배터리로 작동하고 열이 나면 고장이 날 수 있다는 점입니다. 그래서 "전기는 적게 쓰면서, 얼마나 똑똑하게 일할 수 있을까?"가 핵심 질문이 되었습니다.

2. 실험: 세 명의 '선수'가 맞붙다

저자들은 이 문제를 해결하기 위해 세 가지 서로 다른 설계 철학을 가진 프로세서 (AI 두뇌) 를 선정하고, 같은 미션 (이미지 속 물체 찾기) 을 시켰습니다.

• 선수 A (STM32N6): "빠른 스프린터"

  • 특징: ARM 코어를 기반으로 하며, 전용 AI 가속기가 달려 있습니다.
  • 비유: 마라톤 선수가 아니라 100m 단거리 선수입니다. 매우 빠르게 달릴 수 있지만, 그 속도를 내기 위해 **많은 에너지 (전기)**를 소모합니다.
  • 결과: 가장 빠른 속도 (낮은 지연 시간) 를 보였지만, 전기를 많이 먹어 배터리 수명이 짧아질 수 있습니다.

• 선수 B (GAP9): "효율적인 장거리 주자"

  • 특징: RISC-V 아키텍처를 사용하며, 여러 개의 작은 코어들이 협력합니다.
  • 비유: 에너지 절약형 하이브리드 자동차나 장거리 마라토너입니다. 속도는 단거리 선수보다는 느리지만, 적은 연료 (전기) 로 오랫동안 달릴 수 있습니다.
  • 결과: 전기를 아끼는 데는 가장 훌륭했습니다. 배터리가 작은 IoT 기기나 드론에 적합합니다.

• 선수 C (Sony IMX500): "눈과 뇌가 하나로 합쳐진 천재"

  • 특징: 카메라 센서 (눈) 와 AI 프로세서 (뇌) 를 3D 적층 기술로 하나로 만든 '센서 내장 AI'입니다.
  • 비유: 눈으로 본 것을 뇌가 바로 처리하는 사람입니다. 보통은 눈 (센서) 이 본 정보를 뇌 (프로세서) 로 보내려면 긴 통로 (데이터 전송) 를 거쳐야 하는데, 이 선수는 눈과 뇌가 붙어 있어 정보를 옮기는 수고가 전혀 없습니다.
  • 결과: 압도적인 효율을 보였습니다. 전기를 거의 쓰지 않으면서도, 데이터를 옮기는 시간도 없어서 매우 빠르고 정확했습니다.

3. 실험 내용: 어떤 미션을 주었나요?

세 선수에게 **'PicoSAM2'**라는 모델을 사용해서 **336 만 번의 복잡한 계산 (이미지 분할 작업)**을 시켰습니다.
이는 마치 복잡한 그림에서 사람, 자동차, 나무 등을 각각의 색으로 칠해 구분하는 작업과 같습니다. 이 작업은 메모리를 많이 쓰고 데이터 이동이 많아, 작은 기기들에게는 매우 힘든 '스트레스 테스트'입니다.

4. 실험 결과: 누가 이겼을까?

• 가장 빠른 속도 (Latency): STM32N6이 13.7 초로 가장 빨랐습니다. (하지만 전기를 많이 먹음)
• 가장 전기를 아낀 효율 (Energy Efficiency): Sony IMX500이 압도적으로 이겼습니다. 같은 작업을 할 때 가장 적은 전기로 가장 많은 계산을 해냈습니다.
• 종합 점수 (에너지와 속도의 균형): Sony IMX500이 가장 완벽한 성적을 냈습니다. 전기도 적게 쓰고, 속도도 빠르며, 전체적인 효율이 가장 좋았습니다.

5. 결론: 앞으로의 방향은?

이 논문의 핵심 메시지는 **"하나의 정답은 없다"**는 것입니다.

• 속도가 생명인 경우 (예: 자율주행차의 긴급 제동): 전력 소모가 좀 많아도 STM32N6 같은 빠른 프로세서가 좋습니다.
• 배터리가 작은 경우 (예: 1 년 이상 배터리로 돌아가는 센서): GAP9 같은 효율적인 프로세서가 좋습니다.
• 가장 이상적인 미래: Sony IMX500처럼 센서와 AI 가 하나로 통합된 기술이 가장 효율적이고 미래지향적입니다. 데이터를 옮기는 수고를 없애버렸기 때문에, 전기도 아끼고 속도도 빠르기 때문입니다.

한 줄 요약:

"앞으로의 AI 기기는 거대한 서버에 의존하지 않고, **카메라 눈과 뇌가 하나로 합쳐져 전기를 아끼면서도 똑똑하게 일하는 '초소형 천재'**로 진화하고 있습니다."

기술 요약

1. 문제 정의 (Problem)

• 에지 AI 의 한계: 클라우드 서버에서 장치 (Edge) 로의 컴퓨팅 이동이 가속화되고 있으나, 배터리 수명, 열 방출, 폼 팩터 제약으로 인해 대부분의 에지 시스템은 약 200mW 이하의 전력 예산 내에서 운영되어야 합니다.
• 기존 아키텍처의 부적합: 기존의 범용 마이크로컨트롤러 (MCU, 예: ARM Cortex-M4 등) 는 지속적인 온디바이스 추론 (On-device Inference) 에 필요한 처리량과 에너지 효율을 제공하지 못합니다.
• 데이터 이동 비용: 센서 데이터의 양이 급증함에 따라 센싱, 신호 처리, 메모리 접근, 무선 전송 등 연산 외의 요소들이 전체 전력 예산의 상당 부분을 차지하며, 이는 시스템 전체 효율성을 저해하는 병목 현상이 됩니다.
• 설계 트레이드오프의 복잡성: 저전력 AI 를 위한 다양한 아키텍처 (Neural Accelerator, In-Sensor, Neuromorphic 등) 가 등장했으나, 실제 워크로드 하에서의 성능, 에너지 효율성, 지연 시간 간의 구체적인 비교와 트레이드오프에 대한 체계적인 분석이 부족합니다.

2. 연구 방법론 (Methodology)

이 논문은 문헌 검토와 실증적 벤치마크를 결합한 혼합 접근 방식을 사용했습니다.

• 범주화 (Taxonomy): 저전력 에지 프로세서를 다음과 같은 카테고리로 분류하여 기술 동향을 분석했습니다.
  • ML 확장 기능이 있는 MCU (예: Ambiq, STM32U5)
  • 전용 ML 가속기가 탑재된 MCU (예: GAP9, STM32N6)
  • 재구성 가능 논리 및 FPGA 기반 프로세서
  • 뉴로모픽 프로세서 (예: Loihi 2, TrueNorth)
  • 메모리 내 연산 (PIM/CIM) 및 인-센서 컴퓨팅 (In-Sensor Computing)
• 벤치마크 설정:
  • 모델: 3 억 3,600 만 개의 곱셈 - 누적 (MAC) 연산이 필요한 경량 분할 (Segmentation) 모델인 PicoSAM2를 사용했습니다. 분할 작업은 큰 활성화 텐서와 많은 메모리 대역폭을 요구하여 에지 시스템의 병목 현상을 극명하게 드러내는 스트레스 테스트로 선정되었습니다.
  • 대상 플랫폼: 서로 다른 설계 철학을 대표하는 3 가지 하드웨어를 선정하여 동일한 모델을 실행했습니다.
    1. GAP9: 다중 코어 RISC-V 아키텍처에 하드웨어 가속기가 결합된 MCU 클래스 SoC.
    2. STM32N6: ARM Cortex-M55 코어와 전용 Neural Architecture Accelerator (NPU) 를 탑재한 고성능 MCU.
    3. Sony IMX500: 센서 내부에 DSP 와 NPU 를 적층한 In-Sensor (센서 내 연산) 아키텍처.
• 평가 지표:
  • 지연 시간 (Latency): 단일 추론 완료 시간.
  • 추론 효율성 (Inference Efficiency): MAC/cycle (클럭 사이클당 수행된 연산 수).
  • 에너지 효율성 (Energy Efficiency): MAC/Joule (줄당 수행된 연산 수).
  • 에너지 - 지연 곱 (Energy-Delay Product, EDP): 에너지 소비와 지연 시간을 종합한 지표 (낮을수록 우수).

3. 주요 기여 (Key Contributions)

• 통합된 기술 지도 (Unified View): 200mW 미만의 저전력 에지 AI 프로세서 아키텍처에 대한 포괄적인 분류 체계와 최신 기술 동향을 제시했습니다.
• 공정 비교 (Fair Comparison): 서로 다른 아키텍처 (MCU, NPU, In-Sensor) 를 동일한 워크로드 (PicoSAM2) 에서 실행하여, 이론적 성능 (TOPS) 이 아닌 실제 시스템 효율성을 정량적으로 비교했습니다.
• 인-센서 컴퓨팅의 실증: In-Sensor 아키텍처가 기존 MCU 및 가속기 기반 시스템 대비 데이터 이동 비용을 획기적으로 줄이고 에너지 효율성을 극대화할 수 있음을 실증 데이터를 통해 입증했습니다.

4. 실험 결과 (Results)

세 플랫폼의 PicoSAM2 모델 실행 결과는 다음과 같은 뚜렷한 차이를 보였습니다.

지표	GAP9 (RISC-V Manycore)	STM32N6 (ARM + NPU)	Sony IMX500 (In-Sensor)
지연 시간 (Latency)	42.13 ms (가장 느림)	13.71 ms (가장 빠름)	14.3 ms
추론 효율 (MAC/cycle)	20.77	29.52	86.24 (압도적)
에너지 효율 (MAC/J)	182.15 (MCU 클래스 최상)	21.47	1,359.65 (전체 최상)
EDP (에너지 - 지연 곱)	74.88 mJ·s	206.76 mJ·s	3.4 mJ·s (최소)

• Sony IMX500 (In-Sensor):
  • 센서와 연산 유닛이 물리적으로 통합되어 데이터 이동이 최소화됨.
  • **가장 높은 MAC/cycle (86.2)**과 **가장 높은 에너지 효율 (1,359.6 MAC/J)**을 기록.
  • **최저의 EDP (3.4 mJ·s)**를 달성하여 실시간 모바일 센싱에 가장 적합함을 증명.
• STM32N6 (ARM + NPU):
  • 높은 클럭 주파수 (800 MHz) 로 인해 **최저의 지연 시간 (13.7 ms)**을 보임.
  • 그러나 높은 전력 소비 (0.8~1.2 W) 로 인해 에너지 효율성과 EDP 가 낮음.
• GAP9 (RISC-V Manycore):
  • MCU 클래스 전력 예산 내에서 **가장 경쟁력 있는 에너지 효율 (182.15 MAC/J)**을 보임.
  • 지연 시간은 상대적으로 길지만, 배터리 제약이 심한 시나리오에 적합.

5. 의의 및 결론 (Significance)

• 단일 솔루션의 부재: 에지 AI 에 적용할 수 있는 "만능 (One-size-fits-all)" 솔루션은 존재하지 않으며, 애플리케이션의 요구사항 (지연 시간 중시 vs 에너지 효율 중시) 에 따라 아키텍처를 선택해야 함을 강조했습니다.
• 인-센서 컴퓨팅의 성숙: 데이터 이동 비용을 줄이는 In-Sensor 아키텍처가 에너지 효율성과 시스템 전체의 균형 (EDP) 면에서 기존 아키텍처를 압도할 만큼 기술적으로 성숙해졌음을 보여줍니다.
• 설계 가이드라인 제공:
  • 지연 시간이 최우선인 경우: STM32N6 과 같은 고성능 NPU 기반 MCU.
  • 배터리 수명이 최우선인 경우: GAP9 와 같은 저전력 다중 코어 MCU.
  • 에너지 효율성과 실시간성 균형이 필요한 경우: Sony IMX500 과 같은 In-Sensor 아키텍처.
• 이 연구는 차세대 초저전력 및 인-센서 AI 프로세서의 설계 방향과 실용적인 트레이드오프를 이해하는 데 중요한 기준을 제시합니다.