Design-Time Optimization of Deep Neural Networks for Intermittent Learning on Microcontrollers

기술 요약: 간헐적 학습을 위한 마이크로컨트롤러용 심층 신경망의 설계 시점 최적화

문제 정의
에너지 수확 환경의 자원 제한적인 마이크로컨트롤러 유닛(MCU)에 인공지능(AI)을 배포하는 것은 근본적인 과제를 안겨준다: 에너지 가용성이 간헐적이고 비결정론적이라는 점이다. 태양광 기반의 원격 센싱과 같은 시나리오에서, 에너지 버퍼는 심층 신경망(DNN)이 추론 또는 학습 작업을 완료하기 전에 고갈될 수 있다. 기존의 간헐적 컴퓨팅(IC) 패러다임은 에너지가 낮을 때 프로그램 상태를 비휘발성 메모리(NVM)에 체크포인트 형태로 저장하여, 에너지가 다시 보충되면 실행을 재개하는 방식으로 이를 해결한다. 그러나 기존의 DNN 설계 방법론은 종종 총 에너지 소비량이나 정확도를 주요 지표로 사용한다. 이러한 접근 방식은 간헐적 학습에 있어 불충분이 할 수 있는데, 총 에너지는 낮더라도 단일 레이어의 에너지 요구량이 한 사이클 내의 에너지 버퍼 용량을 초과하면 실행이 불가능할 수 있기 때문이다. 또한, 표준 신경망 구조 탐색(NAS) 및 다목적 최적화(MOO) 접근 방식은 일반적으로 후보군을 평가하기 위해 대상 하드웨어에서의 물리적 배포와 반복적인 측정을 필요로 하며, 이는 매우 느리고 오류가 발생하기 쉬우며 방대한 검색 공간을 다루기에는 비실용적이다. 아울러, 기존의 에너지 예측 모델 대부분은 추론에만 초점을 맞추고 있어, 온디바이스 학습에 필요한 역전파(backward pass)의 에너지 비용을 추정하는 능력은 부족하다.

방법론
저자들은 MCU 상의 간헐적 학습을 위해 DNN의 오프라인 설계 시점 최적화를 가능하게 하는 2단계 파이프라인을 제안한다. 이 접근 방식은 하드웨어 인식형 에너지 예측 모델을 활용하여 구조 탐색과 물리적 배포를 분리한다.

1. 에너지 예측 모델 구축:
   저자들은 대상 MCU(nRF52840 Cortex-M4)로부터 수집된 최소한의 경험적 데이터를 사용하여 학습된 두 가지 경량 선형 회귀 모델을 개발한다.

• 레이어 에너지 예측기: 이 모델은 네트워크의 ONNX 표현에서 추출한 특징(특히 곱셈-누산(MAC) 연산 수와 메모리 I/O 비트(RAM 액세스))을 사용하여, 순방향(추론) 및 역방향(학습) 통과 시 개별 DNN 레이어의 에너지 소비를 추정한다. 이 모델은 DSP 명령어 사용과 같은 하드웨어 특유의 구현 세부 사항을 반영한다.
• 상태 보존 예측기: 이 모델은 간헐적 실행 중 체크포인팅을 위해 필수적인 레이어 상태를 FRAM에 저장하거나 복구하는 데 필요한 에너지를 추정한다. 이 모델은 쓰거나 읽어야 할 데이터 크기(바이트)를 주요 특징으로 사용한다.
• 데이터 수집: 훈련 데이터셋은 다양한 DNN 아키텍처를 샘플링하고, 이를 C 코드로 컴파일한 후, 대상 하드웨어에서 레이어별로 실행하여 생성되었다. 전력 프로파일링은 Joulescope JS220을 사용하여 수행되었으며, 레이어별 및 체크포인트 작업별 에너지 소비를 격리하기 위해 GPIO 토글링을 사용하였다.

2. 간헐성 인식 다목적 최적화 (MOO):
   학습된 예측 모델은 (Optuna의 NSGA-II 샘플러를 사용하는) MOO 프레임워크에 통합되어 최적의 DNN 아키텍처를 탐색한다.

• 목적 함수: 최적화는 검증 정확도(또는 재구성 손실)를 최대화하는 동시에, 총 에너지, 메모리 풋프린트(RAM/ROM), 그리고 결정적으로 피크 레이어당 에너지 요구량을 최소화하는 것을 목표로 한다.
• 제약 조건: 검색 공간은 MCU의 물리적 한계(SRAM, Flash)와 간헐적 에너지 예산(한 사이클당 사용 가능한 최대 에너지)에 의해 제약된다.
• 프로세스: 후보 아키텍처가 제안되면 에너지 예측기를 통해 전체적으로 오프라인에서 그 타당성을 평가한다. 에너지 예산(단일 레이어가 버퍼 용량을 초과하지 않음을 보장)과 메모리 제약 조건을 충족하는 아키텍처만이 고려된다. 그 후 파레토 최적(Pareto-optimal) 해 집합이 선택된다.

주요 기여

• 학습을 위한 설계 시점 에너지 예측: 본 논문은 물리적 배포 없이도 순방향(추론) 및 역방향(학습) 통과에 대한 레이어별 에너지 소비를 예측하는 방법을 소개한다. 이는 추론에만 집중했던 기존 연구를 확장한 것이다.
• 하드웨어 인식형 특징 추출: 이 접근 방식은 ONNX 모델과 특정 하드웨어 구성으로부터 도출된 연산(MAC) 및 메모리 액세스(I/O 비트) 기반의 특징 공간을 활용하여, 예측기가 대상 MCU에 대해 이식 가능하면서도 정확하도록 보장한다.
• 간헐성 인식 NAS: 저자들은 간헐성 제약(특히 레이어당 에너지 예산 제한)을 아키텍처 검색에 명시적으로 포함하는 MOO 프레임워크를 입증하여, 간헐적 전력 조건에서도 실행 가능한 모델의 발견을 가능하게 한다.
• 경험적 검증: 이 방법은 Cortex-M4 MCU를 사용한 오토인코더 기반의 이상 탐지 작업으로 검증되었으며, 성능을 유지하면서 에너지 소비를 크게 줄일 수 있는 아키텍처를 선택할 수 있음을 보여준다.

결과
평가는 이상 탐지를 위한 CWRU 베어링 데이터셋을 사용하여 수행되었다.

• 예측 정확도: 레이어 에너지 예측기는 네트워크 레이어에 대해 **16.6%**의 가중 절대 백분율 오차(WAPE)와 32.2%의 평균 절대 백분율 오차(MAPE)를 달s성했다. FRAM 상태 보존 예측기는 **0.9%**의 매우 높은 WAPE 및 MAPE를 기록했다. 저자들은 레이어 오차가 높아 보일 수 있으나, 엄격한 에너지 제약 조건 하에서 실행 가능한 아키텍처와 불가능한 아키텍처를 신뢰성 있게 구분하기에는 충분하다고 언급했다.
• 최적화 영향: MOO 실험에서 이 접근 방식은 파레토 프런트(Pareto front)를 가진 아키텍처들을 성공적으로 식별했다. 파레토 프런트에서 (Point A 대비 Point B와 같이) 약간 더 높은 검증 손실을 가진 모델을 선택함으로써, 예측된 총 에너지 요구량을 0.0268 mJ에서 0.00163 mJ로(약 94% 감소) 줄였다. 결정적으로, 가장 비용이 많이 드는 레이어의 에너지 요구량이 0.0198 mJ에서 0.000449 mJ로 감소하여, 해당 모델이 간헐적 에너지 버퍼 내에 들어오도록 보장했다. 선택된 두 모델 모두 정상 데이터와 이상 샘플을 성공적으로 분리해냈다.

의의
본 논문은 다목적 최적화, 자동화된 DNN 설계, 그리고 에너지 수확 시스템으로의 배포 사이의 간극을 메운다고 주장한다. 레이어당 에너지 소비(체크포인팅 오버헤드 포함)를 최소화하는 아키텍처를 선제적으로 선택할 수 있게 함으로써, 이 연구는 "엣지에서의 진정한 자율적 AI"를 촉진한다. 이는 설계 단계에서 반복적이고 시간이 많이 소요되는 물리적 측정이 필요 없이, 간헐적 환경에서 온디바이스 학습을 수행할 수 있는 DNN을 설계할 수 있게 한다. 저자들은 이 접근 방식이 전통적인 총 에너지 최적화가 간과하기 쉬운 제약 조건, 즉 단일 레이어가 에너지 버퍼의 용량을 초과하지 않도록 보장함으로써 MCU에 더 큰 규모의 DNN을 배포하는 것을 가능하게 한다고 강조한다.