기술 요약: ThRIve – 이종 PIM 아키텍처에서의 저계수 적응(LoRA)을 통한 열적 견고성을 갖춘 CNN 추론

1. 문제 정의

ReRAM, PCM, FeFET와 같은 비휘발성 메모리(NVM) 소자를 활용하는 프로세싱 인 메모리(PIM) 아키텍처는 행렬-벡터 곱셈(MVM)을 메모리 어레이 내에서 직접 수행함으로써 머신러닝(ML) 워크로드를 가속화하여 상당한 에너지 효율성과 성능 이점을 제공한다. 그러나 이러한 NVM 기반 소자는 고유의 비이상성 문제를 겪으며, 특히 **열 잡음(thermal noise)**이 핵심적인 과제로 작다. 열 잡음은 온도가 변함에 따라 메모리 셀(모델 가중치에 해당)에 저장된 값을 변화시켜 추론 정확도 저하를 초래한다.

기존의 완화 전략인 노이즈 인식 훈련(Noise-Aware Training, NAT)은 특정 잡음 수준에 모델 가중치를 적응시키려 시도한다. 그러나 이러한 방법들은 두 가지 주요 한계점에 직면해 있다:

1. 일반화 능력 부족: 현재의 NAT 기술은 일반적으로 GPU에서 이산적인 온도 지점(예: 25°C, 35°C)에 대해 오프라인으로 훈련된다. 하지만 NVM 크로스바에 배치된 이러한 "노이즈 인식" 가중치들은 학습되지 않은 온도에서의 열 잡음에 여전히 노출되어, 추가적인 편차와 정확도 손실을 일으킨다.
2. 하드웨어 오버헤드 및 내구성: 열적으로 견고한 환경(SRAM 등)에 모든 모델 파라미터를 저장하여 견고성을 확보하는 것은 과도한 하드웨어 오버헤드를 발생시킨다. 반대로, 변화하는 온도에 적응하기 위해 장치상에서 빈번하게 재학습을 수행하는 것은 NVM 소자의 제한된 쓰기 내구성 때문에 비현실적이다.

2. 방법론: ThRIve 프레임워크

저자들은 열적으로 견고한 추론을 달립하기 위해 이종 NVM-CMOS PIM 아키텍처 내에서 **저계수 적응(Low-Rank Adaptation, LoRA)**을 활용하는 하드웨어-소프트웨어 공동 설계 방법론인 ThRIve를 제안한다.

2.1 하드웨어 전략: 이종 저장 방식

ThRIve는 서로 보완적인 메모리 기술의 강점을 활용한다:

• NVM (ReRAM, PCM, FeFET): 원래의 사전 훈련된 모델 베이스 가중치를 저장한다. 이들은 높은 밀도와 에너지 효율을 제공하지만 열 잡음에 취약하다.
• SRAM (CMOS 기반): 노이즈 인식 LoRA 파라미터를 저장한다. SRAM은 열적으로 견고하며 온도 유도 가중치 편차에 덜 민감하다.

추론 중에 시스템은 다음 두 가지 병렬 경로의 합으로 출력을 계산한다:

1. NVM 크로스바 상의 노이즈가 있는 가중치를 사용하는 베이스 모델 계산.
2. SRAM 크로스바 상의 안정적인 가중치를 사용하는 LoRA 적응 계산.
   최종 활성화 값은 이 출력들의 합산으로부터 도출되며, 이는 베이스 NVM 가중치를 변경하지 않고도 열 잡음으로 인한 오류를 효과적으로 교정한다.

2.2 알고리즘 전략: 베이지안 최적화 기반 NAT

연속적인 온도 범위 전체에서 Exhaustive(전수 조사식) 재학훈련 없이 모델을 효과적으로 훈련하기 위해, ThRIв는 **베이지안 최적화(Bayesian Optimization, BO)**에 의해 구동되는 민-맥스(min-max) 최적화 프레임워크를 채택한다.

• LoRA 파라미터화: 모델은 동결된 베이스 가중치에 더해지는 훈련 가능한 저계수 행렬($A$와 $B$)을 포함하도록 수정된다. 유효 가중치는 $W_{effective} = W_{noisy} + BA$가 된다.
• 민-맥스 최적화: 목표는 현재 모델에 대해 "최악의 경우"의 열 잡음 조건에서도 예측 손실을 최소화하는 LoRA 파라미터를 찾는 것이다.
  • 최대화 (내부 루프): BO는 연속적인 온도/잡음 공간을 적응적으로 탐색하여 현재 모델에 대해 최대 예측 손실을 유발하는 특정 잡음 수준(온도)을 식별한다.
  • 최소화 (외부 루프): 모델은 식별된 최악의 잡음 수준에 대해 LoRA 역전파를 사용하여 특정하여 재훈련함으로써 손실을 줄인다.
• 효율성: 이 반복적인 과정은 모든 가능한 온도 지점에서 훈련하거나 순차적 학습(sequential learning)에 의존하는 것을 피하며, 이는 종종 발생하는 파괴적 망각(catastrophic forgetting) 문제를 방지한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명한다:

1. 열적 견고성을 위한 LoRA 통합: 이종 NVM-CMOS 아키텍처 내에서 LoRA를 사용하는 제안이다. 이는 열적으로 견고한 SRAM에 매우 적은 비율의 파라미터(저계수 행렬)만을 저장하고, 모델의 대부분은 에너지 효율적인 NVM에 유지함으로써 저장 오버헤드를 크게 줄인다.
2. 효율적인 BO 기반 NAT: 베이지안 최적화 기반의 훈련 방법론 개발이다. 이 접근 방식은 대표적인 잡음 수준을 적응적으로 선택하여, 베이스 파라미터를 변경하거나 빈번한 장치상 재훈련을 요구하지 않고도 LoRA 행렬이 미학습 온도에 일반화될 수 있도록 하며, 이를 통해 NVM 쓰기 내구성을 보존한다.
3. 성능 및 견고성 검증: ThRIve 지원 아키텍처가 전체 작동 온도 범위(300K–400K)에서 일관된 추론 정확도를 유지함을 실험적으로 입증하였다. 이는 기존 NAT 방법들보다 우수한 성능을 보이며, 모든-SRAM 시스템과 대등한 성능을 달성하면서도 훨씬 낮은 에너지 비용을 실현했다.

4. 실험 결과

방법론은 이종 PIM 아키텍처(HyperX, HyDE, HuNT) 상에서 다양한 데이터셋(CIFAR-10, CIFAR-100, TinyImageNet)을 사용하여 CNN 모델(VGG16, ResNet18, MobileNetv3_Small)을 통해 평가되었다.

• 정확도: ThRIve 지원 아키텍처는 이상적인(노이즈 없는) 정확도와 평균 2% 이내의 차이를 유지하는 평균 추론 정확도를 유지했다. 또한, 전체 작동 온도 범위에서의 정확도 변동폭 역시 평균값 대비 2% 이내로 유지되었다. 이러한 일관성은 ReRAM, PCM, FeFET 기반 시스템 모두에서 달성되었다.
• 베이스라인과의 비교: 파괴적 망각과 일반화 능력 부족으로 인해 상당한 정확도 저하와 높은 범위 편차를 보인 기존 NAT 방법들(예: TRRIMC, BN OTF)과 달리, ThRIve는 모든 온도에서 안정적인 성능을 제공했다.
• 에너지-지연 곱 (EDP): ThRIve는 열적으로 견고한 SRAM 기반 PIM 시스템과 유사한 정확도 및 견고성을 달성하면서도 다음과 같은 상당한 효율성 이득을 제공했다:
  • HyNT 아키텍처에서 최대 ~5.4배의 EDP 감소.
  • HyperX 아키텍처에서 최대 ~4.8배의 EDP 감소.
  • HyDE 아키텍처에서 최대 ~2.8배의 EDP 감소.
• 계수 분석 (Rank Analysis): 연구는 정확도와 EDP 오버헤드 사이의 균형을 맞추기 위한 LoRA 행렬의 최적 저계수 비율($P$)을 결정했다 (예: ReRAM의 경우 $P=1/12$, PCM의 경우 $1/14$, FeFET의 경우 $1/16$).

5. 의의 및 주장

본 논문은 ThRIve가 NVM 기반 PIM 시스템을 위한 일반화된 열적 견고성을 구현함으로써 최신 기술의 중요한 공백을 메운다고 주장한다. 잡음 인식 파라미터를 노이즈가 있는 메모리 기질로부터 분리함으로써, ThRIve는 빈번한 장치상 재훈련과 그에 따른 내구성 페널티를 제거한다.

저자들은 이 접근 방식이 온도가 변동하는 실제 엣지 AI 배포 환경에서 이종 PIM 아키텍처를 실행 가능하게 만든다고 단언한다. 이 방법론은 모든-SRAM 시스템의 열적 회복력을 제공하면서도 NVM 기술의 높은 밀도와 에너지 효율성을 유지하는 실용적인 트레이드오프를 제시하며, 궁극적으로 에너지 효율성을 저해하지 않으면서 열 변화가 심한 환경에서도 신뢰할 수 있는 ML 추론을 가능하게 한다.