An RRAM-based Hardware Implementation of a Radial Basis Function Neuron for Edge Classifiers

기술 요약: 에지 분류기를 위한 RRAM 기반 방사 기저 함수 뉴런의 하드웨어 구현

문제 정의
자원이 제한된 에지 장치에 현대적인 머신러닝(ML) 모델을 배포하는 것은 에너지 효율성, 지연 시간, 그리고 실시간으로 이상치(outlier) 또는 분포 외(Out-of-Distribution, OOD) 입력을 처리하는 능력과 관련하여 상당한 과제에 직면해 있습니다. 전통적인 심층 신경망(DNN)은 환경 변화, 센서 노이즈 또는 진화하는 데이터 패턴으로 인해 사전 학습된 모델의 성능이 저하되는 "도메인 시프트(domain shift)" 현상으로 인해 어려움을 겪는 경우가 많습니다. 또한, 폰 노이만 메모리 벽(von Neumann memory wall)은 유사성 검색에 필요한 내적(dot-product)과 같은 계산 집약적인 연산에 병목 현상을 일으킵니다. 기존 솔루션들은 추가적인 자원이나 데이터 주석(annotation) 없이 효율적인 온디바이스 적응(지속 학습) 능력이 부족하며, 이는 자율 주행과 같은 안전 필수 애플리케이션에서 매우 중요합니다.

방법론
저자들은 아날로그 콘텐츠 주소 지정 메모리(ACAM) 시스템을 구축하기 위해 CMOS 기술와 통합된 금속 산화물 저항 변화 메모리(RRAM)를 활용하는 하드웨어 네이티브 솔루션을 제안합니다. 이 설계의 핵심은 구성 가능한 아날로그 방사 기저 함수(Radial Basis Function, RBF) 뉴런 역할을 하는 커스텀 Template piXeL (TXL) 셀입니다.

• TXL 셀 아키텍처: TXL 셀은 두 개의 소스 퇴화(source-degeneration) RRAM-CMOS 인버터를 사용합니다. MOSFET 소스에 직렬로 연결된 RRAM 소자($R_M$ 및 $R_B$)의 저항을 프로그래밍함으로써, 이 회로는 상한 전압 임계값($V_{TH}^{upper}$)과 하한 전압 임계값($V_{TH}^{lower}$)으로 정의되는 특정 "매칭 윈도우(matching window)"를 설정합니다. 이 윈도우는 입력 전압이 특정 범위 내에 있을 때만 활성화되어 거리 메트릭을 계산하는 수용 영역(receptive field)을 모사합니다.
• 어레이 구조: TXL 셀은 조밀한 $k \times n$ 어레이로 구성됩니다. 각 행은 고유한 $k$-차원 프로토타입(RRAM 컨덕턴스에 인코딩된 평균 $\mu$ 및 분산 $\sigma$와 같은 통계적 속성으로 저장됨)을 나타내며, 각 열은 입력 특징(feature)에 대응합니다.
• 인메모리 컴퓨팅 (IMC): 시스템은 유사성 검색을 병렬로 수행합니다. 입력 벡터는 아날로그 신호로서 비트라인에 인가됩니다. 키르히호프의 전류 법칙을 통해 개별 TXL 셀의 전류는 매치라인(matchline)에 축적되며, 자연스럽게 입력 쿼리와 저장된 프로토타입 사이의 종합 유사도 점수(역거리)를 계산합니다.
• 적응 정책: 시스템은 입력과 최적 매칭 프로토타입 사이의 거리($d$)에 따라 세 단계의 적응 정책을 구현합니다.
  1. 신뢰할 수 있는 분포 내 데이터 ($d \le \tau_{IDO}$): 적응이 발생하지 않습니다.
  2. 분포 내 이상치 ($\tau_{IDO} < d \le \tau_{OOD}$): 기존 프로토타입이 적응(새로운 샘플을 포함하도록 평균 및 분산 업데이트)되어 점진적인 도메인 드리프트를 완화합니다.
  3. 분포 외 데이터 ($d > \tau_{OOD}$): 시스템은 새로운 클래스를 식별합니다. 퓨샷 학습(few-shot learning) 체계를 사용하여 어레이의 빈 행에 새로운 프로토타입을 할당함으로써, 기존 지식을 덮어쓰지 않고 분류기의 역량을 확장합니다.

주요 기여

• 하드웨어 네이티브 RBF 뉴런: 본 논문은 거리 기반 분류를 아날로그 영역에서 직접 수행할 수 있는 RBF 뉴런의 물리적 구현체로서 TXL 셀을 소개합니다.
• 에너지 효율적인 유사성 검색: RRAM 기반 ACAM을 활용함으로써, 이 설계는 메모리 벽을 우회하여 템플릿 매칭에 대해 $O(1)$의 복잡도를 달 achieves 합니다.
• 온라인 적응 메커니즘: 시스템은 수용 영역 파라미터를 튜닝하여 도메인 시프트를 추적하거나 새로운 클래스를 학습할 수 있는 "온더플라이(on-the-fly)" 학습을 지원하며, 이를 통해 전체 모델 재학습 없이도 지속 학습이 가능합니다.
• 설명 가능성: 불투명한 피드 포워드 레이어와 달리, 의사 결정 과정이 입력과 저장된 프로토타입 간의 근접성에 명시적으로 추적 가능하므로 내재적인 설명 가능성을 제공합니다.

결과

• 에너지 및 지연 시간: 180 nm CMOS 공정(TiN/HfON/TiN RRAM)에서의 회로 수준 시뮬레이션(SPICE-Spectre) 결과, 100 MHz에서 셀당 동작당 185 fJ의 에너지 소비를 나타냈습니다. 검색당 지연 시간은 약 100 ns입니다.
• 분류 정확도:
  • 인공 기하학적 심볼 데이터셋에서 시스템은 초기 학습 및 적응 후 모두 100% 정확도를 달성했습니다.
  • MNIST 데이터셋(7x7로 다운샘플링됨)에서 시스템은 적응 전 89.1%, 적응 후 **85.5%**의 정확도를 달성했습니다. 저자들은 이러한 약간의 정확도 저하가 핵심 TXL 메커니즘 때문이 아니라 특징 추출 레이어의 부재와 입력의 다운샘플링 때문이라고 언급했습니다.
• 적응 성능: SPICE 시뮬레이션은 시스템이 이상치 샘플에 기존 프로토타입을 적응시키고(수용 영역 재형성), 알려지지 않은 클래스(예: 원, 삼각형, 십자가 데이터셋에 사각형 클래스 도입)를 위해 새로운 프로토타입을 할당하면서 기존 프로토타입의 무결성을 유지하는 능력을 입증했습니다.

의의
본 논문은 제안된 TXL 기반 아키텍처가 안전 필수 애플리케이션을 위한 견고하고 에너지 효율적인 에지 컴퓨팅을 향한 실행 가능한 경로를 제공한다고 주장합니다. 인시투(in-situ) 적응을 가능하게 함으로써, 시스템은 도메인 시프트 문제를 해결하여 에지 장치가 실제 데이터 분포가 학습 데이터와 다른 환경을 마주하더라도 신뢰성을 유지할 수 있도록 합니다. 저자들은 이 기술을 파괴적 망각(catastrophic forgetting)이나 외부 데이터 주석 없이도 분류 역량을 확장하고 새로운 환경에 적응할 수 있는, 에지에서의 지속 학습을 향한 단계로 위치시킵니다. 이 연구는 RRAM의 가변성, 유지력(retention), 내구성 문제가 보정(calibration)을 통해 관리된다면, 원격 모니터링, 웨어러블 센서, 자율 주행 분야에 대한 미래 배치를 전망하고 있습니다.