A CMOS+X Spiking Neuron With On-Chip Machine Learning

기술 요약: 온칩 머신러닝을 갖춘 CMOS+X 스파이킹 뉴런

문제 정의
현대적인 엣지 컴퓨팅 플랫폼은 에너지, 지연 시간 및 실리콘 면적에 대한 엄격한 제약 조건 하에서 실시간 지능에 대한 증가하는 요구에 직면해 있습니다. 조밀한 행렬 연산과 고정밀 산술에 의존하는 기존의 딥러닝 아키텍처는 종종 계산 비용이 많이 들며, 배터리로 구동되거나 열 제한이 있는 장치에는 적합하지 않습니다. 스파이킹 신경망(SNN)은 희소하고 이벤트 기반인 계산을 통해 에너지 효율적인 대안을 제공하지만, 그 하드웨어 구현은 상당한 과제에 직면해 있습니다. 디지털 SNN은 메모리 병목 현상과 클록 동기화 오버헤드로 인해 어려움을 겪으며, 아날로그 구현은 디지털 제어에 의존하거나 메모리와 연산을 분리하지 않고도 컴팩트한 뉴런과 튜너블 시냅스를 실현하기 위해 새로운 소자 물리학을 필요로 합니다. 따라서 제조 가능하며 CMOS 호환되는, 스파이킹 동작과 온칩 학습을 네이티브하게 지원할 수 있는 하드웨어 프레임워크가 필요합니다.

방법론
본 연구는 "X"가 표준 CMOS 기술과 통합된 스핀트로닉스 자기 터널 접합(MTJ)을 나타내는 "CMOS+X" 프레임워크를 제안하고 시뮬레이션합니다. 이 방법론의 핵심은 다음과 같습니다:

1. 소자 아키텍처: 저자들은 표준 MRAM에 사용되는 1T-1MTJ 셀과 유사하지만 동적 동작을 위해 재용도 설계된, NMOS 트랜지스터가 MTJ와 직렬로 연결된 단일 인공 뉴런(NMOS+MTJ 유닛)을 설계했습니다. MTJ는 참조층(reference layer), 분석층(analyzer layer), 자유층(free layer)을 특징으로 합니다. MTJ의 저항은 자유층의 자화와 분석층 사이의 각도에 따라 달라집니다.
2. 작동 원리: 뉴런은 스핀 전달 토크(STT)를 통해 작동합니다. 입력 전압($V_{in}$)은 NMOS 트랜지스터의 게이트를 제어하여 직렬 회로를 흐르는 전류($I_{D}$)를 조절합니다. 이 전류는 자유층의 자화에 토크를 가하여 자화의 세차 운동을 유발합니다. 자화 각도가 특정 임계값을 초과하면, MTJ 저항은 급격하고 일시적인 변화를 일으켜 출력($V_{out}$)에서 전압 스파이크를 생성합니다.
3. 시뮬레이션 환경: 시스템은 산업 표준 회로 시뮬레이터인 LTspice 내에서 전체적으로 모델링되었습니다. MTJ 모델은 STT 항을 포함한 Landau-Lifshitz-Gilbert 방정식을 기반으로 한 자화 역학을 포함하며, NMOS는 기본 모델을 사용합니다. 본 연구는 등온 조건을 가정하며, 공정 변동이나 열적 변동은 포함하지 않습니다.
4. 네트워크 및 학습: 저자들은 튜너블 전압 증폭기로 모델링된 아날로그 시냅스를 사용하여 이러한 뉴런들을 상호 연결합니다. 비선형 XOR 분류 작업을 해결하기 위해 외부 인코딩 뉴런을 포함한 2층 피드포워드 네트워크(입력층 및 출력층)를 구축합니다. 학습은 아날로그 도메인에 적응된 감독형 경사 하강법 규칙을 통해 이루어집니다. 학습 메커니즘은 시간 인코딩된 스파이크 신호에 의존하며, 여기서 출력 뉴런의 발화 시간은 목표 "골(goal)" 스파이크 시간에 맞추어 조정됩니다. 가중치 업데이트 규칙은 손실 함수(실제 발화 시간과 목표 발화 시간 사이의 제곱 차이)의 시냅스 가중치에 대한 미분으로부터 유도됩니다.

주요 기여

• 새로운 뉴런 설계: 본 논문은 NMOS+MTJ 쌍이 표준 MRAM 셀과 거의 동일한 구조임에도 불구하고, 추가적인 제어 회로 없이 임계값 활성화, 스파이크 생성, 지연 시간, 불응기, 시냅스 통합, 억제와 같은 필수적인 생물학적 뉴런 동작을 자연스럽게 재현함을 보여줍니다. 이러한 동작은 MTJ와 트랜지스터의 결합된 소자 물리학으로부터 본질적으로 발생합니다.
• 아날로그 온칩 학습: 본 연구는 완전한 아날로그 온칩 학습 시스템의 개념 증명을 제시합니다. 이러한 물리적 뉴런의 네트워크가 스파이킹 신경망 내에서 스파이크 타이밍 의존적 가중치 업데이트를 사용하여 직접 감독형 경사 하강법 학습을 수행할 수 있음을 입증합니다.
• XOR 분류: 저자들은 비선형 XOR 작업을 학습하는 2층 스파이킹 신경망을 성공적으로 시뮬레이션했습니다. 네트워크는 출력 스파이크 타이밍이 목표 로직 값과 일치할 때까지 학습 에포크(epoch) 동안 시냅스 가중치를 조정합니다.

결과

• 단일 뉴런 역학: LTspice 시뮬레이션을 통해 NMOS+MTJ 뉴런이 "전부 아니면 전무(all-or-nothing)" 방식의 스파이킹 동작을 보임을 확인했습니다. 임계 전압($V_{th} \approx 3.4$ V) 미만의 입력은 스파이크를 트리거하지 못하는 반면, 임계값 이상의 입력은 진폭에 관계없이 일관된 스파이크 형태를 생성합니다. 또한 시스템은 응답 지연(입력이 강할수록 지연 감소), 불응기(절대적 및 상대적 불응기), 그리고 주파수 변조를 보여주었습니다.
• 신호 전파: 튜너블 시냅스로 연결된 3개의 뉴런 체인은 스파이크를 성공적으로 전파했습니다. 시뮬레이션 결과, 시냅스 가중치(증폭기 이득)가 응답 지연에 직접적인 영향을 미쳐 타이밍 조절 가능성과 민감도 사이의 트레이드오프를 형성함을 보여주었습니다.
• 학습 성능: 네트워크는 약 16 에포크 후에 XOR 작업에 대해 수렴했습니다.
  • 가중치 수렴: 시냅스 가중치는 특정 값(예: $w_{o1i1} \approx 3.63$, $w_{o1i2} \approx 6.19$)으로 안정화되었습니다.
  • 오차 감소: 에포크 16 이후 손실 함수가 급격히 떨어져 0에 근접했습니다.
  • 정확도: 에포크 22에 의해, 네 가지 XOR 입력 조건 전체에 대한 최대 절대 타이밍 오차는 0.102 ns로 감소했습니다. 출력 스파이크는 모든 입력 조합에 대해 목표 "골" 스파이크와 밀접하게 일치했습니다.
  • 효율성: XOR 작업을 위한 전체 학습 과정은 일반적인 노트북에서 약 15초 동안 시뮬레이션되었으며, 총 시뮬레이션 학습 시간은 약 1 $\mu$s였습니다.

의의 및 주장
본 논문은 훈련과 추론을 단일 아날로그 플랫폼 내에 통합하는 CMOS+X 뉴로모픽 아키텍처의 개념 증명을 제공한다고 주장합니다. 저자들은 물리적으로 생성된 뉴런 역학(MTJ 자화를 통해 유도됨)이 스파이킹 신경망 내에서 감독형 학습에 직접 참여하는 최초의 회로 수준 시뮬레이션임을 강조합니다.

그 의의는 다음을 입증하는 데 있습니다:

1. 표준 반도체 제조 공정(특히 MRAM을 지원하는 공정)이 이러한 뉴로모픽 회로를 구현할 수 있습니다.
2. 복잡한 비선형 학습 작업을 아날로그 회로와 시간 인코딩된 신호만을 사용하여 모델링할 수 있으며, 이는 시뮬레이션에서 디지털 역전파나 서로게이트 그래디언트(surrogate gradients)를 제거합니다.
3. 스핀트로닉스 소자의 본질적인 물리학이 뉴런 역학과 학습 모두를 위한 계산 기질 역할을 할 수 있어, 나노 스케일 스핀트로닉스와 CMOS 호환 아날로그 전자 공학 사이의 간극을 메울 수 있습니다.

저자들은 본 연구가 실험적 검증, 공정 변동 분석, 그리고 이상적인 시냅스 모델에 대한 완전한 전력/에너지 평가가 없는 시뮬레이션 기반의 개념 증명이라는 점을 언급하며 현재의 범위를 겸허하게 규정했습니다. 이들은 실험적 검증, 트랜지스터 레벨의 시냅스 구현, 그리고 강건성 테스트가 필요한 향후 단계임을 명시했습니다.