E-ReCON: An Energy- and Resource-Efficient Precision-Configurable Sparse nvCIM Macro for Conventional and Spiking Neural Edge Inference

E-ReCON: 에너지 및 자원 효율성이 높은 정밀 구성 가능한 희소 nvCIM 매크로의 기술 요약

문제 제기
기존 폰-노이만 아키텍처에 내재된'메모리 벽'으로 인해, 제한된 자원을 가진 엣지 장치에 합성곱 신경망 (CNN) 및 스파이킹 신경망 (SNN) 을 포함한 인공지능 (AI) 워크로드를 배포하는 것이 방해받고 있습니다. 메모리와 처리 유닛 간의 빈번한 데이터 이동은 상당한 지연 시간과 에너지 오버헤드를 초래합니다. 메모리 어레이 내에서 연산을 수행함으로써 Compute-in-Memory(CIM) 아키텍처가 해결책을 제시하지만, 기존 ReRAM 기반 CIM 설계는 다음과 같은 특정 과제를 안고 있습니다:

1. 아날로그 한계: 전통적인 아날로그 CIM 접근 방식은 낮은 신호 대 잡음비 (SNR), 공정 - 전압 - 온도 (PVT) 변화에 대한 민감성, 그리고 아날로그 - 디지털 변환기 (ADC) 의 높은 면적 및 전력 비용을 겪습니다.
2. 디지털 오버헤드: 디지털 CIM 아키텍처는 종종 복잡한 주변 회로나 반복적 튜닝에 의존합니다. 또한, 디지털 CIM 의 누적 논리 (adder trees) 는 특히 기존 Ripple-Carry Adder(RCA) 를 사용할 때 높은 트랜지스터 수와 전력 소모를 초래합니다.
3. SNN 호환성: 별도의 하드웨어나 변환 회로 없이 기존 CNN 워크로드와 이벤트 기반 SNN 워크로드를 모두 효율적으로 처리할 수 있는 아키텍처가 필요합니다.

방법론 및 아키텍처
저자들은 65 nm CMOS 기술에서 1.2 V 로 구현된 16 Kb 디지털 컴퓨트 - 인 - 메모리 (DCIM) 매크로인 E-ReCON을 제안합니다. 이 아키텍처는 세 가지 핵심 혁신을 기반으로 구축되었습니다:

1. 3T1R ReRAM 비트셀:

   • 매크로는 0.85 µm²만 차지하는 소형 3 트랜지스터, 1 저항 (3T1R) ReRAM 비트셀을 활용합니다.
   • 저장된 가중치 (고저항 상태 '0'또는 저저항 상태 '1') 가 로컬 트랜지스터 논리를 통해 입력 활성화와 상호 작용하는 저항 기반 AND 연산 곱셈 방식을 사용합니다.
   • 이 설계는 ADC 와 DAC 를 제거하여 완전히 디지털적이고 결정론적인 연산을 가능하게 합니다. 비트셀은 스파이크 활성화의 이진 특성을 활용하여 동일한 AND 기반 연산을 사용하여 CNN 추론과 SNN 스파이크 - 가중치 곱셈을 모두 지원합니다.

2. 인터리브된 10T/28T 어더 트리:

   • 누적 오버헤드를 해결하기 위해 저자들은 새로운 인터리브된 어더 트리 구조를 도입합니다.
   • 이 트리는 소형 10 트랜지스터 (10T) 풀 어더와 기존 28 트랜지스터 (28T) 풀 어더를 번갈아 배치합니다.
   • 10T 어더는 면적과 전력을 줄이지만 패스 - 트랜지스터 논리로 인해 전압 저하를 유발합니다. 이를 28T 어더와 인터리브함으로써 설계는 각 단계에서 신호 무결성을 복원하여 오류 전파를 방지하면서 순수 28T RCA 설계에 비해 전체 트랜지스터 수를 크게 줄입니다.

3. 매크로 구성 및 매핑:

   • 16 Kb 매크로는 각 은행당 4 비트 가중치 정밀도를 지원하는 64 개의 독립적인 뱅크로 구성되며, 각 뱅크는 64 개의 행과 4 개의 열을 가집니다.
   • 비트 직렬 입력 처리 (1~8 비트) 를 지원하여 합성곱 레이어와 완전 연결 레이어의 유연한 매핑을 가능하게 합니다.
   • 주변 회로는 ReLU 활성화, 풀링, 배치 정규화를 처리하며, ADC/DAC 블록의 제거는 처리량을 크게 향상시킵니다.

주요 기여

• 완전 디지털 ReRAM-CIM: 반복적 튜닝과 ADC/DAC 요구 사항을 제거하여 저지연 연산을 보장하는 결정론적 아키텍처입니다.
• 다목적 비트셀: 3T1R AND 형 비트셀은 CNN 과 SNN 워크로드를 모두 지원하여 낮은 스위칭 활동으로 효율적인 스파이크 도메인 누적을 가능하게 합니다.
• 면적 효율적 누적: 인터리브된 10T/28T 어더 트리는 기존 28T RCA 기반 설계에 비해 트랜지스터 수를 37% 줄이고 전력 소모를 28% 감소시킵니다.
• 견고성: 이 설계는 추가 오류 수정 회로 없이 모든 PVT 코너 (-40°C~125°C) 와 ±20% ReRAM 변동성 (HRS/LRS) 하에서 신뢰할 수 있는 디지털 기능을 유지합니다.

실험 결과
제안된 매크로는 65 nm CMOS 시뮬레이션을 사용하여 평가되었으며 다양한 신경망 모델에 매핑되었습니다:

• 성능 지표:

  • 지연 시간: 최소 0.48 ns 의 지연 시간.
  • 처리량: 2.31~3.1 TOPS.
  • 에너지 효율성: 30% 희소성으로 최대 419 TOPS/W.
  • 비교: 이 설계는 기존 최첨단 ADC 기반 ReRAM-CIM 설계에 비해 지연 시간과 에너지 효율성을 거의 30~40% 개선합니다.

• 추론 정확도 (CNN):

  • LeNet-5(MNIST/A-Z): 97.81% 정확도.
  • AlexNet(CIFAR-10): 93.23% 정확도.
  • CNN-8(SVHN): 96.51% 정확도.
  • 가지치기: 40% 파라미터 가지치기는 MAC 연산을 27% 줄이고 계산 주기를 33% 줄이면서 원래 정확도의 약 99.8% 를 유지했습니다.

• 추론 정확도 (SNN):

  • 2A2W(2 비트 활성화, 2 비트 가중치) 구성은 CIFAR-10, CIFAR-100, ImageNet-1K 데이터셋의 VGG-8, VGG-16, ResNet-18 에서 FP32 기준에 가까운 정확도를 달성했습니다.
  • 이벤트 기반 추론은 메모리 접근과 누적기 활동을 줄여 에너지 효율성을 더욱 향상시켰습니다.

의의 및 주장
본 논문은 E-ReCON 이 차세대 엣지 - AI, IoT, 생체 의료 센싱, 그리고 뉴로모픽 애플리케이션에 적합한 확장 가능하고 저지연이며 에너지 효율적인 비휘발성 CIM 플랫폼을 제공한다고 주장합니다. 소형 3T1R 비트셀을 최적화된 인터리브된 어더 트리와 통합함으로써, 이 아키텍처는 변동성 하에서 견고한 운영과 높은 연산 밀도 사이의 균형을 성공적으로 달성했습니다. 단일 ADC 없는 디지털 매크로에서 기존 신경망과 스파이킹 신경망을 모두 지원할 수 있는 능력은 E-ReCON 을 높은 효율성과 유연성이 필요한 배터리 구동 엣지 장치에 대한 실현 가능한 솔루션으로 위치시킵니다.