기술 요약: CRAM-ER

문제 정의

심층 신경망(DNN)은 메모리와 연산 장치 간의 데이터 이동이 에너지 소비와 지연 시간의 대부분을 차지하는 폰 노이만 구조의 메모리 벽(memory wall)으로 인해 심각한 성능 병목 현상에 직면해 있습니다. 이를 완화하기 위해 등장한 컴퓨트 인 메모리(CiM) 및 프로세싱 인 메모리(PiM) 접근 방식들이 존재하지만, 이들은 종종 상당한 주변 회로 오버헤드(예: 아날로그-디지털 변환기)나 제한된 확장성 문제를 겪습니다.

STT-MRAM(Spin-Transfer Torque Magnetic RAM) 기반의 계산형 랜덤 액세스 메모리(CRAM)는 최소한의 주변 회로 오버헤드로 메모리 셀 내에서 직접 논리 연산을 수행함으로써 유망한 해결책을 제시합니다. 그러나 저자들은 CRAM이 대규모 멀티 비트 DNN 워크로드로 확장되는 것을 가로막는 두 가지 결정적인 장벽을 식별했습니다:

1. 확률적 스위칭 오류: STT-MRAM은 본질적으로 확률적인 스위칭에 의존합니다. 곱셈-누산(MAC)과 같은 복잡한 연산에서 이러한 게이트 수준의 오류는 누적되어 DNN 추론에서 심각한 정확도 손실을 초래합니다.
2. 쓰기 오버헤드: CRAM은 누산을 수행하기 위해 방대한 수의 순차적인 MRAM 쓰기 연산을 필요로 합니다. 이는 높은 지연 시간과 에너지 소비를 초래하여 처리량을 심각하게 제약합니다.

기존 연구들은 주로 소규모 작업(예: 정수 산술, 이진 신경망)에 국한되었으며, CNN이나 ViT와 같은 확장 가능한 멀티 비트 DNN에 대한 실현 가능성을 입증하지 못했습니다.

방법론

본 논문은 확장 가능한 인메모리 행렬-벡터 곱셈(MVM)을 위해 설계된 오류 탄력적 CRAM 아키텍처인 CRAM-ER를 제안합니다. 이 솔루션은 세 가지 주요 구성 요소로 이루어진 하드웨어-소프트웨어 공동 설계 프레임워크를 채택합니다.

1. 하이브리드 스핀트로닉-CMOS 아키텍처

면적 효율성과 오류 완화 사이의 균의를 맞추기 위해, 저자들은 MAC 연산을 스핀트로닉 CRAM 어레이와 CMOS 가산기 트리(adder tree)로 분할합니다:

• CRAM의 역할: 모든 요소별 곱셈과 누산 단계의 대부분(최대 75%)을 인시투(in-situ) 방식으로 수행합니다.
• CMOS의 역할: 부분 디지털 가산기 트리가 최종 누산 단계를 처리합니다. 이 하이브리드 접근 방식은 많은 중간 MRAM 쓰기 연산을 제거하여 높은 밀도를 유지하면서도 지연 시간을 획기적으로 줄입니다.
• 비트 수준 분할: 시스템은 면적 오버헤드와 정확도 사이의 최적의 트레이드오프를 찾기 위해 CMOS와 CRAM에서 수행되는 누산 비율을 조정할 수 있도록 합니다.

2. 오류 인식 하드웨어 메커니즘

• 선택적 비트 오류 수정(EC): 저오버헤드 다수결(MAJ3) 회로가 통합됩니다. 모든 비트를 수정하는 대신, EC 메커니즘은 정확도에 결정적인 가장 중요한 캐리(carry) 비트를 타겟팅합니다. 이는 최종 캐리 비트를 세 번 생성하고 다수결 출력을 선택하여 가산기 트리의 특정 레벨에서 오류를 수정합니다.
• 부분 수정: EC를 중요한 캐리 비트에만 적용하고 최종 누산을 오류가 없는 CMOS로 오프로딩함으로써, 시스템은 전체 오류 수정에 따르는 높은 에너지/지연 비용을 들이지 않고도 오류 누적을 완화합니다.

3. 오류 인식 소프트웨어 공동 설계

• 고충실도 모델링: 저자들은 소자 수준의 확률적 스위칭과 게이트 수준의 오류 동작을 모델링하는 시뮬레이션 프레임워크를 개발했습니다.
• 미세 조정(Fine-Tuning): 오류 인식 미세 조정 프로세스가 구현됩니다. DNN 모델은 양자화(4-bit) 상태로 훈련된 후, CRAM 하드웨어에서 예상되는 특정 비트 수준 오류율을 시뮬레이션하며 미세 조정됩니다. 이를 통해 모델이 하드웨어의 노이즈 프로파일에 적응할 수 있게 합니다.

주요 기여

1. 멀티 비트 DNN을 위한 확장 가능한 CRAM의 첫 입증: 본 연구는 소규모 또는 이진화된 작업의 한계를 넘어, 복잡한 DNN(CNN 및 ViT)을 위한 멀티 비트 MAC 가속을 입증한 첫 번째 사례입니다.
2. 오류 탄력성을 위한 하이브리드 아키텍처: 비트 수준에서 MAC을 분할하는 스핀트로닉-CMOS 하이브리드 아키텍처를 도입하여, CRAM의 밀도 이점을 유지하면서 소자 수준의 오류를 효과적으로 완화합니다.
3. 포괄적인 공동 설계 프레임워크: 확률적 소자 모델링, 부분 오류 수정 회로, 오류 인식 모델 미세 조정을 결에는서 거의 손실 없는 정확도를 달리는 통합 프레임워크를 개발했습니다.
4. 시스템 수준 평가: CRAM-ER가 표준 CRAM의 지연 시간 및 정확도 한계를 극복하고 CPU/GPU+DRAM 시스템보다 뛰어난 에너지 효율을 보임을 입증하는 엄격한 평가를 수행했습니다.

결과

저자들은 DNN 벤치마크(MNIST의 LeNet-5, CIFAR-10의 ResNet-20/18 및 ViT)를 사용하여 CRAM-ER 아키텍처를 표준 CRAM, CPU(Xeon), GPU(A100) 베이스라인과 비교 평가했습니다.

• 정확도:

  • 완화 조치가 없는 표준 CRAM은 심각한 정확도 저하(예: LeNet-5에서 25.5%까지 하락)를 겪었습니다.
  • CRAM+EC+Finetune 구성은 양자화 베이스라인과 비교하여 거의 손실 없는 정확도(LeNet-5에서 98.26%, ResNet-20에서 89.17%)를 달성했습니다.
  • 결정적으로, 디지털 CMOS 가산기 트리에서 단 25%의 누산만 수행해도 이러한 거의 손실 없는 성능을 달성하는 데 충분했으며, 이를 통해 면적 오버헤드를 최소화했습니다.

• 성능 및 효율성:

  • 지연 시간: 표준 CRAM은 높은 쓰기 지연 시간으로 인해 제한되었습니다. 하이브리드 CRAM-ER는 기존 CRAM에 비해 지연 시간을 최대 2자리 수(20-200배) 감소시켰습니다.
  • 에너지 효율: CRAM-ER는 HMC+Xeon 대비 최대 40배, HBM2+A100 대비 10배 더 나은 에너지 효율을 보여주었습니다.
  • 에너지-지연 곱(EDP): 하이브리드 설계는 CPU/GPU 참조 모델보다 EDP를 2배 개선했습니다.
  • 예상 성능: 최근의 소자 발전을 기반으로 한 쓰기 효율적인 MRAM 구성을 사용할 경우, 시스템은 CPU/GPU 참조 모델 대비 16배의 EDP 개선 가능성을 보여주었습니다.

의의

CRAM-ER은 DNN을 위한 고밀도, 고효율, 확장 가능한 인메모리 컴퓨팅을 향한 실질적인 경로를 구축한다고 주장합니다. 하드웨어-소프트웨어 공동 접근 방식을 통해 확률적 오류 누적과 쓰기 오버헤드라는 이중 과제를 해결함으로써, 본 연구는 스핀트로닉 CRAM이 단순한 논리 작업을 넘어 복잡한 멀티 비트 신경망 워크로드를 가속화할 수 있음을 보여줍니다. 결과는 제안된 공동 설계 전략을 통해 CRAM이 현대 AI 애플리케이션에 필요한 정확도를 유지하면서도 최첨단 GPU 및 CPU 시스템보다 우수한 에너지 효율을 제공할 수 있음을 시사합니다.