기술 요약: DARTH-PUM: 하이브리드 메모리 내 처리 아키텍처

문제 정의

현대 컴퓨팅 시스템은 CPU 코어와 메모리 서브시스템 간 데이터 이동으로 인한 오버헤드인"메모리 벽"으로 인해 상당한 성능 및 에너지 패널티에 직면해 있습니다. 메모리 내 처리 (Processing-Using-Memory, PUM) 또는 인메모리 컴퓨팅은 메모리 배열 내에서 직접 계산을 수행함으로써 이러한 문제를 해결할 수 있는 대안을 제시합니다. 그러나 기존 PUM 아키텍처는 다음과 같은 이분법에 직면해 있습니다:

• 아날로그 PUM: 전기적 상호작용 (옴의 법칙과 키르히호프의 법칙) 을 사용하여 대량 행렬 - 벡터 곱셈 (MVM) 을 효율적으로 수행하지만, 노이즈, 비이상성, 그리고 비싼 외부 하드웨어나 특수 기능 유닛 (SFU) 없이는 일반적인 비 MVM 연산 (예: 논리, 제어 흐름) 을 수행할 수 없다는 한계가 있습니다.
• 디지털 (부울) PUM: 범용 계산이 가능하고 오류에 강건하지만, MVM 중심 워크로드에서는 아날로그 PUM 보다 성능이 현저히 낮으며 비트 직렬 실행에 의존하여 행렬 연산 시 높은 지연 시간을 초래합니다.

현재 이러한 도메인을 결합하려는 시도는 종종 복잡한 고정 기능 하드웨어나 지속적인 호스트 통신을 요구하는 응용 프로그램 전용 가속기로 이어져, 머신러닝 추론과 같은 특정 도메인으로의 적용성을 제한합니다. 하드웨어 재설계 없이 다양한 워크로드를 처리할 수 있도록 아날로그 및 디지털 PUM 을 원활하게 통합하는 범용 하이브리드 아키텍처는 부재합니다.

방법론

저자들은 단일 칩에 아날로그 계산 요소 (ACE) 와 디지털 계산 요소 (DCE) 를 통합한 범용 하이브리드 아키텍처인 DARTH-PUM(하이브리드 메모리 내 처리를 위한 디지털 - 아날로그 저항성 타일) 을 제안합니다. 이 시스템은 아날로그 및 디지털 연산을 모두 지원하는 ReRAM 기술을 기반으로 구축되었습니다.

시스템 아키텍처

DARTH-PUM 칩은 프론트엔드 컨트롤러와 여러 개의 **하이브리드 계산 타일 (HCT)**로 구성됩니다. 각 HCT 는 다음을 포함합니다:

1. 아날로그 계산 요소 (ACE): 고처리량 MVM 을 위한 64 개의 아날로그 ReRAM 배열을 포함합니다.
2. 디지털 계산 요소 (DCE): 비 MVM 연산 및 후처리를 처리하기 위해 64 개의 RACER 기반 디지털 PUM 파이프라인 (OSCAR 논리 계열 사용) 을 포함합니다.
3. 보조 구성 요소:
   • 시프트 유닛: ACE-DCE 인터페이스에 배치되어 데이터 전송 중 비트 슬라이스된 부분 곱을 정렬하고, 파이프라인을 정지시킬 수 있는 별도의 시프트 - 덧셈 사이클의 필요성을 제거합니다.
   • 전치 유닛: 아날로그 배열의 행 단위 입력/열 단위 누적과 디지털 파이프라인의 열 단위 저장/행 단위 계산 간 데이터 재구성을 처리합니다.
   • A/D 아비터 및 명령 주입 유닛 (IIU): 명령 간섭을 방지하도록 실행을 조정하고, 프론트엔드에서 반복적인 마이크로 연산 (예: 시프트 - 덧셈 시퀀스) 생성을 오프로드하여 정지를 줄입니다.
   • 가상 아날로그 코어 (vACore): 하드웨어 재설계 없이 유연한 피연산자 비트 폭 (예: 셀당 2 비트 대 8 비트) 을 지원하도록 여러 아날로그 배열을 논리적으로 결합하는 소프트웨어 추상화입니다.

주요 설계 혁신

• 레이트 매칭: 아날로그 MVM(부분 곱 생성) 의 처리량과 디지털 쓰기/시프트/덧셈 대역폭을 신중하게 균형 있게 조정하여 병목 현상을 방지합니다.
• 기생 보상: 아날로그 비이상성 (예: IR 드롭, 노이즈) 을 해결하기 위해 저자들은 매핑 기술 (차동 셀 쌍을 사용하여 0/1 을 -1/+1 로 변환) 과 DCE 가 적용하는 후처리 보상 인자를 제안합니다. 이를 통해 암호화와 같은 중요한 응용 프로그램에서 오류 없는 실행이 가능해집니다.
• 소프트웨어 인터페이스: 하이브리드 ISA 와 응용 프로그램 무관 (예: execMVM, setMatrix) 및 응용 프로그램 특정 명령 (예: AES_encrypt, CNN_runInference) 라이브러리는 프로그래머가 하위 하드웨어 세부 사항을 깊이 이해하지 않고도 워크로드를 매핑할 수 있게 합니다.

주요 기여

1. 하이브리드 아키텍처 설계: 단일 칩에 아날로그 및 디지털 PUM 을 통합하여 비 MVM 연산을 위한 외부 SFU 나 지속적인 호스트 개입의 필요성을 제거한 실용적인 범용 아키텍처입니다.
2. 최적화된 인터페이싱: 아날로그 MVM 과 디지털 축소 논리를 결합할 때 일반적으로 발생하는 직렬화 병목 현상을 해결하는 새로운 하드웨어 구성 요소 (시프트 유닛, 전치 유닛, IIU) 입니다.
3. 유연한 정밀도 지원: vACore 추상화는 시스템이 응용 프로그램 요구 사항에 따라 비트 폭과 정밀도를 동적으로 조정할 수 있게 하여, 주변 회로를 재설계하지 않고도 광범위한 데이터 폭을 지원합니다.
4. 오류 완화: AES 암호화와 같은 노이즈에 민감한 응용 프로그램의 정확성을 보장하기 위해 아날로그 리매핑과 디지털 후처리를 모두 활용하는 기생 보상 체계입니다.
5. 종합 평가: 암호학 (AES), 합성곱 신경망 (ResNet-20), 그리고 대규모 언어 모델 (LLM 인코더) 의 세 가지 서로 다른 도메인에서 아키텍처의 다양성을 입증한 평가입니다.

결과

저자들은 동등한 면적 기준 (Intel Core i7-13700 CPU + 아날로그 PUM 가속기), 순수 디지털 PUM 시스템, 응용 프로그램 전용 가속기 (AppAccel), 그리고 NVIDIA RTX 4090 GPU 에 대해 DARTH-PUM 을 크로스 스택 시뮬레이터 (MASTODON + CrossSim) 를 사용하여 평가했습니다.

• 성능 속도 향상: 아날로그+CPU 기준 대비 DARTH-PUM 은 다음과 같은 속도 향상을 달성했습니다:
  • AES-128 암호화: 59.4 배 속도 향상.
  • ResNet-20 추론: 14.8 배 속도 향상.
  • LLM 인코더: 40.8 배 속도 향상.
• 에너지 효율성: DARTH-PUM 은 기준 대비 에너지 소비를 AES 의 경우 39.6 배, ResNet-20 의 경우 51.2 배, LLM 의 경우 110.7 배 감소시켰습니다.
• 전용 가속기와의 비교:
  • AES 의 경우, DARTH-PUM 은 데이터 이동 감소와 SFU 오버헤드 제거로 인해 응용 프로그램 전용 가속기 (AppAccel) 보다 36.9 배 더 우수한 성능을 발휘했습니다.
  • ResNet-20 의 경우, DARTH-PUM 은 AppAccel 의 처리량에 근접했습니다 (26.2% 이내), 이는 범용 하이브리드 설계가 면적 효율성을 극대화함으로써 전용 설계와 경쟁할 수 있음을 보여줍니다.
  • LLM 의 경우, DARTH-PUM 은 softmax 와 같은 비 MVM 연산의 비율이 높아 매우 전용화된 AppAccel 과는 일치하지 않았지만, CPU 기준 대비 여전히 45.6 배의 개선을 제공했습니다.
• ADC 선택: 연구 결과, 대부분의 워크로드에서 점진 근사 레지스터 (SAR) ADC 가 램프 ADC 보다 처리량 측면에서 일반적으로 우수했으나, 램프 ADC 는 조기 종료 기능으로 인해 AES MixColumns 커널에 특정 이점을 제공했습니다.

중요성

본 논문은 DARTH-PUM 이 실용적인 범용 인메모리 컴퓨팅을 향한 중요한 단계라고 주장합니다. 아날로그 및 디지털 도메인을 성공적으로 통합함으로써 아날로그 전용 가속기의 유연성 한계와 디지털 전용 PUM 의 성능 한계를 극복했습니다. 저자들은 그들의 설계가 임베디드 암호학부터 대규모 데이터 기반 컴퓨팅에 이르기까지 다양한 도메인을 단일 아키텍처로 서비스할 수 있게 하며, 응용 프로그램 전용 하드웨어 재설계를 요구하지 않는다고 강조합니다. 이 작업은 하이브리드 PUM 이"양쪽 세계의 장점을 모두 취할 수"있음을 보여주며, 머신러닝 추론을 넘어 더 넓은 채택을 위해 필요한 일반성을 유지하면서도 막대한 성능 및 에너지 이점을 제공함을 입증했습니다.