Memory Wall is not gone: A Critical Outlook on Memory Architecture in Digital Neuromorphic Computing

본 논문은 기존 폰 노이만 아키텍처의 메모리 병목 현상을 해결하기 위해 고안된 디지털 뉴로모픽 컴퓨팅이 오히려 SRAM 및 STT-MRAM 과 같은 온칩 메모리 시스템의 면적과 에너지 소모로 인해 새로운 메모리 병목 현상을 야기하고 있음을 비판적으로 분석하며, 엣지 및 임베디드 응용에서의 경쟁력을 확보하기 위해서는 메모리 조직에 대한 재검토가 필요하다고 주장합니다.

핵심

🧠 핵심 주제: "기억의 벽"은 사라지지 않았다

1. 기존 컴퓨터의 문제: "도서관과 책상"
기존 컴퓨터 (폰 노이만 구조) 는 마치 **도서관 (메모리)**과 **책상 (계산기)**이 멀리 떨어져 있는 것과 같습니다.

• 계산하려면 도서관에서 책을 가져와야 하고, 다시 도서관에 돌려놓아야 합니다.
• 이 이동 과정에 너무 많은 시간과 에너지가 낭비됩니다. 이를 논문에서는 **"기억의 벽 (Memory Wall)"**이라고 부릅니다.

2. 뉴로모픽 컴퓨터의 시도: "책상 위에 책장"
뇌를 모방한 뉴로모픽 컴퓨터는 이 문제를 해결하기 위해 작은 책장 (메모리) 을 계산기 (프로세서) 바로 옆에 붙여놓는 방식을 썼습니다.

• 이론적으로는 책을 가져올 필요가 없으니 매우 빠르고 효율적이어야 합니다.
• 마치 각 학생이 책상 위에 자신의 교과서를 펼쳐놓고 문제를 푸는 것과 같습니다.

3. 하지만 현실은? "새로운 벽이 생겼다"
논문은 충격적인 사실을 지적합니다. "책상 위에 책장을 두는 방식"이 오히려 새로운 문제를 만들었다는 것입니다.

• 비유: "너무 많은 개인 책장"
  • 학생 (계산기) 이 너무 많아지면, 각 책상마다 작은 책장을 하나씩 두어야 합니다.
  • 문제는 책장 자체가 너무 공간을 많이 차지하고, 책장을 관리하는 데 드는 비용 (전력) 이 너무 비싸다는 점입니다.
  • 결과적으로 책상 (계산기) 보다 책장 (메모리) 이 더 비싸고, 더 많은 전기를 먹게 된 것입니다.
  • 즉, "이동하는 비용"은 줄였지만, "보관하는 비용"이 너무 커져서 새로운 '기억의 벽'에 부딪힌 것입니다.

---

📉 왜 이렇게 비효율적인가? (두 가지 주요 원인)

1. 공간 낭비 (빈 책장 문제)

• 뉴로모픽 칩은 미리 정해진 크기의 작은 책장 (메모리 조각) 들로 이루어져 있습니다.
• 하지만 실제 학습할 데이터 (책) 는 그 크기와 딱 맞지 않습니다.
• 비유: 10 권을 담을 수 있는 책장에 3 권만 넣고 나머지는 비워두는 상황입니다.
• 실제 데이터는 책장 전체 용량의 1~30% 만 사용하고, 나머지는 **빈 공간 (Dark Silicon)**으로 버려집니다. 이는 엄청난 공간과 전력 낭비입니다.

2. 상태 유지의 부담 (기억력 과부하)

• 기존 AI 는 계산할 때만 기억을 쓰면 되지만, 뉴로모픽 컴퓨터는 계산하는 동안에도 계속 상태를 기억해야 합니다.
• 비유: 수학 문제를 풀 때, 기존 AI 는 답을 적고 지우기를 반복하지만, 뉴로모픽 컴퓨터는 풀이 과정 전체를 종이에 계속 적어두고 지우지 않음으로써 종이를 엄청나게 많이 차지합니다.
• 이 '지워지지 않는 기억'이 메모리 공간을 가득 채워버립니다.

---

🚀 해결책은 무엇인가? (미래를 위한 제안)

논문은 단순히 "메모리를 더 크게" 만드는 것이 아니라, 생각의 방식을 바꿔야 한다고 말합니다.

1. 혼합형 뇌 (알고리즘 개선):

   • 모든 기억을 유지할 필요는 없습니다. 중요한 순간에만 기억을 남기고, 그 외에는 잊어버리는 (상태가 없는) 방식을 섞어 쓰면 메모리 부담이 줄어듭니다.

2. 스마트 관리 (소프트웨어 최적화):

   • 필요한 데이터만 모아서 한 번에 처리하는 '스마트 스케줄링'을 통해 불필요한 이동을 줄여야 합니다.

3. 계층형 메모리 (다양한 저장소 활용):

   • 자주 쓰는 데이터는 작고 빠른 '서랍장 (레지스터)'에, 잘 안 쓰는 데이터는 크고 느린 '창고 (비휘발성 메모리)'에 나누어 저장하는 계층적 구조가 필요합니다.

4. 3D 적층 기술 (층을 쌓는 기술):

   • 평면적으로 넓게 퍼뜨리는 대신, 건물을 짓듯이 메모리 층을 위로 쌓아올리는 기술을 써야 합니다.
   • 이렇게 하면 계산기 위에 바로 메모리를 얹을 수 있어 이동 거리가 짧아지고, 공간 효율도 좋아집니다.

---

💡 한 줄 요약

"뇌를 모방한 컴퓨터는 '데이터 이동'이라는 병목을 해결하려다, '데이터 저장'이라는 새로운 병목에 걸려버렸습니다. 이제 우리는 단순히 기억을 가까이 두는 것을 넘어, 어떻게 더 똑똑하게 기억을 관리하고 저장할지에 대한 근본적인 재설계가 필요합니다."

이 논문은 기술이 발전했다고 해서 모든 문제가 해결된 것이 아니며, 오히려 메모리 효율성이 새로운 핵심 경쟁력이 되어야 함을 경고하고 있습니다.

기술 요약

1. 문제 제기 (Problem)

• 전통적인 메모리 벽 (Memory Wall): 기존 폰 노이만 (Von Neumann) 아키텍처와 현대 AI 가속기에서는 코어와 메인 메모리 간 데이터 이동 비용이 연산 비용 (MAC) 을 훨씬 초과하여 성능과 에너지 효율의 주요 병목 현상이 되었습니다.
• 뉴로모픽 아키텍처의 한계: 뉴로모픽 프로세서는 생물학적 뇌에서 영감을 받아 연산을 메모리 근처에 분산 배치함으로써 이 '메모리 벽'을 해결하려 했습니다. 그러나 저자들은 디지털 뉴로모픽 프로세서가 오히려 새로운 형태의 '메모리 벽'에 직면해 있다고 주장합니다.
• 새로운 병목 현상:
  • 온칩 (On-chip) 메모리 (SRAM, STT-MRAM 등) 가 칩 면적 (Area) 과 에너지 소비의 주된 원인이 되었습니다.
  • 분산 아키텍처는 에너지 효율은 높일 수 있으나, 주변 회로 오버헤드 (Peripheral overhead) 로 인해 밀도가 낮아지고, 메모리 블록이 커질수록 접근 에너지가 급증합니다.
  • 결과적으로 연산이 아닌 메모리 조직 (Memory Organization) 이 시스템의 제한 요소가 되었습니다.

2. 방법론 및 분석 (Methodology)

저자는 다음과 같은 다각적인 분석을 통해 현재 뉴로모픽 시스템의 한계를 규명했습니다.

• 에너지 - 면적 트레이드오프 분석: 22nm FDX 공정 기준의 세 가지 온칩 메모리 기술 (레지스터 파일, SRAM, MRAM) 의 에너지 효율과 면적 밀도를 비교 분석했습니다.
• 실제 칩 데이터 평가: IBM TrueNorth, Intel Loihi, GrAI VIP, SPECK 등 주요 디지털 뉴로모픽 플랫폼의 아키텍처와 메모리 사용 효율을 벤치마크 (CIFAR-10, MobileNet 등) 와 함께 정량적으로 평가했습니다.
• 매핑 효율성 (Mapping Efficiency) 분석: 모델 파라미터 비트 수와 온칩 메모리 할당량 간의 비율을 계산하여, 실제 활용되지 않는 '다크 실리콘 (Dark Silicon)'의 양을 규명했습니다.

3. 주요 기여 및 발견 (Key Contributions & Results)

A. 메모리 기술의 트레이드오프 (Energy-Area Trade-offs)

• 소형 레지스터 파일 (RF): 접근 에너지가 매우 낮음 (<5 fJ/bit) 이지만, 비트당 면적이 커서 밀도가 매우 낮습니다 (>2 µm²/bit).
• SRAM: 용량이 커질수록 밀도는 개선되지만, 배선 길이 증가로 인해 CV² 스위칭 손실이 커져 접근 에너지가 급증합니다 (5 fJ → 80 fJ/bit).
• MRAM (비휘발성): 높은 밀도 (<0.1 µm²/bit) 를 제공하지만, 읽기/쓰기 에너지가 매우 높아 (수천 fJ) 실시간 연산에 부적합할 수 있습니다.
• 결론: 메모리를 작게 쪼개면 에너지는 줄지만 면적이 폭증하고, 크게 만들면 에너지가 폭증합니다. 현재 디지털 뉴로모픽 칩에서 온칩 메모리는 전체 면적의 80% 이상과 전력 소비의 대부분을 차지합니다.

B. 매핑 비효율성 (Mapping Inefficiency)

• 극단적인 자원 낭비: 현재 최첨단 뉴로모픽 칩에서 실제 모델 파라미터에 사용되는 메모리 비트 비율은 1% ~ 30% 미만에 불과합니다.
  • 예시: Intel Loihi 에서 MobileNet 을 실행할 때, 36Mb 의 파라미터를 저장하기 위해 4Gb 의 온칩 SRAM 이 할당되어 매핑 효율이 **0.9%**에 그쳤습니다.
• 원인:
  1. 고정된 코어 크기: 네트워크 계층 크기와 코어 크기가 일치하지 않아 발생하는 공간 낭비 (Dark Silicon).
  2. 고정밀 상태 저장: 뉴로모픽 시스템은 가중치뿐만 아니라 뉴런의 상태 (막 전위 등) 를 고해상도로 지속적으로 저장해야 하므로 메모리 요구량이 기하급수적으로 증가합니다.

C. 기존 해결책의 한계

• 인-메모리 컴퓨팅 (In-Memory Compute): 메모리 내에서 연산을 수행하는 기술은 부분 합 (partial sums) 을 메모리 셀 밖에서 처리해야 하므로 에너지 절감 효과가 제한적이며, 고정된 크기의 크로스바 (Crossbar) 구조로 인해 매핑 유연성이 떨어집니다.
• 오프칩 메모리: DDR 등 외부 메모리를 사용하면 전력 소모와 지연 시간이 크게 증가하여 에지 (Edge) 응용에 부적합합니다.

4. 제안된 해결 방안 및 미래 연구 방향 (Solution Space)

저자는 메모리 조직의 재설계를 통해 다음과 같은 다중 접근법을 제안합니다.

1. 알고리즘 (Hybrid Neural Networks): 모든 뉴런에 상태를 부여하는 기존 SNN 대신, 시간적 동역학이 필요한 부분에만 상태가 있는 (stateful) 스파이킹 레이어를 사용하고, 나머지는 상태가 없는 (stateless) 피드포워드 레이어를 사용하는 하이브리드 신경망을 도입하여 메모리 사용을 줄여야 합니다.
2. 소프트웨어 (Smart Scheduling): 스파이크 (Spike) 그룹화 (Spike grouping) 등을 통해 데이터 전송 및 저장량을 최적화하고 메모리 대역폭 요구 사항을 줄여야 합니다.
3. 아키텍처 (Heterogeneous & Hierarchical Memories):
   • 자주 접근하는 'Hot' 데이터 (뉴런 상태) 에는 저전력 레지스터 파일 (RF) 사용.
   • 가중치 (Weights) 에는 SRAM 사용.
   • 자주 업데이트되지 않는 'Cold' 데이터에는 MRAM/RRAM 같은 비휘발성 메모리 (NVM) 사용.
   • 이러한 이종 계층적 메모리 구조가 에너지와 면적 효율의 균형을 잡을 수 있습니다.
4. 기술 (3-D Integration):
   • 모놀리식 3D 적층 (Monolithic 3-D Integration): CMOS 논리 회로 위에 비휘발성 메모리 (NVM) 레이어를 적층하여 수직 배선 거리를 줄이고, 로직 영역을 확보하는 기술이 유망합니다. 하지만 여전히 이종 메모리 아키텍처가 필요합니다.

5. 의의 (Significance)

• 비판적 관점의 전환: 뉴로모픽 컴퓨팅이 단순히 '연산과 메모리의 근접'만으로 메모리 벽을 해결할 수 있다는 낙관론을 반박하고, 온칩 메모리 자체가 새로운 병목이 되었음을 지적했습니다.
• 실용성 강조: 에지 (Edge) 및 임베디드 환경에서 경쟁력을 갖추기 위해서는 하드웨어 아키텍처뿐만 아니라 알고리즘, 소프트웨어, 메모리 기술의 통합적 재설계가 필수적임을 강조했습니다.
• 연구 방향 제시: 단순한 메모리 크기 확대나 단일 기술 도입이 아닌, **이종 메모리 (Heterogeneous Memory)**와 하이브리드 신경망을 결합한 시스템 수준의 최적화가 미래 뉴로모픽 컴퓨팅의 핵심 열쇠임을 제시했습니다.

---

결론적으로, 이 논문은 디지털 뉴로모픽 프로세서가 현재 면적과 에너지 효율성 측면에서 심각한 '메모리 벽'에 직면해 있으며, 이를 극복하기 위해서는 메모리 아키텍처의 근본적인 재구성과 알고리즘 - 하드웨어 공동 설계 (Co-design) 가 시급하다고 경고하고 있습니다.