Energy Efficient Exact and Approximate Systolic Array Architecture for Matrix Multiplication

이 논문은 PPC 와 NPPC 셀을 활용한 8 비트 정밀 및 근사 처리 요소 (PE) 를 기반으로 한 에너지 효율적인 행렬 곱셈 시스템 배열 아키텍처를 제안하며, 기존 설계 대비 최대 32% 의 에너지 절감과 DCT 및 에지 검출 응용 분야에서 우수한 출력 품질을 입증합니다.

핵심

이 논문은 **"AI 가 더 빠르고, 더 저렴하게, 그리고 더 적은 전기를 먹도록 만드는 새로운 '계산 공장' 설계도"**를 소개합니다.

여러분이 AI(인공지능) 가 사진을 보거나, 영상을 만들거나, 자율주행차를 운전할 때, 그 뒤에는 엄청난 양의 **'숫자 곱셈과 덧셈'**이 숨어 있습니다. 이 작업을 전문적으로 처리하는 하드웨어를 **'시스트롤 배열 (Systolic Array)'**이라고 부르는데, 마치 심장이 피를 펌프질하듯 데이터를 쉴 새 없이 흘려보내는 거대한 계산 공장 같은 것입니다.

하지만 기존 공장에는 두 가지 큰 문제가 있었습니다:

1. 전기를 너무 많이 먹는다: 모든 계산을 '완벽하게' 하려고 하니까 전기가 엄청나게 낭비됩니다.
2. 공간을 많이 차지한다: 정밀한 계산기를 너무 많이 넣으니까 칩이 커집니다.

이 논문은 이 문제를 해결하기 위해 **"완벽하지 않아도 되는 곳에서는 약간의 실수를 허용해서 전기를 아끼자"**는 아이디어를 제시합니다. 이를 **'근사 계산 (Approximate Computing)'**이라고 합니다.

---

🏭 핵심 아이디어: "완벽한 요리사 vs. 빠른 요리사"

이 논문의 핵심은 **'PE(처리 요소, Processing Element)'**라는 작은 계산 유닛을 어떻게 만드느냐에 있습니다.

1. 기존 방식: "완벽주의자 요리사"

기존의 계산기는 모든 계산을 100% 정확하게 하려고 합니다.

• 비유: 100 점짜리 요리를 하려고 재료를 100% 정확하게 계량하고, 불 조절을 완벽하게 합니다. 결과는 훌륭하지만, 시간이 오래 걸리고 가스비 (전기) 가 많이 나옵니다.

2. 이 논문의 제안: "스마트한 요리사"

이 논문은 두 가지 새로운 요리사를 제안합니다.

• A. 효율적인 정밀 요리사 (Exact PE):

  • 여전히 100% 정확한 요리를 하지만, 도구 (계산기) 를 더 가볍고 효율적으로 개선했습니다.
  • 결과: 기존보다 전기를 16% 더 아끼고, 공간도 줄였습니다.

• B. 빠른 근사 요리사 (Approximate PE):

  • 핵심 아이디어: "사진을 보거나, 테두리를 찾는 정도라면 100% 완벽할 필요가 없어!"라고 생각합니다.
  • 아주 미세한 오차 (예: 소금 1g 대신 0.9g 넣기) 를 허용해서 계산을 훨씬 빠르게 하고 전기를 대폭 아낍니다.
  • 결과: 기존 방식보다 전기를 무려 68%나 아껴냅니다! (거의 절반 이상 절감!)

---

🧩 어떻게 작동할까요? (PPC 와 NPPC)

이 논문은 계산의 기본 단위인 **'부분 곱셈 (Partial Product)'**을 만드는 세포 (PPC, NPPC) 를 새로 설계했습니다.

• 기존: 복잡한 회로를 다 연결해서 정확한 값을 냅니다.
• 이 논문: "이 정도 오차는 사람이 눈으로 못 알아챌 거야"라고 판단되는 부분은 회로를 단순화했습니다.
  • 마치 고해상도 사진을 볼 때는 모든 픽셀을 정확히 맞추지만, 작은 아이콘을 볼 때는 몇 픽셀을 생략해도 되는 것과 같습니다.
  • 이 단순화된 세포들을 모아 **'근사 PE'**를 만들었습니다.

---

📸 실제로 얼마나 잘할까요? (실험 결과)

이 새로운 설계를 실제 AI 작업에 적용해 보았더니 놀라운 결과가 나왔습니다.

1. 사진 압축 (DCT):

   • 사진을 JPEG 로 저장할 때 사용하는 기술입니다.
   • 결과: 압축된 사진의 화질 (PSNR) 이 45.97 dB로, 눈으로 봤을 때 원본과 거의 구별이 안 될 정도로 훌륭했습니다. 전기는 엄청나게 아꼈습니다.

2. 사진 테두리 찾기 (Edge Detection):

   • 사진에서 물체의 윤곽선을 찾는 작업입니다.
   • 기존 방식 (커널 기반): 약간의 오차가 있어 화질이 조금 떨어졌습니다 (30.45 dB).
   • AI 방식 (CNN 기반): 이 논문의 '근사 PE'를 AI 신경망에 넣었더니, 화질이 75.98 dB로 오히려 매우 선명하게 나왔습니다!
   • 이유: AI 는 초반의 작은 계산 실수를 스스로 보완해 주기 때문에, 오히려 더 효율적으로 작동했습니다.

---

🚀 왜 이것이 중요한가요?

이 기술은 **"에지 디바이스 (Edge Devices)"**를 위한 꿈의 해결책입니다.

• 에지 디바이스란? 스마트폰, 드론, IoT 센서처럼 배터리로 작동하고 전기가 제한된 기기들입니다.
• 기존의 문제: 이런 기기에서 무거운 AI 를 돌리면 배터리가 금방 방전되거나, 칩이 너무 커져서 들어갈 수 없습니다.
• 이 논문의 해결책:
  • 전력 효율: 배터리를 훨씬 오래 쓸 수 있습니다.
  • 작은 크기: 칩을 더 작게 만들 수 있습니다.
  • 충분한 성능: "완벽한" 대신 "충분히 좋은" 결과를 내주어, 일상적인 AI 작업 (사진 처리, 객체 인식 등) 에는 전혀 문제가 없습니다.

💡 한 줄 요약

"완벽함 때문에 전기를 다 써버리는 AI 칩 대신, '눈에 띄지 않는 작은 실수'를 허용해서 전기는 68% 아끼고 성능은 그대로 유지하는 똑똑한 계산 공장 설계도를 제안합니다."

이 기술이 상용화되면, 우리 스마트폰의 AI 기능이 더 빨라지고 배터리도 훨씬 오래 가는 날이 곧 올 것입니다.

기술 요약

1. 문제 제기 (Problem Statement)

• DNN 의 계산 부하: 딥 뉴럴 네트워크 (DNN) 는 컴퓨터 비전, 자연어 처리 등 다양한 AI 응용 분야의 핵심이며, 학습 및 추론 과정에서 수십억 개의 곱셈 - 누산 (MAC) 연산을 수행합니다. 이는 현대 AI 가속기에서 가장 계산 집약적이고 에너지 소비가 큰 작업입니다.
• 기존 아키텍처의 한계: 심포틱 어레이 (Systolic Array, SA) 는 행렬 곱셈 가속화에 효과적이지만, 기존 설계는 정밀한 (Exact) 산술 유닛을 사용하여 높은 에너지 소비와 큰 실리콘 면적 오버헤드를 초래합니다.
• 에지 디바이스의 요구사항: IoT 및 에지 디바이스와 같은 리소스가 제한된 플랫폼에서는 에너지 효율성이 최우선 과제이나, 기존 정밀 설계는 이러한 환경에 적합하지 않습니다.
• 해결 방향: 정확성을 일부 희생하더라도 에너지 효율성과 하드웨어 복잡도를 개선하는 근사 컴퓨팅 (Approximate Computing) 패러다임이 대안으로 제시되었으나, 기존 근사 설계들은 여전히 개선의 여지가 있었습니다.

2. 제안된 방법론 (Methodology)

이 논문은 행렬 곱셈을 위한 심포틱 어레이 아키텍처에 통합된 새로운 정밀 (Exact) 및 근사 (Approximate) 처리 요소 (PE) 를 제안합니다.

• 핵심 구성 요소 (PPC 및 NPPC):
  • PPC (Partial Product Cell): 부분 곱셈 생성을 위한 셀.
  • NPPC (Nand based Partial Product Cell): 부호 처리 (Signed Operation) 를 위해 NAND 게이트 기반의 부분 곱셈 셀.
  • 최적화: 제안된 설계는 기존 설계와 달리 승산과 누산을 통합된 PE 에서 수행하여 지연 시간을 줄이고 효율성을 높였습니다.
• 정밀 설계 (Exact PE):
  • 최적화된 PPC 와 NPPC 셀을 사용하여 8 비트 정밀 부호화 (Signed) PE 를 구현했습니다.
  • 기존 설계 대비 하드웨어 복잡도를 줄이고 에너지 효율성을 극대화합니다.
• 근사 설계 (Approximate PE):
  • PPC 와 NPPC 블록에 근사 로직을 도입하여 오류 허용 오차 (Error Tolerance) 가 있는 연산을 수행합니다.
  • 근사 계수 (k): $k = N - 1$ (여기서 $N$은 비트 수) 인 경우, PPC 는 16 가지 입력 조합 중 5 가지에서 오류가 발생하며, 전체 오류 확률은 $25/256$입니다.
  • 이 오류는 DCT 나 엣지 검출과 같은 이미지 처리 작업에서 인간 시각에 거의 영향을 주지 않는 수준으로 설계되었습니다.
• 아키텍처 통합:
  • 제안된 8 비트 정밀 및 근사 PE 를 $8 \times 8$ 심포틱 어레이에 적용하여 행렬 곱셈을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 PE 아키텍처 제안: 에너지 효율적인 PPC 와 NAND 기반 NPPC 셀을 활용한 정밀 및 근사 처리 요소를 개발했습니다.
2. 성능 개선:
   • 제안된 근사 PPC 와 NPPC 는 기존 최선 설계 [5] 대비 각각 46.8% 와 34.4% 의 에너지 절감 효과를 달성했습니다.
   • 제안된 8 비트 정밀 부호화 PE 는 기존 설계 [6] 대비 24.37% 의 에너지 절감을, 근사 PE 는 설계 [5] 대비 22.51% 의 에너지 절감을 달성했습니다.
3. 다양한 애플리케이션 검증:
   • 이미지 압축을 위한 이산 코사인 변환 (DCT).
   • 커널 기반 엣지 검출 (Laplacian 필터).
   • CNN 기반 엧지 검출 (BDCN 아키텍처).
   • 이 세 가지 애플리케이션에서 제안된 설계의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 하드웨어 평가 (90nm UMC 기술):
  • 에너지 효율: $8 \times 8$ 심포틱 어레이 기준, 제안된 근사 설계는 기존 설계 대비 68% 의 에너지 절감 효과를 보였습니다.
  • PADP (Power-Area-Delay Product): 제안된 근사 PE 는 기존 근사 설계 [5] 대비 최대 23% 의 PADP 개선을 보였습니다.
  • 면적 및 지연: 정밀 설계는 기존 대비 최대 16% 의 효율성 향상을, 근사 설계는 면적과 전력 소비를 크게 줄였습니다.
• 오류 분석:
  • 근사 설계는 NMED (Normalized Mean Error Distance) 와 MRED (Mean Relative Error Distance) 가 낮아 정확도가 유지됨을 확인했습니다.
• 애플리케이션별 성능 (PSNR 및 SSIM):
  • DCT (이미지 압축): PSNR 45.97 dB, SSIM 0.991로 매우 높은 화질 유지.
  • 커널 기반 엣지 검출: PSNR 30.45 dB.
  • CNN 기반 엣지 검출 (BDCN): PSNR 75.98 dB로, 근사 연산이 CNN 구조 내에서 효과적으로 보상됨을 입증.

5. 의의 및 결론 (Significance and Conclusion)

• 에너지 효율성과 성능의 균형: 이 연구는 AI 가속기, 특히 에지 디바이스 및 IoT 환경에서 에너지 소비를 획기적으로 줄이면서도 (최대 68% 절감), 이미지 처리 및 컴퓨터 비전 작업에 필요한 출력 품질을 유지할 수 있음을 입증했습니다.
• 오류 내성 (Error-Resilience) 활용: 이미지 압축, 엣지 검출, DNN 추론과 같이 약간의 계산 오류가 허용되거나 시스템 구조 (CNN) 에 의해 보정 가능한 응용 분야에서 제안된 아키텍처가 매우 효과적임을 보였습니다.
• 미래 전망: 제안된 PPC/NPPC 기반의 심포틱 어레이는 저전력 AI 하드웨어 설계의 새로운 표준이 될 수 있으며, 특히 정확도보다 효율성이 중요한 실시간 비전 처리 시스템에 적합합니다.

요약하자면, 본 논문은 최적화된 부분 곱셈 셀 (PPC/NPPC) 을 기반으로 한 정밀 및 근사 심포틱 어레이를 제안하여, 기존 설계 대비 에너지 효율을 극대화하면서도 고품질의 이미지 처리 결과를 제공하는 성공적인 사례를 제시했습니다.