Retrospective: A CORDIC Based Configurable Activation Function for NN Applications

논문 요약: CORDIC 기반 재구성 가능 활성화 함수 (DA-VINCI) 및 NEURIC 엔진

1. 연구 배경 및 문제 제기 (Problem)

• AI 가속화의 병목 현상: 최근 딥러닝 (DNN), RNN/LSTM, 트랜스포머 (Transformers) 등 다양한 AI 모델의 복잡도 증가로 인해 연산 가속화 수요가 급증했습니다. 기존에는 GEMM, MVM, MAC 연산 등 선형 연산 최적화에 집중했으나, 비선형 활성화 함수 (Activation Functions, AF) 처리가 성능 병목으로 대두되었습니다.
• 기존 접근법의 한계:
  • LUT 기반: 고정된 값 저장으로 인해 고정밀도 구현 시 메모리 소모와 지연 시간이 급증하며 확장성이 부족합니다.
  • 근사화 기법 (PWL, Taylor Series 등): 제어 오버헤드가 크거나, 구간 선택 및 수렴 문제로 인해 오차가 발생하고 하드웨어 친화적이지 않습니다.
  • 소프트웨어 구현: ALU 를 이용한 소프트웨어 CORDIC 시뮬레이션은 명령어 오버헤드로 인해 지연 시간이 매우 깁니다.
• 필요성: 제한된 리소스 (ASIC/FPGA) 환경에서 다양한 활성화 함수 (Swish, SoftMax, GELU 등) 를 유연하게 지원하면서도, 정밀도 조절이 가능하고 에너지 효율이 높은 하드웨어 설계가 요구되었습니다.

2. 방법론 (Methodology)

이 논문은 CORDIC (Coordinate Rotation Digital Computer) 알고리즘을 기반으로 한 재구성 가능한 활성화 함수 설계의 발전 과정을 되돌아보고, 새로운 DA-VINCI 코어와 NEURIC 벡터 엔진을 제안합니다.

• CORDIC 기반 아키텍처:
  • 단순한 덧셈/뺄셈 (Add/Sub), 멀티플렉서 (MUX), 시프터 (Shifter) 만을 사용하여 삼각함수, 쌍곡함수, 선형 연산을 구현합니다.
  • HOAA (Half-Adder Optimized Adder) 기술을 적용하여 면적 21% 절감 및 전력 33% 절감을 달성했습니다.
  • 동적 재구성: sel_af 신호를 통해 런타임에 활성화 함수를 Swish, SoftMax, SELU, GELU, Sigmoid, Tanh, ReLU 간에 전환할 수 있습니다.
  • 모드 지원: 선형 (Linear), 원형 (Circular), 쌍곡선 (Hyperbolic) 좌표계 모드를 지원하여 다양한 함수를 하나의 데이터 패스로 처리합니다.
• DA-VINCI 코어:
  • 8 비트 및 16 비트 고정소수점 (FxP) 정밀도를 지원하며, 최대 32 비트까지 확장 가능합니다.
  • SoftMax 계산을 위한 FIFO 버퍼, ReLU 를 위한 버퍼, GELU 를 위한 멀티플렉서 등 최소한의 오버헤드로 다양한 함수를 통합했습니다.
• NEURIC (Neuron Engine):
  • DA-VINCI 코어를 기반으로 한 재구성 가능한 MAC(Multiply-Accumulate) + AF 유닛입니다.
  • SIMD(Single Instruction, Multiple Data) 방식으로 64 개의 NEURIC 유닛을 배치하여 레이어 멀티플렉싱 (Layer Multiplexing) 벡터 엔진을 구성했습니다.

3. 주요 기여 (Key Contributions)

1. DA-VINCI 프로그래머블 AF 코어 개발:
   • 거의 무시할 수 있는 오버헤드로 Swish, SoftMax, SELU, GELU, Sigmoid, Tanh, ReLU 등 7 가지 주요 활성화 함수를 런타임에 재구성 가능하게 구현했습니다.
2. NEURIC 뉴런 엔진 제안:
   • 재구성 가능한 8/16 비트 정밀도의 MAC+AF 유닛을 통합하여 경량화되고 재구성 가능한 레이어 멀티플렉싱 AI 코어의 기본 블록으로 활용 가능합니다.
3. 실증적 성능 검증 및 최적화:
   • FPGA 및 ASIC 구현을 통해 다양한 AI 워크로드 (VGG-16, ResNet-50, MobileViT 등) 에서 98.5% 의 품질 (QoR) 을 달성함을 입증했습니다.
   • 기존 State-of-the-Art (SoTA) 설계 대비 면적, 전력, 지연 시간에서 획기적인 개선을 보였습니다.

4. 실험 결과 (Results)

• FPGA 리소스 효율성 (Zybo FPGA 기준):
  • 기존 SoTA 설계 (ReAFM, AFB 등) 대비 LUT 사용량은 최대 4.5 배, FF 사용량은 최대 3.2 배 감소했습니다.
  • 전력 소모는 기존 설계 대비 최대 5.4 배 감소했습니다.
  • 지연 시간 (Delay) 은 30% 개선되었습니다.
• ASIC 성능 (28nm/45nm 공정):
  • 28nm 공정에서 기존 설계 대비 면적은 최대 16.2 배, 전력은 14.3 배 감소했습니다.
  • 45nm 공정 대비 면적 11.5 배, 전력 17.3 배 감소 효과를 보였습니다.
• 정확도 및 오차:
  • 8/16/32 비트 정밀도에서 평균 오차 (Mean Error) 와 평균 절대 오차 (MAE) 가 기존 설계 대비 유의미하게 감소했습니다.
  • CIFAR-100, ImageNet 데이터셋을 사용한 VGG-16, ResNet-50, MobileViT 모델에서 98.5% 의 QoR을 달성했습니다.
• 시스템 수준 성능 (Vector Engine):
  • 64 개의 NEURIC 유닛으로 구성된 벡터 엔진은 52.3 GOPS의 처리량을 달성했습니다.
  • 에너지 효율은 TRETA 대비 2.5 배, SIGMA 대비 17.54 배 향상되었습니다.
  • MobileViT/ImageNet 추론 시 전력 소모가 TRETA(4.45W), SIGMA(22.33W) 대비 현저히 낮아졌습니다.

5. 의의 및 결론 (Significance)

• 범용성 및 적응성: 단일 하드웨어 아키텍처로 DNN, RNN/LSTM, Transformers 등 다양한 AI 모델의 활성화 함수 요구사항을 유연하게 충족시킵니다. 특히 최근 각광받는 트랜스포머 모델의 복잡한 데이터 흐름에도 적합하도록 설계되었습니다.
• 자원 효율성: "Dark Silicon" 영역을 줄이고 정적 전력 소모를 최소화하여, 배터리 구동 에지 디바이스 (Edge Devices) 및 저전력 AI 가속기에 이상적인 솔루션을 제공합니다.
• 상용화 가능성: AMD Xilinx FPGA, Intel DSP, STMicroelectronics 등 주요 반도체 벤더들이 CORDIC 기반 하드웨어 IP 를 채택하고 있는 추세를 반영하여, 이 연구가 상용 AI 가속기 설계의 표준으로 자리 잡을 수 있는 기반을 마련했습니다.

결론적으로, 이 논문은 CORDIC 기반의 재구성 가능 활성화 함수 설계가 AI 가속기의 핵심 구성 요소로서, 성능과 효율성 측면에서 기존 접근법을 능가하는 것을 입증했습니다.