기술 요약: TREA – 저정밀도 시간 다중화 및 자원 효율적 엣지 가속기

문제 제기

객체 감지 및 장면 인식과 같은 작업을 위해 리소스가 제한된 임베디드 플랫폼에 배포되는 엣지 비전 및 시각 AI(EV2AI) 시스템은 정확도, 지연 시간, 에너지 소비 간의 근본적인 삼각 딜레마에 직면해 있습니다. ViT-G 와 같은 최첨단 모델은 수십억 개의 매개변수와 막대한 승법 - 누적 (MAC) 연산을 요구하여, 메모리 접근 (외부 DRAM 접근은 접근당 최대 640 pJ 를 소비할 수 있음) 에 의해 지배되는 금지적인 에너지 비용을 초래합니다. 기존 가속기 설계들은 양자화, 가지치기, MAC 유닛 설계, 또는 아키텍처 재사용을 종종 개별적으로 다루며, 알고리즘부터 하드웨어 스택 전체에 걸친 통합된 공동 설계 프레임워크가 부족합니다. 또한, 기존 MAC 유닛은 누적기 비트 너비 확장 및 높은 하드웨어 오버헤드로 고통받으며, 비선형 활성화 함수 (NAF) 유닛은 전체 가속기 면적의 최대 25% 를 소비할 수 있습니다.

방법론

본 논문은 산술 데이터 경로, 가지치기 패턴, 활성화 재사용, 그리고 레이어별 실행 일정을 공동으로 최적화하는 통합 엣지 AI 가속기 아키텍처인 TREA를 제안합니다. 이 방법론은 세 가지 핵심 공동 설계 구성 요소에 의존합니다.

1. MSD 기반 2 의 지수 양자화 (MSD-PoTQ8) 및 DQ-MAC:
   저자는 승법 없는 듀얼 정밀도 (4/8 비트) SIMD 승법 - 누적 (DQ-MAC) 유닛을 제안합니다. 기존 승법 대신 2 의 지수 분해에 기반한 최상위 자리수 우선 (MSDF) 시프트 - 덧셈 계산을 활용합니다.

   • 누적 전 절단: 이 방식은 부호 있는 2 의 지수 항을 사용하여 가중치를 근사화합니다. 핵심적으로, 이 방식은 승법 후 양자화 하드웨어를 제거하고 필요한 누적기 비트 너비를 줄이기 위해 누산 전에 절단을 수행합니다.
   • 듀얼 정밀도 SIMD: 이 유닛은 4 비트 또는 8 비트 고정 소수점 연산을 지원합니다. 디지털 레벨 시간 다중화를 통해 단일 하드웨어 인스턴스는 사이클당 네 개의 4 비트 연산 또는 하나의 8 비트 연산을 실행하여 하드웨어 중복 없이 최대 4 배의 처리량을 달성합니다.

2. 구조화된 하드웨어 인식 감축 가지치기 (SHARP):
   4-레인 SIMD 데이터 경로의 활용도를 극대화하기 위해, 저자는 가지치기 패턴을 하드웨어 실행 정밀도와 직접 정렬시키는 가지치기 전략인 SHARP 를 도입합니다.

   • 정렬: 표준 구조화된 가지치기와 달리 SHARP 는 SIMD 너비의 정확한 배수인 커널별 가중치 유지 비율 (3x3 커널의 경우 4:9, 5x5 커널의 경우 12:25) 을 강제합니다.
   • 일정 관리: 이 정렬은 완전한 레인 활용을 보장하여 부분적으로 점유된 실행 사이클을 제거하고, 가지치기를 하드웨어 효율적인 일정 관리 메커니즘으로 변환합니다.

3. 재구성 가능 양자화 지원 비선형 활성화 (RQ-NAF):
   단일 공유 CORDIC 기반 코어가 Sigmoid, Tanh, ReLU 함수를 구현합니다.

   • 시간 다중화: 모든 뉴런이나 레이어마다 별도의 하드웨어를 인스턴스화하는 대신, 단일 9 단계 파이프라인 RQ-NAF 코어가 네트워크 전체에서 시간 다중화됩니다.
   • 효율성: 초기 파이프라인 채움 후, 이는 사이클당 하나의 출력을 생성하여 활성화 함수의 런타임 선택을 지원하면서 면적 오버헤드를 크게 줄입니다.

완전한 TREA 아키텍처는 레이어별 하드웨어 재사용 및 타일링을 관리하는 통합 엔진에 의해 제어되는 100 개의 SIMD DQ-MAC 유닛의 1D 배열과 공유 RQ-NAF 코어를 통합합니다.

주요 기여

본 논문은 다음과 같은 구체적인 기여 사항을 상세히 설명합니다.

• DQ-MAC 유닛: 누적 전 절단을 수행하여 누적기 너비를 줄이고 하드웨어 중복 없이 4 비트 SIMD 실행을 통해 4 배 처리량 개선을 가능하게 하는 승법 없는 MSDF 기반 SIMD MAC.
• SHARP 전략: 가지치기 패턴 (4:9 및 12:25) 을 SIMD 너비에 매핑하여 100% 레인 활용을 보장하고 커널 실행 사이클을 줄이는 공동 설계 가지치기 방법 (예: 4 비트 모드에서 3x3 커널을 9 사이클에서 1 사이클로 단축).
• RQ-NAF 코어: 여러 함수 (ReLU, Sigmoid, Tanh) 를 지원하며 (N-1) 하드웨어 재사용을 통해 활성화 하드웨어 오버헤드를 획기적으로 줄이는 재구성 가능 시간 다중화 CORDIC 기반 활성화 유닛.
• 시스템 수준 공동 설계: DQ-MAC, SHARP, RQ-NAF 를 통합한 통합 1D 가속기 아키텍처로, FPGA 구현 및 28nm ASIC 합성을 통해 검증됨.

결과

TREA 가속기는 객체 감지 (PASCAL VOC, COCO) 를 위한 YOLO 변형과 분류 (ImageNet) 를 위한 MobileNet/EfficientNet/Inception 을 사용하여 평가되었으며, Xilinx VC707 FPGA 및 28nm ASIC 프로세스에서의 하드웨어 합성과 함께 평가되었습니다.

• 정확도: 시스템은 YOLO 변형 전반에 걸쳐 mAP@0.5 가 3% 미만으로 저하되는 FP32 기준과 비교 가능한 감지 정확도를 유지합니다. 듀얼 정밀도 구성은 4 비트 정밀도를 선택적으로 운영하면서도 8 비트 균일 양자화와 비교 가능한 정확도를 달성합니다.
• 지연 시간 및 처리량: SHARP 와 DQ-MAC 의 결합은 커널 수준에서 최대 9 배의 지연 시간 감소를 가져옵니다 (예: 3x3 커널을 9 사이클 대신 1 사이클에 계산). 가속기는 고정 정밀도 설계 대비 최대 4 배의 처리량 개선을 달성합니다.
• 하드웨어 효율성:
  • FPGA: Xilinx IP 코어와 비교하여 DQ-MAC 는 LUT 활용도를 최대 72% 줄이고 전력 소비를 최대 50% 줄입니다.
  • ASIC: 이 설계는 최첨단 근사 MAC 유닛과 비교하여 경쟁력 있는 면적, 지연 시간, 전력 - 지연 곱 (PDP) 을 보여주며, 임베디드 시스템을 위한 더 컴팩트하고 균형 잡힌 구현을 제공합니다.
  • 자원 발자국: TREA 는 높은 에너지 효율 (GOPS/W) 을 유지하면서 비교된 도메인 특화 가속기 중 가장 낮은 자원 발자국 (LUT 및 레지스터) 중 하나를 달성합니다.

의의

본 논문은 TREA 가 고립된 최적화를 넘어 전체적인 알고리즘 - 하드웨어 공동 설계 프레임워크로 나아가는 중요한 진전이라고 주장합니다. 그 의의는 다음과 같습니다.

1. 통합 최적화: 양자화, 구조화된 가지치기, 아키텍처 재사용을 단일 파이프라인에 성공적으로 통합하여 가지치기와 같은 모델 수준 최적화가 하드웨어 효율성 (완전한 SIMD 활용) 으로 직접 전환되도록 보장합니다.
2. 자원 효율성: 승법기를 제거하고 시간 다중화를 통해 활성화 하드웨어를 재사용함으로써 TREA 는 엣지 플랫폼의 엄격한 면적 및 전력 예산을 해결하여 배터리 구동 장치에서 실시간 객체 감지 및 분류를 가능하게 합니다.
3. 확장성: 시간 다중화된 1D 아키텍처는 레이어당 전용 하드웨어를 복제하지 않고 다양한 DNN 토폴로지에 걸쳐 확장 가능한 배포를 허용하여 제어 복잡성과 실리콘 면적을 줄입니다.

저자들은 TREA 가 실시간 엣지 비전 워크로드를 위한 실용적이고 확장 가능한 솔루션을 제공하며, 최첨단 설계에 대한 포괄적인 FPGA 및 ASIC 평가를 통해 그 효과를 검증했다고 결론지었습니다.